sqlite-vec:谁说SQLite不是向量数据库?
sqlite-vec 是一个 SQLite 向量搜索插件,具有以零依赖、轻量级、跨平台和高效 KNN 搜索等优势,是本地化向量检索(例如 RAG)、轻量级 AI 应用以及边缘计算等场景的理想工具。
sqlite-vec 使用纯 C 语言实现,零外部依赖,体积小巧,适用于各种 SQLite 运行环境(Linux、MacOS、Windows、WASM、Android、iOS、Raspberry Pi 等)。
sqlite-vec 基于 vec0 虚拟表实现了 float、int8 以及二进制向量的存储与相似查询,所有操作都基于 SQL 完成。
sqlite-vec 提供了多种编程语言(Python、Ruby、Node.js、Deno、Bun、Go、Rust 等)驱动,以下命令用于安装 Python 模块:
pip install sqlite-vec
接下来是一个在 Python 代码中使用 sqlite-vec 的简单示例:
import sqlite3
import sqlite_vecfrom typing import List
import structdef serialize_f32(vector: List[float]) -> bytes:"""serializes a list of floats into a compact "raw bytes" format"""return struct.pack("%sf" % len(vector), *vector)db = sqlite3.connect(":memory:")
db.enable_load_extension(True)
sqlite_vec.load(db)
db.enable_load_extension(False)sqlite_version, vec_version = db.execute("select sqlite_version(), vec_version()"
).fetchone()
print(f"sqlite_version={sqlite_version}, vec_version={vec_version}")items = [(1, [0.1, 0.1, 0.1, 0.1]),(2, [0.2, 0.2, 0.2, 0.2]),(3, [0.3, 0.3, 0.3, 0.3]),(4, [0.4, 0.4, 0.4, 0.4]),(5, [0.5, 0.5, 0.5, 0.5]),
]
query = [0.3, 0.3, 0.3, 0.3]db.execute("CREATE VIRTUAL TABLE vec_items USING vec0(embedding float[4])")with db:for item in items:db.execute("INSERT INTO vec_items(rowid, embedding) VALUES (?, ?)",[item[0], serialize_f32(item[1])],)rows = db.execute("""SELECTrowid,distanceFROM vec_itemsWHERE embedding MATCH ?ORDER BY distanceLIMIT 3""",[serialize_f32(query)],
).fetchall()print(rows)
代码运行的结果如下:
sqlite_version=3.45.3, vec_version=v0.1.6
[(3, 0.0), (4, 0.19999998807907104), (2, 0.20000001788139343)]
更多的介绍和示例可以参考网址:
https://alexgarcia.xyz/sqlite-vec/
另外,这个开源项目的作者还提供了两个用于生成文本嵌入(Text Embedding)的项目,配合 sqlite-vec 使用更加方便:
- sqlite-rembed,基于远程 API(OpenAI、Nomic、Ollama 等)生成文本嵌入;
- sqlite-lembed,基于 .gguf 格式的本地嵌入模型生成文本嵌入。