向量数据库基础夯实：相关概念的详细介绍
向量数据库基础夯实：相关概念的详细介绍
向量数据库的核心功能
对于传统数据库，基本操作包括创建、读取、更新和删除记录。向量数据库的许多操作与此类似，但针对向量的复杂性进行了优化。
索引：HNSW索引与数据传输
在向量数据库中，索引向量类似于在传统数据库中创建条目。然而，这一步对于向量数据库尤为重要。向量需要被以便于搜索的方式进行组织。
HNSW（分层可导航小世界）是一种高效的索引算法，大多数向量数据库都依赖它来组织向量以实现快速搜索。
HNSW 构建了一个多层图，每个向量是一个节点，连接表示相似性。较高层次连接大体相似的向量，而较低层次则连接紧密相关的向量，使得搜索随着深入逐渐精确。
使用HNSW算法索引数据
当运行搜索时，HNSW 从顶部开始，通过跳转层快速缩小搜索范围。随着深入搜索，仅专注于相关向量。
1.1 有效负载索引
🧠 什么是 Qdrant 的「有效负载索引（Payload Index）」？
✅ 先理解几个关键词
| 术语 | 通俗解释 |
|---|---|
| 向量 | 是 chunk 向量化后产生的一组数字（语义表示） |
| 有效负载（Payload） | 是和这个向量绑定的“非语义信息”或“标签数据” |
| HNSW | 是 Qdrant 用来做向量近似检索的算法（Hierarchical Navigable Small World） |
| 索引（Index） | 是让数据库“查得快”的技术 |
📦 举个例子说明
假设你把以下三个文档 chunk 向量化后存入 Qdrant：
| 向量ID | 向量 | Payload（元数据） |
|---|---|---|
| 1 | [0.13, -0.21, ...] | {category: "法律", source: "合同.pdf"} |
| 2 | [0.91, 0.04, ...] | {category: "医疗", source: "病例.docx"} |
| 3 | [0.72, -0.61, ...] | {category: "法律", source: "政策.md"} |
如果你现在的用户问题是：
“查找和‘知识产权纠纷’相关的法律文档”
你希望做到两件事：
✅ 用“知识产权纠纷”这个问题 → 转成向量 → 找语义上相似的文段（这是 HNSW 处理的）
✅ 只返回 category = “法律” 的内容（这是 Payload 过滤处理的）
🟩 那什么是「有效负载索引」？
Qdrant 默认是可以用 Payload 做“过滤”的，比如你可以写：
"filter": {"must": [{ "key": "category", "match": { "value": "法律" } }]
}
但是！为了加速这种过滤条件的执行速度，你需要“为这个字段建一个索引”。
✅ 有效负载索引的作用就是：
⚡ 加速 Payload 的过滤效率，让你在千万级数据中也能快速过滤出想要的那几类。
🔧 怎么用？
你可以在 Python 中给某个字段加上索引：
client.create_payload_index(collection_name="my_docs",field_name="category",field_schema="keyword" # 告诉 Qdrant 这个是用来匹配的字段
)
这相当于告诉 Qdrant：
“以后在用 category 这个字段过滤数据的时候，请提前建立索引，加快匹配速度。
2. 搜索：近似最近邻（ANN）搜索
相似性搜索允许你按意义进行搜索。例如，查找唤起相同情感的类似歌曲、匹配艺术构想的图像，甚至探索文本中的情感模式。
相似单词的分组
工作原理是，当用户向数据库查询时，查询也会被转换成一个向量。算法快速识别图中最可能包含与查询向量最近的区域
搜索逐步向下进行，逐渐缩小范围到更相关的向量。当在底层找到最接近的向量时，这些点会被翻译回实际数据，表示你的最高分文档。
3. 更新向量：实时与批量调整
数据是动态的，向量也不例外。保持向量的最新状态对于搜索的相关性至关重要。
实时更新： 当需要立即调整向量时，Qdrant 提供了高效的实时修改功能：
批量更新： 对于大规模更改（如在模型更新后重新索引向量），批量更新可以在一个操作中更新多个向量，而不会影响搜索性能：
4. 删除向量：管理过时和重复数据
高效的向量管理是保持搜索准确性和数据库精简性的关键。删除表示过时或不相关数据的向量（如过期产品、旧新闻文章或归档用户档案），可以帮助保持性能和相关性。
在 Qdrant 中，删除向量非常简单，只需指定向量的 ID：
密集向量与稀疏向量
密集向量与稀疏向量
理解向量的基本概念后，接下来要了解两种主要的向量类型：密集向量（Dense Vectors）和稀疏向量（Sparse Vectors）。
1. 密集向量
密集向量几乎每个元素都包含信息。向量中的每个数值都贡献了数据的语义意义、关系和细微差别。
例如，这句“我爱向量相似性”的密集向量表示可能如下所示：
密集向量的表示
每个数字都有权重，所有数字共同传递了句子的整体意义。因此，它们更适合识别上下文相似的内容，即使字词完全不匹配。
2. 稀疏向量
稀疏向量则更注重要点。在稀疏向量中，大量元素是零。只有在某些特征或标记存在时，才会赋值非零值。
例如，“我爱向量相似性”被分解为标记（tokens）后，通过标记化（tokenization）每个标记分配一个唯一的ID，生成如下稀疏向量：
{ 193: 0.04, 9182: 0.12, 15012: 0.73, 6731: 0.69, 454: 0.21
}
稀疏向量特别适用于关键词搜索或元数据过滤，例如检查特定标记是否存在，而无需捕捉完整的意义或上下文。
| 项目 | 稀疏向量（Sparse） | 密集向量（Dense） |
|---|---|---|
| ✅ 核心思想 | 词有没有出现？出现几次？ | 整体语义相似程度 |
| 📐 向量维度 | 非常高（10,000+） | 较低（256~1536） |
| 🔢 值的分布 | 大多数是 0 | 大多数是非零实数 |
| 📖 可解释性 | 强（某个词在哪个维度） | 弱（每个维度不代表具体词） |
| 🔍 匹配方式 | 精确关键词匹配 | 模糊语义匹配 |
| 🧠 适合任务 | 关键词搜索、精准查找 | 语义理解、模糊检索 |
| 🔄 模型例子 | TF-IDF、BM25 | BERT、bge、E5、OpenAI Ada |
| 🧰 检索方式 | 倒排索引、布尔查询 | 向量近似搜索（ANN） |
| 🔗 向量库支持 | Elasticsearch、VESPA | FAISS、Qdrant、Pinecone |
混合搜索的优势
有时仅靠上下文还不够，需要同时具有精确匹配能力。密集向量非常适合基于数据的上下文或意义检索结果，而稀疏向量则在需要关键词或特定属性匹配时表现优异。
混合搜索允许同时利用两者的优势，实现更相关且经过过滤的搜索。
例如，Qdrant 使用归一化和融合技术来将多种搜索方法的结果结合起来。常见的融合方法是互惠排名融合（RRF），它结合了不同方法的结果，并将同时被两种方法高度评价的项优先列出。