当前位置: 首页 > news >正文

LangChain整合Milvus向量数据库实战:数据新增与删除操作

导读:在AI应用开发中,向量数据库已成为处理大规模语义搜索和相似性匹配的核心组件。本文通过详实的代码示例,深入探讨LangChain框架与Milvus向量数据库的集成实践,为开发者提供生产级别的向量数据管理解决方案。

文章聚焦于向量数据库操作的两个关键环节:数据的高效新增和精准删除。通过DashScope嵌入模型的配置与应用,读者将了解如何建立稳定的向量化pipeline,实现从文本内容到向量存储的完整流程。特别值得关注的是,文章详细解析了批量文档插入的ID管理机制,以及基于ID的删除操作如何在分布式环境中保证数据一致性。

概述

本文将详细介绍如何使用LangChain框架整合Milvus向量数据库,重点演示向量数据的新增和删除操作的完整实现过程。通过实际案例,您将掌握在生产环境中管理向量数据库的核心技能。

本文继上一篇文章进一步讲述:新版LangChain向量数据库VectorStore设计详解-CSDN博客

技术需求与目标

本次实战的主要目标包括:

  • 建立LangChain与Milvus向量数据库的集成连接
  • 实现向量数据的批量插入操作
  • 掌握基于ID的数据删除机制
  • 理解向量数据库操作的最佳实践

环境配置与依赖安装

官方文档参考

LangChain官方文档地址:Milvus | 🦜️🔗 LangChain

依赖包安装

pip install langchain_milvus

核心实现代码

导入必要的库文件

from langchain_community.embeddings import DashScopeEmbeddings
# 注意:旧版本使用 from langchain.vectorstores import Milvus
from langchain_milvus import Milvus  # 推荐使用新版本导入方式
from langchain_core.documents import Document

初始化嵌入模型和向量存储

# 配置DashScope嵌入模型
embeddings = DashScopeEmbeddings(model="text-embedding-v2",  # 使用第二代通用文本嵌入模型max_retries=3,dashscope_api_key="sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"  # 请替换为您的实际API密钥
)# 初始化Milvus向量存储
vector_store = Milvus(embeddings,connection_args={"uri": "http://192.168.19.152:19530"},  # Milvus服务器连接地址collection_name="langchain_example",  # 集合名称
)

准备测试数据集

# 创建多样化的文档样本数据
document_1 = Document(page_content="I had chocolate chip pancakes and scrambled eggs for breakfast this morning.",metadata={"source": "tweet"},
)document_2 = Document(page_content="The weather forecast for tomorrow is cloudy and overcast, with a high of 62 degrees.",metadata={"source": "news"},
)document_3 = Document(page_content="Building an exciting new project with LangChain - come check it out!",metadata={"source": "tweet"},
)document_4 = Document(page_content="Robbers broke into the city bank and stole $1 million in cash.",metadata={"source": "news"},
)document_5 = Document(page_content="Wow! That was an amazing movie. I can't wait to see it again.",metadata={"source": "tweet"},
)document_6 = Document(page_content="Is the new iPhone worth the price? Read this review to find out.",metadata={"source": "website"},
)document_7 = Document(page_content="The top 10 soccer players in the world right now.",metadata={"source": "website"},
)document_8 = Document(page_content="LangGraph is the best framework for building stateful, agentic applications!",metadata={"source": "tweet"},
)document_9 = Document(page_content="The stock market is down 500 points today due to fears of a recession.",metadata={"source": "news"},
)document_10 = Document(page_content="I have a bad feeling I am going to get deleted :(",metadata={"source": "tweet"},
)# 将所有文档组织为列表
documents = [document_1, document_2, document_3, document_4, document_5,document_6, document_7, document_8, document_9, document_10,
]

数据插入操作

# 为每个文档生成唯一的ID标识符
ids = [str(i+1) for i in range(len(documents))]
print("生成的文档ID列表:", ids)# 执行批量文档插入操作
result = vector_store.add_documents(documents=documents, ids=ids)
print("插入操作结果:", result)

数据删除操作

# 根据指定ID删除文档
result = vector_store.delete(ids=["1"])
print("删除操作结果:", result)# 删除操作返回的统计信息解释:
# insert count: 插入数量
# delete count: 删除数量  
# upsert count: 更新插入数量
# timestamp: 操作时间戳
# success count: 成功数量
# err count: 错误数量

操作结果分析

删除操作执行后,系统返回详细的统计信息,格式示例如下:

(insert count: 0, delete count: 1, upsert count: 0, timestamp: 456798840753225732, success count: 0, err count: 0)

该结果表明成功删除了一条记录,操作过程中未出现错误。

相关文章:

  • 【Zephyr 系列 2】用 Zephyr 玩转 Arduino UNO / MEGA,实现串口通信与 CLI 命令交互
  • 一带一路暨金砖国家技能发展与技术创新大赛背景下,”工业互联网+绿色低碳”实训方案
  • [特殊字符] xbatis 一款好用 ORM 框架 1.8.8-M2 发布,节省 1/3 代码和时间的框架!!!
  • 卫星地图 App 的实测体验深度解析
  • 戴尔AI服务器订单激增至121亿美元,但传统业务承压
  • 华为欧拉系统中部署FTP服务与Filestash应用:实现高效文件管理和共享
  • adb 常用命令笔记
  • 近期知识库开发过程中遇到的一些问题
  • Centos7安装gitlab
  • ISCC-2025-web-wp
  • 竞争加剧,美团的战略升维:反内卷、科技与全球化
  • 力扣每日一题——找到离给定两个节点最近的节点
  • Drawio编辑器二次开发
  • 物流项目第十期(轨迹微服务)
  • redis内存数据库
  • 【cpp-httplib】 安装与使用
  • TIDB创建索引失败 mkdir /tmp/tidb/tmp_ddl-4000/1370: no such file or directory.
  • 全面解析:npm 命令、package.json 结构与 Vite 详解
  • npm、pnpm、yarn使用以及区别
  • 1.3HarmonyOS NEXT统一开发范式与跨端适配:开启高效跨设备应用开发新时代
  • 视频网站建设方案/做引流推广的平台600
  • 网站建设合同任/免费手机优化大师下载安装
  • wordpress 前台 用户/seo教程seo教程
  • 北京做网站的大公司/英文网站建设
  • 做a免费网站/谈谈你对网络营销的认识
  • 南京做网站建设有哪些内容/百度查重工具