当前位置: 首页 > news >正文

搜索引擎vs向量数据库:LangChain混合检索架构实战解析

本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在聚客AI学院。

一、LangChain搜索工具实战:集成DuckDuckGo实现实时信息查询

核心场景:解决大模型知识滞后问题,通过搜索引擎获取实时信息

1.1 基础集成方案

from langchain_community.tools import DuckDuckGoSearchRun
# 初始化搜索工具
search = DuckDuckGoSearchRun()
result = search.invoke("OpenAI 2025年最新模型发布计划")
print(result)  # 返回简洁文本摘要

1.2 高级配置(含元数据过滤)

from langchain_community.utilities import DuckDuckGoSearchAPIWrapper
# 定制化搜索参数
wrapper = DuckDuckGoSearchAPIWrapper(region="zh-cn",          # 中文结果max_results=3,           # 限制结果数time="y"                 # 最近一年信息
)
search = DuckDuckGoSearchResults(api_wrapper=wrapper)
result = search.invoke("量子计算机最新突破")
print(result[0]['title'], result[0]['link'])  # 输出标题和链接

1.3 代理解决访问限制

# 通过代理API提升稳定性:cite[1]
proxy_wrapper = DuckDuckGoSearchAPIWrapper(api_endpoint="http://your-proxy-domain.com",  # 自建代理服务max_results=5
)

避坑指南:公共API存在频率限制,建议使用代理或自建网关服务

二、Langchain本地搜索:SearxNG+Agent实战

核心价值:开源、去中心化的搜索引擎,保护隐私且可定制搜索源

2.1 自建SearxNG服务(关键配置)

# settings.yml 启用JSON输出:cite[8]
search:formats:- html- json  # 必须启用API格式

2.2 LangChain集成方案

from langchain_community.utilities import SearxSearchWrapper
# 连接自建实例
searx = SearxSearchWrapper(searx_host="http://localhost:8888")
results = searx.run("Llama3微调教程", engines=["github"])
# 作为Agent工具使用:cite[2]
tools = load_tools(["searx-search"], searx_host="http://localhost:8888")
agent = initialize_agent(tools, llm, agent="structured-chat-react")

2.3 多引擎分流策略

# 创建专用工具链:cite[8]
github_tool = SearxSearchResults(name="Github_Search", wrapper=wrapper, kwargs={"engines": ["github"]}
)
arxiv_tool = SearxSearchResults(name="Arxiv_Search",wrapper=wrapper,kwargs={"engines": ["arxiv"]}
)

三、RAG数据工程起点:文档加载与结构化准备

核心挑战:PDF/Word/HTML等格式的差异化解构

3.1 多格式文档加载

from langchain_community.document_loaders import (PyPDFLoader, Docx2txtLoader,UnstructuredHTMLLoader
)
# PDF解析(保留布局)
pdf_loader = PyPDFLoader("report.pdf")
pdf_pages = pdf_loader.load_and_split()
# Word解析(过滤样式噪声)
docx_loader = Docx2txtLoader("manual.docx")
text = docx_loader.load()[0].page_content
# HTML解析(动态渲染)
html_loader = UnstructuredHTMLLoader("page.html", bs_kwargs={"features": "lxml"}
)

3.2 高级表格提取技巧

import pdfplumber
# 提取PDF表格:cite[3]
with pdfplumber.open("financial.pdf") as pdf:page = pdf.pages[0]table = page.extract_table()for row in table:print(row[0], row[1])  # 输出单元格数据

四、RAG数据工程核心:文本切分

前沿技术:Meta-Chunking动态分块策略

4.1 传统分块方法痛点

  • 固定长度切割破坏句子完整性
  • 语义边界识别不准(如代词跨块指代)

4.2 动态分块解决方案

from langchain_experimental.text_splitter import SemanticChunker
from langchain_community.embeddings import HuggingFaceEmbeddings
# 基于语义相似度的动态分块
splitter = SemanticChunker(HuggingFaceEmbeddings(model_name="BAAI/bge-base-zh"),breakpoint_threshold=0.5  # 相似度低于阈值时切分
)
chunks = splitter.split_text(long_document)

4.3 Late Chunking技术(解决代词问题)

原理:先整文档向量化 → 再按需分块 → 避免上下文丢失
效果:代词召回率提升25%(如“它”正确指向“柏林”)

五、RAG向量数据库实战:初始化+写入与查询

架构图:

5.1 ChromaDB快速入门

import chromadb
from chromadb.utils.embedding_functions import OpenAIEmbeddingFunction
# 初始化客户端
client = chromadb.PersistentClient(path="./vector_db")
collection = client.create_collection(name="tech_docs",embedding_function=OpenAIEmbeddingFunction()
)
# 写入数据
collection.add(documents=["量子计算原理...", "区块链技术..."],metadatas=[{"source": "doc1"}, {"source": "doc2"}],ids=["id1", "id2"]
)
# 相似查询
results = collection.query(query_texts=["量子比特的物理实现"],n_results=2
)

5.2 生产级优化方案

  1. 混合索引:HNSW + 量化压缩(减少40%内存占用)
  2. 元数据过滤:where={"date": {"$gte": "2024-01-01"}}
  3. 多向量支持:为同一文档存储摘要/关键词/正文向量

六、RAG全流程实战:从文档到问答闭环

完整架构图:

6.1 代码实现(LangChain链式集成)

from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
# 构建混合检索链
retriever = vector_db.as_retriever(search_kwargs={"k": 3})
qa_chain = ({"context": lambda x: format_results(retriever.invoke(x["query"]),"question": RunnablePassthrough()}| prompt| ChatOpenAI(model="gpt-4o")| StrOutputParser()
)
# 动态路由:根据问题类型选择来源
def route_query(input):if "最新" in input["query"] or "2025" in input["query"]:return search_tool.invoke(input["query"])else:return retriever.invoke(input["query"])

6.2 性能优化关键指标

完整代码库可参考我为大家整理的飞书文档:

LangChain-Chatchat

更多AI大模型应用开发学习视频内容和资料,尽在聚客AI学院。

http://www.dtcms.com/a/271820.html

相关文章:

  • 计算机视觉 之 数字图像处理基础
  • 基于 SpringBoot + Vue 的 IT 技术交流和分享平台的设计与实现
  • TCP-与-UDP-协议详解:原理、区别与应用场景全解析
  • 北斗舞动在线监测装置:电力安全的“智慧守护者”
  • SpringMVC @ExceptionHandler 典型用法
  • 了解去中心化金融在现代经济中的作用——安全交易新时代
  • 编写bat文件自动打开chrome浏览器,并通过selenium抓取浏览器操作chrome
  • 双指针-18.四数之和-力扣(LeetCode)
  • linux系统---ISCSI存储服务
  • Language Models are Few-Shot Learners: 开箱即用的GPT-3(二)
  • 节点小宝:手机图片备份至电脑功能实测体验
  • 同一类型,每条数据,执行不同逻辑
  • 偏振相机,偏振图像是怎么样的
  • WebGPU了解
  • 智能体决策机制深度剖析:ReAct、Plan-and-Execute与自适应策略
  • 云蝠智能VoiceAgent重构企业电话客服体系
  • PLC框架-1.3.2 报文750控制汇川伺服的转矩上下限
  • 【前缀和 BFS 并集查找】P3127 [USACO15OPEN] Trapped in the Haybales G|省选-
  • XSS(跨站脚本攻击)
  • RabbitMQ 消息队列:从入门到Spring Boot实战
  • Java 枚举详解:从基础到实战,掌握类型安全与优雅设计
  • 7-语言模型
  • CRT 不同会导致 fopen 地址不同
  • 技术演进中的开发沉思-30 MFC系列:五大机制
  • 删除k8s安装残留
  • Spring Boot:将应用部署到Kubernetes的完整指南
  • ACL协议:核心概念与配置要点解析
  • Docker 环境下 MySQL 主从复制集群、MGR 搭建及 Nginx 反向代理配置
  • SSRF10 各种限制绕过之30x跳转绕过协议限制
  • ip地址可以精确到什么级别?如何获取/更改ip地址