深度学习-135-LangGraph之应用实例(四)构建RAG问答系统同时对文档进行元数据增强
文章目录
- 1 文档处理
-
- 1.1 网页内容加载
- 1.2 文档智能分割
- 1.3 元数据增强
-
- 1.3.1 转换为Document
- 1.3.2 增加元数据
- 2 大语言模型
-
- 2.1 一般输出
- 2.2 结构化输出
- 3 向量存储
- 4 创建图
-
- 4.1 可视化图
- 4.2 调用图
- 5 参考附录
使用langgraph构建一个智能文档检索系统。该系统能够从网页中提取信息，进行智能分段，并通过查询分析、向量检索实现精准的问答功能。
1 文档处理
1.1 网页内容加载
安装pip install beautifulsoup4。
WebBaseLoader是LangChain提供的一个强大的网页内容加载器，然后对获取到的内容进行处理，提取关心的信息。
(1)使用WebBaseLoader获取内容
from bs4 import BeautifulSoup
from langchain_community.document_loaders import WebBaseLoader
url = "https://gitee.com/anydev/awesome-python-cn/blob/master/README.m