深度学习-113-RAG技术之基于Langchain和Streamlit搭建本地私人知识库提升效果
文章目录
- 1 技术选型
-
- 1.1 嵌入模型OllamaEmbeddings
- 1.2 加载文档TextLoader【关键】
- 1.3 文本拆分RecursiveCharacterTextSplitter【关键】
- 1.4 向量存储FAISS
- 1.5 检索器
- 1.6 创建RAG问答链【关键】
- 2 结合Streamlit
-
- 2.1 代码文档
- 2.2 应用示例
- 2.3 改进方向
- 3 附录
-
- 3.1 大海和湖泊.txt
- 3.2 参考附录
1 技术选型
为了实现快速准确的检索，需要为分割后的文本块生成向量嵌入（构建非英文RAG（Retrieval-Augmented Generation）系统时，embedding很重要），并将其存储在 FAISS 索引中。向量嵌入能够将文本转换为计算机易于处理的数值向量形式，使得文本之间的相似度计算更加高效。OllamaEmbeddings提供了强大的嵌入生成功能，能够生成高质量的向量表示。
FAISS 则是一款高效的向量数据库，它支持快速的相似性搜索，能够在大量向量中快速找到与查询向量最相似的文本块。通过设置检索参数 “k=3”，系统会在搜索时返回最相关的 3 个文本块，这与大模型专注检索的特性相匹配，确保了系统能够快速获取关键信息，为生成准确的回答提供有力支持。
1.1 嵌入模型OllamaEmbeddings
from langchain_chroma import Chroma
from langchain_ollama import OllamaEmbeddings