认识RAG
RAG是什么
RAG（Retrieval-Augmented Generation）检索增强生成
- 是一种结合信息检索（Retrieval）和文本生成（Generation）的技术
- RAG技术通过实时检索相关文档或信息，并将其作为上下文输入到生成模型中，从而提高生成结果的时效性和准确性。
RAG的优势
- 解决知识时效性问题：大模型的训练数据通常是静态的，无法涵盖最新信息，而RAG可以检索外部知识库实时更新信息
- 减少模型幻觉：通过引入外部知识，RAG能够减少模型生成虚假或不准确内容的可能性
- 提升专业领域回答质量：RAG能够结合垂直领域的专业知识库，生成更具专业深度的回答
- 生成内容的溯源：答案是通过某一知识片段基于某一个内容生成的
RAG流程
Step1: 数据预处理，构建索引库
- 知识库构建：收集并整理文档、网页、数据库等多源数据库，构建外部知识库
- 文档分块：将文档切分为适当大小的片段（chunks），以便后续检索。分块策略需要在语义完整性与检索效率之间取得平衡
- 向量化处理：使用嵌入模型（如BGE、M3E、Chinese-Alpaca-2等）将文本块转换为向量，并存储在向量数据库中