河北省建设工程质量监督网站移动应用开发与服务

定义与概念

1. RAG 简介：RAG 是一种创新性的 AI 框架，它巧妙地融合了检索与生成技术。通过搭建大型语言模型（LLM）与外部知识库之间的桥梁，极大地提升了生成内容的精准度和相关性。其核心运作机制在于，把用户输入的信息与从外部知识库检索到的相关文档进行有机结合，随后将这一组合信息输入到生成模型中，进而产出更为可靠、紧跟最新信息的输出内容。
2. 起源与背景
   • 提出团队与时间：2020 年，Facebook AI Research（FAIR）团队率先提出了 RAG 技术，为解决大语言模型在实际应用中的难题开辟了新路径。
   • 解决 “幻觉” 问题初衷：大语言模型尽管在生成流畅文本方面展现出卓越能力，但在知识密集型任务中，容易出现 “幻觉” 现象，即生成与客观事实不符的内容。RAG 技术的诞生，正是为了有效应对这一棘手问题。
   • 提出背景深入分析：
     • 大语言模型的局限性：LLM 在生成文本时，依赖的是训练数据中的知识，这导致其存在知识截止日期问题，且训练数据可能陈旧，难以保证生成内容的准确性。
     • 知识密集型任务的需求：在问答系统、智能助手等应用场景中，用户对生成内容的准确性和时效性有着较高要求，传统 LLM 难以满足这些需求。
3. 技术定位与价值
   • 提升生成内容准确性：通过引入外部最新知识，RAG 能够有效纠正 LLM 可能产生的错误信息，使生成内容更贴合实际情况。
   • 增强语言模型泛化能力：借助外部知识库丰富多样的信息，RAG 帮助 LLM 更好地应对各种不同类型的任务和输入，提升其泛化性能。
4. RAG 的优势
   • 解决 LLM 的局限性：RAG 通过接入外部知识，成功解决了 LLM 面临的知识更新不及时、模型易产生幻觉以及私有数据不足等问题。例如，在处理实时性较强的信息时，RAG 可从最新数据源获取信息，避免 LLM 因知识局限而生成错误内容。
   • 增强可解释性：RAG 将生成内容与检索到的原始资料建立清晰链接，使得生成内容的依据一目了然，大大增强了内容的可追溯性和可解释性，提升用户对生成结果的信任度。
   • 提升效率：RAG 通过高效检索和整合长文本信息，突破了 LLM 上下文窗口的限制。在处理长篇文档或复杂问题时，能够快速定位关键信息并融入生成过程，提高生成效率和质量。
5. 技术演进
   • Naive RAG（基础 RAG）：
     • 核心思想：主要依靠关键词匹配技术，如 TF - IDF 或 BM25 算法，从静态数据集中检索相关文档，并将这些文档作为上下文输入到生成模型中。
     • 优点：实现方式简单直接，对于一些对准确性要求不是极高、需要快速部署的场景较为适用，能够快速搭建起基本的检索增强生成系统。
     • 缺点：由于单纯基于关键词匹配，缺乏对语义的深入理解，导致生成的回答可能存在碎片化问题，或者无法精准匹配用户需求，回答的准确性和完整性欠佳。
   • Advanced RAG（高级 RAG）：
     • 核心思想：引入语义增强的检索技术，如密集向量搜索（Dense Passage Retrieval, DPR）和神经排序算法，以提升检索的准确性和语义理解能力。
     • 关键特性：
       • 密集向量搜索：将查询和文档转化为高维向量空间中的向量表示，通过计算向量之间的相似度来衡量语义匹配程度，大大提高了语义对齐的准确性，能够更精准地找到与查询语义相关的文档。
       • 上下文重排：利用神经模型对检索结果进行重新排序，根据文档与查询的相关性程度，确保最相关的信息在生成过程中被优先考虑，从而提升生成内容的质量。
       • 多跳检索：支持在多个文档之间进行推理，能够处理更为复杂的查询，通过在多个文档中跳跃式检索和关联信息，为复杂问题提供更全面、准确的答案。
     • 适用场景：在对生成内容精度要求较高的应用场景中表现出色，如个性化推荐系统，能够根据用户的语义需求精准推荐相关内容；学术问答领域，可为学生和研究人员提供准确的学术知识解答。
   • Modular RAG（模块化 RAG）：
     • 核心思想：将检索和生成管道细分为多个独立的模块，这种模块化设计允许根据不同需求进行灵活配置和优化。
     • 创新点：
       • 混合检索策略：结合稀疏检索（如传统的关键词匹配）和密集检索（如基于向量的语义检索）方法，根据查询类型的不同，灵活选择最合适的检索方式，以提高检索效率和准确性。
       • 工具集成：支持与外部 API、数据库等多种工具进行集成，拓展了数据来源和处理能力。例如，可以连接专业领域的数据库，获取更专业、详尽的信息用于生成。
       • 可组合管道：各个组件（如检索器、生成器等）可以独立替换或增强，方便根据具体任务需求进行定制化开发，满足不同场景下的多样化需求。
     • 适用场景：适用于复杂多领域的任务，如金融分析，需要结合多种数据源和工具进行综合分析；法律研究，要从不同法律数据库和法规文档中检索并生成准确的法律见解。
   • Graph RAG（图结构 RAG）：
     • 核心思想：将 RAG 与知识图谱深度结合形成 GraphRAG，利用知识图谱独特的图结构来表示和存储信息，通过图遍历和子图搜索等操作来检索信息。相较于传统 RAG，GraphRAG 在处理复杂关系时更具优势，能够提供更丰富的上下文信息，有效解决全局性问题。
     • 特点：
       • 利用节点连接性捕捉实体间的关系：知识图谱中的节点代表实体，边表示实体之间的关系。GraphRAG 通过分析节点之间的连接关系