大模型 rag 技术浅析（一）

一、RAG技术概述

RAG技术的主要思想是通过检索模块从外部知识库中获取相关信息，然后将这些信息与用户输入一起传递给生成模块，从而生成更准确、更有针对性的回答。这种方法可以有效缓解大语言模型在知识更新和特定领域知识不足方面的问题。

二、RAG技术详细工作原理

1. 输入处理

用户输入首先经过预处理，包括：

• 分词（Tokenization）：将输入文本拆分为词语或子词。
• 去停用词（Stop Words Removal）：去除对语义理解无帮助的常用词，如“的”、“是”等。
• 词形还原（Lemmatization）：将词语还原为基本形式，如“running”还原为“run”。
• 词向量表示（Word Embedding）：将词语转换为向量表示，以便于后续的语义理解和检索。

2. 检索模块

检索模块的目标是从外部知识库中获取与用户输入相关的文档或片段。以下是具体步骤：

2.1 查询构建

• 关键词提取（Keyword Extraction）：