【面试题】关于RAG的五道题

✅ 问题：什么是 RAG？

最准确答案：

RAG（Retrieval-Augmented Generation，检索增强生成） 是一种将“外部知识检索”与“大语言模型生成”相结合的框架，旨在提升 LLM 在开放域问答、知识密集型任务中的准确性、可追溯性和知识更新能力。

其标准流程为：

1. Query 输入 → 用户提出问题
2. Retrieval 检索 → 将 Query 嵌入向量空间，从外部知识库（如向量数据库）中召回 Top-K 最相关文档片段
3. Augmentation 增强 → 将检索到的文档作为上下文，与原始 Query 一起构造 Prompt
4. Generation 生成 → LLM 基于增强后的 Prompt 生成最终答案，答案应忠实于检索内容

🔬 本质公式：
P(answer | query) ≈ Σ P(answer | query, doc_i) · P(doc_i | query)
即：答案的概率分布由检索到的证据文档加权决定。

💡 核心价值：
让 LLM 从“闭卷考试”（依赖参数记忆）变为“开卷考试”（依赖外部证据），显著减少幻觉、支持知识动态更新、提高可解释性。

📌 典型架构：
Query → Embedding Model → Vector DB → Top-K Docs → Prompt Template → LLM → Answer

✅ 加分项：

• 引用 Facebook 2020 年原始论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》
• 对比“参数化知识” vs “非参数化知识”

---

✅ 问题：说一下 RAG 核心技术？

最准确答案：

RAG 的核心技术可归纳为“三模块 + 两优化”：

1. 检索器（Retriever）

• 稠密检索（Dense Retrieval）：
  使用 Sentence-BERT、BGE、E5 等模型将 Query 和文档映射到同一向量空间，通过余弦相似度召回。
  → 优点：语义匹配强；缺点：计算成本高，OOV 敏感。
• 稀疏检索（Sparse Retrieval）：
  BM25、SPLADE —— 基于词频/倒排索引，擅长关键词匹配。
  → 优点：速度快，可解释；缺点：语义泛化弱。
• 混合检索（Hybrid）：
  ColBERT（延迟交互）、DPR + BM25 融合 → 兼顾语义与词匹配。

2. 生成器（Generator）

• LLM 选择：GPT-4、Claude 3、Llama 3、Command R+、Qwen-Max 等，需支持长上下文（≥32K）。
• Prompt 工程：
  • 明确指令：“仅基于以下文档回答…”
  • 引用要求：“请标注答案来源（如[1]）”
  • 格式约束：JSON / XML / Markdown 输出

3. 整合策略（Integration）

• Naive Concatenation：最常用，但易丢失重点
• Attention Injection：如 FLARE，在生成中动态关注检索段落
• Iterative Retrieval：如 IRCoT，生成中发现问题 → 触发新检索 → 迭代修正

4. 关键优化技术（2024~2025 主流）

• Reranker：Cross-Encoder（如 bge-reranker-large）对 Top-100 精排
• Query Expansion：HyDE、Query2Doc、RAG-Fusion
• Self-RAG：模型自主决定是否检索、选择哪段证据、是否修正
• RA-DPO：检索感知的 DPO 微调，强化模型对检索内容的依赖

✅ 加分项：

• 提及“检索是瓶颈，不是银弹”（Lost in the Middle 论文）
• 画架构图：User → Query → Retriever → Reranker → Generator → Output

---

✅ 问题：为什么需要 RAG-Fusion？

最准确答案：

RAG-Fusion 是为解决“单一查询语义局限性”而设计的高级检索策略，其核心思想是：

“一个查询的多种表达，比一个表达更接近真相。”

❗ 传统 RAG 的缺陷：

• 用户 Query 表述模糊、口语化、术语不标准 → 检索失败
• 向量模型对 Query 微小变化敏感 → 召回不稳定
• 单一检索路径 → 容易错过相关文档

✅ RAG-Fusion 工作流程：

1. Query Generation：
   原始 Query → 由 LLM 生成 N 个语义等价或互补的变体
   （如：“苹果市值？” → “Apple market cap 2024?”、“苹果公司最新估值？”）
2. Parallel Retrieval：
   每个 Query 独立检索 Top-K 文档 → 得到 N × K 个候选
3. Reciprocal Rank Fusion（RRF）：
   $$\text{Score}(d)=\sum _{q\in \text{queries}}\frac{1}{{\text{rank}}_q(d)+60}$$
   • rank_q(d)：文档 d 在查询 q 的结果中的排名（从1开始）
   • +60：平滑因子，避免低排名文档得0分
   • 总分越高，文档综合相关性越强
4. 重排序后取 Top-K 送入 LLM 生成

✅ 优势：

• 提升召回率（尤其模糊/复杂/多义查询）
• 排序更鲁棒（抗单一查询噪声）
• 无需训练，即插即用

⚠️ 不足：

• 延迟增加（N 倍检索）
• 查询生成可能引入噪声
• 成本上升（尤其商用 API）

✅ 加分项：

• 手写 RRF 公式并解释 +60 的作用
• 对比：RAG-Fusion vs HyDE vs Query2Doc
• 引用 LangChain / LlamaIndex 中的实现

---

✅ 问题：RAG VS SFT

最准确答案：

维度	RAG（检索增强生成）	SFT（监督微调）
知识来源	外部知识库（非参数化）	模型参数（参数化）
知识更新	实时更新（改数据库即可）	需重新训练（成本高、周期长）
幻觉控制	强（依赖检索证据）	弱（依赖训练数据覆盖度）
可解释性	高（可溯源至文档）	低（黑盒生成）
训练成本	低（无需训练 LLM）	高（需标注数据 + GPU 资源）
推理成本	中高（检索+生成）	低（仅生成）
适用场景	事实型问答、客服、法律、医疗等知识密集场景	风格控制、指令遵循、创作、对话流畅性
维护难度	低（维护知识库）	高（持续收集数据 + 重训）
前沿趋势	Agentic RAG、Self-RAG、RA-DPO	DPO、ORPO、模型合并（Merge）、MoE 微调

💡 核心结论：

• RAG 适合“知识型任务” —— 要求准确、可溯源、可更新
• SFT 适合“能力型任务” —— 要求风格、语气、创作力
• 最佳实践：RAG + SFT 结合 —— 用 SFT 微调模型“更擅长使用检索结果”，如 RA-DPO、Self-RAG

✅ 加分项：

• 画对比矩阵图
• 举例：医疗问答用 RAG，小说创作用 SFT
• 提及“RA-SFT”混合范式（如用检索数据微调模型）

---

✅ 问题：RAG 未来发展方向

最准确答案：

RAG 的未来将围绕 “更智能、更高效、更可信、更普适” 四大方向演进：

1. Agentic RAG（智能体化）

• 模型自主规划检索路径：多跳检索 → 验证 → 迭代修正（如 IRCoT、ReAct）
• 工具调用：自动调用 API、数据库、计算器（如 Toolformer、DSPy）

2. Self-RAG & RA-DPO（自我优化）

• Self-RAG：模型在生成时自主决定“是否检索”、“选哪段证据”、“是否修正”
• RA-DPO：用强化学习微调模型，使其更依赖检索内容，减少幻觉

3. 多模态 RAG

• 支持图文、表格、音视频联合检索与生成（如 GPT-4V + CLIP + Nougat）
• 应用场景：医疗影像报告、产品手册问答、教学视频解析

4. 实时 & 流式 RAG

• 秒级索引更新（如新闻、股价、社交媒体）
• 流式嵌入 + 增量索引（如 Qdrant、Elasticsearch）

5. 小型化 & 边缘部署

• 7B 模型 + 4-bit 量化 + 本地向量库（Chroma、LanceDB） → 端侧 RAG
• 适用场景：手机 App、车载系统、离线环境

6. 评估标准化

• 核心指标：
  • Faithfulness（忠实度）
  • Context Relevance（上下文相关性）
  • Answer Relevance（答案相关性）
  • 端到端准确率（EM / F1）
• 工具：RAGAS、TruLens、LangSmith

7. 神经符号融合

• 结合知识图谱（KG）+ 规则引擎 + RAG → 提升逻辑推理能力
• 如：检索到“爱因斯坦生于1879” → KG 推出“2025年时146岁”

✅ 加分项：

• 引用前沿论文/框架：DSPy、Atlas、RA-DIT、FLARE
• 提及“RAG 会成为 LLM 的标准外挂知识模块”

---