综述速读|086.04.24.Retrieval-Augmented Generation for AI-Generated Content A Survey
论文题目：Retrieval-Augmented Generation for AI-Generated Content: A Survey
论文地址：https://arxiv.org/abs/2402.19473
bib引用：
@misc{zhao2024retrievalaugmentedgenerationaigeneratedcontent,
title={Retrieval-Augmented Generation for AI-Generated Content: A Survey},
author={Penghao Zhao and Hailin Zhang and Qinhan Yu and Zhengren Wang and Yunteng Geng and Fangcheng Fu and Ling Yang and Wentao Zhang and Jie Jiang and Bin Cui},
year={2024},
eprint={2402.19473},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2402.19473},
}
InShort
本文对RAG进行了全面综述，涵盖其基础、增强方法、应用、基准测试、局限与未来方向。
- RAG概述
- 背景：AIGC借助模型算法创新、基础模型扩展和优质数据实现发展，但面临知识更新、长尾数据处理等问题。RAG通过引入检索过程，利用可检索知识作为非参数化记忆，解决这些问题，其应用已拓展到多种模态。
- 贡献：系统梳理RAG基础范式，探究增强方法，展示其在多模态和任务中的应用，讨论局限并提出未来方向，为研究和实践提供参考。
- 相关工作：已有相关研究存在局限，本文旨在提供全面系统的RAG综述，涵盖基础、增强和应用等方面。
- RAG基础
- 生成器：常用生成器包括Transformer模型、LSTM、扩散模型和GAN，不同模型适用于不同生成场景。
- 检索器：检索方法分为稀疏检索、密集检索和其他方法。稀疏检索基于词项匹配，密集检索使用密集嵌入向量，其他方法如基于编辑距离、知识图搜索和命名实体识别等。
- 基础范式：分为查询式RAG（如REALM、SELF - RAG）、潜在表示式RAG（如FiD、RETRO）、基于logit的RAG（如kNN - LM、TRIME）和推测式RAG（如REST、GPTCache），每种范式在不同模态和任务中各有应用。
- RAG增强方法
- 输入增强：通过查询变换（如Query2doc、HyDE）和数据增强（如Make - An - Audio、LESS）提升检索效果。
- 检索器增强：采用递归检索（如ReACT、RATP）、块优化（如LlamaIndex、RAPTOR）、检索器微调（如REPLUG、APICoder）、混合检索（如RAP - Gen、BlendedRAG）、重排序（如Re2G、AceCoder）和检索变换（如FILCO、FiD - Light）等方法。
- 生成器增强：运用提示工程（如LLMLingua、ReMoDiffuse）、解码调整（如InferFix、SYNCHROMESH）和生成器微调（如RETRO、APICoder）提升生成质量。
- 结果增强：通过输出重写（如SARGAM、Ring）改进生成结果，使其更符合下游任务需求。
- 流程增强：包括自适应检索（如FLARE、Self - RAG）和迭代RAG（如RepoCoder、ITER - RETGEN），优化RAG整体流程。
- RAG应用
- 文本领域：在问答、事实验证、常识推理、人机对话、神经机器翻译、事件提取和文本摘要等任务中广泛应用，如FiD、REALM用于问答，CONCRETE用于事实验证。
- 代码领域：涵盖代码生成、总结、补全、自动程序修复、文本到SQL和代码语义解析等任务，不同任务采用不同的RAG范式和方法，如SKCODER用于代码生成，Re2Com用于代码总结。
- 多模态领域：在知识、图像、视频、音频、3D和科学等领域均有应用，如在知识领域用于知识库问答和知识增强开放域问答；在图像领域用于图像生成和图像字幕；在视频领域用于视频字幕和视频问答对话等。
- RAG基准测试：多个基准测试从不同维度评估RAG系统，如噪声鲁棒性、负样本拒绝、信息整合、反事实鲁棒性、忠实度、答案相关性和上下文相关性等。
- RAG局限与展望
- 现存局限：存在检索结果有噪声、额外开销大、检索器与生成器存在差距、系统复杂度增加和上下文过长等问题。
- 未来方向：包括设计新的增强方法、构建灵活的RAG管道、拓展应用领域、实现高效部署和处理、整合长尾和实时知识以及与其他技术结合等。
| 评估维度 | 评估指标 | 评估基准测试示例 |
|---|---|---|
| 噪声鲁棒性 | 测试LLMs能否从噪声文档中提取必要信息 | Chen等人提出的RAG基准测试 |
| 负样本拒绝 | 评估LLMs在检索内容不足时能否拒绝响应 | Chen等人提出的RAG基准测试 |
| 信息整合 | 检查LLMs能否整合多个检索内容获取知识并响应 | Chen等人提出的RAG基准测试 |
| 反事实鲁棒性 | 判断LLMs能否识别检索内容中的反事实错误 | Chen等人提出的RAG基准测试 |
| 忠实度 | 基于检索内容评估事实准确性 | RAGAS、ARES、TruLens |
| 答案相关性 | 确定结果是否回答了查询 | RAGAS、ARES、TruLens |
| 上下文相关性 | 评估检索内容的相关性和简洁性 | RAGAS、ARES、TruLens |
关键问题
- RAG的基础范式有哪些，它们是如何增强生成过程的？
- RAG的基础范式有查询式RAG、潜在表示式RAG、基于logit的RAG和推测式RAG。查询式RAG将检索信息与用户查询整合作为生成器输入；潜在表示式RAG把检索对象作为潜在表示融入生成模型；基于logit的RAG在解码过程中通过logits整合检索信息；推测式RAG利用检索替代部分生成过程以节省资源和加速响应。这些范式从不同角度增强生成过程，提升生成内容的质量和效率。
- RAG在不同模态中的应用有何特点？
- 在文本模态中，广泛应用于多种自然语言处理任务，通过检索相关文本信息辅助生成；代码模态结合检索和生成技术，提升代码相关任务的性能；知识模态利用结构化知识（如知识图谱和表格）进行检索增强；图像模态借助检索提高图像生成和描述的质量；视频模态用于视频字幕生成和视频问答对话等，增强对视频内容的理解和描述；音频模态在音频生成和字幕任务中发挥作用；3D模态应用于3D资产生成；科学领域用于药物发现、生物医学信息增强和数学应用等。不同模态根据自身特点和需求，采用不同的RAG方法和技术，以实现更好的效果。
- RAG目前面临哪些挑战，未来有哪些发展方向？
- RAG目前面临检索结果有噪声、额外开销大、检索器与生成器存在差距、系统复杂度增加和上下文过长等挑战。未来发展方向包括设计新的增强方法，以更好地发挥RAG的潜力；构建灵活的RAG管道，适应复杂任务；拓展应用领域，设计领域特定的RAG技术；实现高效部署和处理，降低检索开销和系统复杂度；整合长尾和实时知识，使RAG能够处理动态信息；与其他技术结合，如微调、强化学习等，进一步提升AIGC的效果 。