大模型RAG(检索增强)创新--SELF-RAG

        检索增强生成 (RAG) 提供了一种将 ChatGPT/GPT-4 等大型语言模型与自定义数据集成的途径，但存在局限性。让我们看看 RAG 最近的研究是如何解决一些问题。

        大语言模型(LLM)将改变整个金融领域。其中一个场景是大语言模型可以学习大量文档，并在很短的时间内分析趋势并分析收益。但存在的问题是很多时候你得到的答案只是部分且不完整的。举例来说，您有一个文档，其中包含 X 公司过去 15 年的年收入，但位于不同的段落。在标准检索增强生成 (RAG) 架构中，您通常检索前 k 个相似文档，或选择固定上下文长度内的文档。然而，这可能会带来几个问题。一个问题是 top-k 文档并不包含所有答案——例如可能仅对应于过去 5 或 10 年。另一个问题是您检索的块和问题并不一定相似。在这种情况下，您可能会得到错误的答案

        当您已经开发了普通的 RAG 策略，该策略在您测试的简单情况下运行良好，但当您提出一些开箱即用的问题时，就会失败。让我们看一下 RAG 最近的一些创新，看看它们如何为上述问题提供解决方案。

自我RAG

        作者开发了一种巧妙的方法，微调模型，让模型如(Llama2-7B 和 13B)输出特殊标记  [Retrieval], [No Retrieval], [Relevant], [Irrelevant], [No support / Contradictory], [Partially supported], [Utility]等附加到 LM 生成中，用于决定上下文是否相关/不相关、是否支持从上下文生成 LM 文本以及对生产是否有用。

训练自我 RAG

        Self-RAG 通过两步过程进行训练。在步骤 1 中，训练一个简单的 LM 对生成的输出(仅提示或提示 + RAG 增强输出)进行分类，并在末尾附加相关的特殊标记。这个模型是通过 GPT-4 进行训练的。具体来说，GPT-4 是使用特定指令进行提示的(“Given an instruction, make a judgment on whether finding some external documents from the web helps to generate a better response.”)

在步骤 2 中，生成器模型使用标准的下一个标记预测目标，生成用于检索/批评生成的特殊标记。与其他微调或 RLHF 方法不同，下游训练会影响模型输出并使后代产生偏差，通过这种简单的方法，模型仅被训练以生成适当的特殊标记，不会改变底层 LM!太棒了!

评估自我RAG

        作者针对公共卫生事实验证、多项选择推理、问答等进行了一系列评估。共有 3 种类型的任务。闭集任务包括事实验证和多项选择推理，并以准确性作为评价指标。简短的生成任务包括开放域问答数据集。作者评估了模型生成中是否包含较好答案，而不是严格要求精确匹配。

长篇生成包括传记生成和长篇问答。为了评估这些任务，作者使用 FactScore 来评估传记——基本上是对生成的各种信息及其事实正确性的衡量。对于长格式的 QA，使用了引用精度和召回率。

Self-RAG 在非专有模型中表现最好，并且在大多数情况下较大的 13B 参数优于 7B 模型。在某些情况下它甚至优于 ChatGPT。