【AI论文】ReasonIR：为推理任务训练检索器

摘要：我们提出了ReasonIR-8B，这是第一个专门针对一般推理任务进行训练的检索器。 现有的检索器在推理任务上表现出的收益有限，部分原因是现有的训练数据集侧重于与直接回答它们的文档相关的简短事实查询。 我们开发了一个合成数据生成管道，对于每个文档，我们的管道都会创建一个具有挑战性和相关性的查询，以及一个看似相关但最终无益的否定性查询。 通过在我们的合成数据和现有公共数据的混合上进行训练，ReasonIR-8B在广泛使用的推理密集型信息检索（IR）基准BRIGHT上实现了29.9 nDCG@10（无重新排序）和36.9 nDCG@10（有重新排序）的最新技术水平。当应用于RAG任务时，与闭卷基线相比，ReasonIR-8B将MMLU和GPQA性能分别提高了6.4%和22.6%，优于其他检索器和搜索引擎。 此外，ReasonIR-8B更有效地利用了测试时的计算：在BRIGHT上，随着重写查询的增加和信息量的丰富，其性能持续提高； 当与LLM重新排序器结合使用时，它继续优于其他检索器。 我们的培训方案是通用的，可以很容易地扩展到未来的法学硕士； 为此，我们开源了我们的代码、数据和模型。Huggingface链接：Paper page，论文链接：2504.20595

研究背景和目的

研究背景

在自然语言处理（NLP）领域，随着大型语言模型（LLMs）的快速发展，其在知识寻求任务（如事实问答）中展现出了卓越的性能。然而，对于需要复杂推理的任务，现有的检索器表现仍然有限。传统的检索器主要针对简短的事实查询进行优化，这些查询通常与直接回答它们的文档相关联。然而，在处理复杂推理任务时，如数学证明、科学解释或逻辑推断等，这些检索器往往难以捕捉到与任务紧密相关的深层信息。

现有的推理密集型信息检索（IR）基准测试，如BRIGHT，揭示了传统检索器在处理复杂推理查询时的不足。这些查询往往要求检索器能够检索到广泛的背景知识、有效的推理模式或使用类似方法解决的演示问题。因此，开发一种专门针对推理任务进行优化的检索器变得尤为重要。

研究目的

本研究旨在提出ReasonIR-8B，这是第一个专门针对一般推理任务进行训练的检索器。通过开发一个合成数据生成管道，我们能够为每个文档创建一个具有挑战性和相关性的查询，以及一个看似相关但最终无益的否定性查询（硬否定）。通过在合成数据和现有公共数据的混合上进行训练，ReasonIR-8B旨在显著提升在推理密集型信息检索任务上的性能。

具体而言，本研究的目的包括：

1. 提升推理任务的信息检索质量：通过专门针对推理任务进行训练，使ReasonIR-8B能够更准确地识别并检索出与推理任务高度相关的信息。

2. 探索合成数据在检索器训练中的应用：通过合成数据生成管道，生成大量具有挑战性和多样性的训练数据，以弥补现有公共数据集在推理任务上的不足。

3. 评估ReasonIR-8B在RAG任务中的性能：将ReasonIR-8B应用于检索增强生成（RAG）任务中，评估其在提升LLMs性能方面的效果。

4. 开源代码、数据和模型：为了促进未来研究的发展，我们将开源ReasonIR-8B的代码、数据和模型。

研究方法

合成数据生成管道

为了训练ReasonIR-8B，我们开发了一个合成数据生成管道，该管道包括以下几个关键步骤：

1. 多样化长度查询和文档生成：生成不同长度的查询及其对应的合成文档，以扩展检索器的有效上下文长度。

2. 硬查询生成：基于高质量文档生成具有挑战性的推理密集型查询。这些查询要求推理能力超越简单的词汇或表面语义匹配。

3. 多轮硬否定生成：采用多轮方法生成硬否定，即与查询表面相关但实际上无帮助的文档。这解决了传统硬否定挖掘方法在推理密集型查询上效果不佳的问题。

检索器训练

我们使用Llama 3.1-8B作为基础模型，通过对比学习目标函数对ReasonIR-8B进行微调。训练数据包括公共数据集、合成数据（多样化长度数据和硬查询数据）的混合。为了增强嵌入质量，我们修改了Llama 3.1-8B的注意力掩码，从因果注意力掩码改为双向注意力掩码。

评估方法

我们在BRIGHT基准测试上评估ReasonIR-8B的信息检索性能，该基准测试涵盖了生物学、经济学、数学和编码等12个学科的推理密集型查询。此外，我们还在MMLU和GPQA等RAG任务上评估了ReasonIR-8B的性能，使用Llama 3.1-8B和Qwen 2.5-7B-Instruct作为阅读模型。

研究结果

信息检索性能

ReasonIR-8B在BRIGHT基准测试上取得了显著的性能提升。在没有重新排序器的情况下，ReasonIR-8B达到了29.9 nDCG@10的最新技术水平；当与LLM重新排序器结合使用时，性能进一步提升至36.9 nDCG@10。这表明ReasonIR-8B在检索与推理任务高度相关的信息方面表现卓越。

RAG任务性能

在MMLU和GPQA等RAG任务上，ReasonIR-8B相对于闭卷基线分别提升了6.4%和22.6%的性能，优于其他检索器和搜索引擎。这表明ReasonIR-8B在为LLMs提供高质量检索结果方面表现出色，从而显著提升了RAG任务的性能。

测试时计算效率

ReasonIR-8B在测试时计算效率方面也表现出色。随着重写查询的增加和信息量的丰富，ReasonIR-8B在BRIGHT上的性能持续提高。当与LLM重新排序器结合使用时，ReasonIR-8B继续优于其他检索器。

研究局限

尽管ReasonIR-8B在推理密集型信息检索任务上取得了显著的性能提升，但本研究仍存在一些局限：

1. 合成数据的质量：尽管我们采用了多轮硬否定生成等方法来提高合成数据的质量，但合成数据与真实世界数据之间仍可能存在差异。这可能影响ReasonIR-8B在真实场景中的泛化能力。

2. 检索器的可解释性：ReasonIR-8B作为一个黑箱模型，其检索决策过程缺乏可解释性。这可能限制了其在某些对可解释性要求较高的应用场景中的使用。

3. 计算资源需求：训练ReasonIR-8B需要大量的计算资源，包括高性能GPU和长时间训练。这可能限制了该技术在资源有限环境中的应用。

未来研究方向

针对上述局限，未来的研究可以从以下几个方面展开：

1. 提高合成数据的质量：探索更先进的合成数据生成方法，如利用生成对抗网络（GANs）或变分自编码器（VAEs）来生成更逼真的合成数据。同时，可以考虑结合真实世界数据来进一步优化合成数据的质量。

2. 增强检索器的可解释性：研究如何提高ReasonIR-8B等深度学习模型的可解释性，例如通过可视化技术或引入注意力机制来揭示模型的决策过程。这将有助于增强用户对模型的信任，并促进模型在更多应用场景中的使用。

3. 优化计算资源利用：探索更高效的训练算法和硬件加速技术，以降低训练ReasonIR-8B所需的计算资源。例如，可以考虑使用混合精度训练、模型剪枝或量化等技术来减少模型的存储和计算需求。

4. 拓展应用场景：将ReasonIR-8B应用于更多需要复杂推理的任务中，如自然语言推理、问答系统或对话系统等。通过不断拓展应用场景，可以进一步验证ReasonIR-8B的通用性和有效性。

5. 结合多模态信息：考虑将文本、图像、音频等多模态信息结合到检索过程中，以提升ReasonIR-8B在处理多模态推理任务时的性能。这将需要开发新的多模态检索器和融合策略。

6. 持续学习和自适应：研究如何使ReasonIR-8B具备持续学习和自适应的能力，以便在面对新领域或新任务时能够快速适应并保持高性能。这可以通过在线学习、迁移学习或元学习等技术来实现。

总之，本研究提出了ReasonIR-8B，这是第一个专门针对一般推理任务进行训练的检索器。通过合成数据生成管道和对比学习训练，ReasonIR-8B在推理密集型信息检索任务上取得了显著的性能提升。未来的研究可以进一步探索如何提高合成数据的质量、增强检索器的可解释性、优化计算资源利用、拓展应用场景、结合多模态信息以及实现持续学习和自适应。这些研究方向将有助于推动推理密集型信息检索技术的发展，并为自然语言处理领域带来更多的创新和应用。