参数高效的提示调优实现了通用且校准的神经文本检索器

摘要

提示调优尝试在预训练模型中仅更新少量任务特定参数。在语言理解和生成任务上，其表现已可与全参数微调相媲美。在本工作中，我们研究了用于神经文本检索器的提示调优问题。我们提出了一种参数高效的提示调优方法，适用于文本检索的领域内、跨领域及跨主题设置。通过广泛分析，我们展示了该策略能够缓解基于微调的检索方法面临的两个问题——参数效率低和泛化能力弱。尤其值得注意的是，该方法显著提升了检索模型在域外零样本泛化能力。仅通过更新模型参数的0.1%，提示调优策略便能帮助检索模型实现优于传统全参数更新方法的泛化性能。最后，为促进检索器在跨主题泛化方面的研究，我们整理并发布了一个包含18,000条查询-结果对、涵盖87个主题的学术检索数据集，成为迄今为止最大的主题特定数据集。

1 引言

在自然语言处理（NLP）的众多应用中，寻找相关文本是一个基础性问题，如开放领域问答（Chen 等，2017）、检索增强的语言建模（Guu 等，2020）以及事实验证（Thorne 等，2018）。近年来，这一领域的进展主要得益于神经网络方法（Karpukhin 等，2020；Khattab 和 Zaharia，2020），尤其是参数规模不断扩大的大型预训练语言模型。例如，最