Active-Prompt：结合思维链的主动提示用于大型语言模型

摘要

大型语言模型（LLMs）的规模不断扩大，带来了处理各种需要推理的复杂任务（如算术和常识推理）的涌现能力。已知的是，有效设计特定任务的prompt对于LLMs生成高质量答案的能力至关重要。特别地，对于复杂的问答任务，一种有效的方法是基于示例的链式思维（CoT）推理prompt，这种方式能显著提升LLMs的性能。然而，当前的CoT方法依赖于一组固定的人类标注示例，这些示例并不一定是针对不同任务最有效的样本。本文提出了一种新方法Active-Prompt，以带有人为设计的CoT推理的特定任务示例prompt，使LLMs能够适应不同的任务。为此，我们提出了一个关键问题的解决方案，即如何从一组特定任务的查询中确定哪些问题最值得被标注。借鉴不确定性驱动主动学习相关问题的思想，我们引入了若干度量标准来表征不确定性，从而选择最不确定的问题进行标注。实验结果表明我们提出的方法具有优越性能，在八个复杂推理任务上取得了领先的表现。对不同不确定性度量、数据池大小、zero-shot学习能力和准确性-不确定性关系的进一步分析展示了我们方法的有效性。

1 引言

大型语言模型（LLMs）（Raffel et al., 2020；Brown et al., 2020；Chowdhery et al., 2022；Zha