做网站的程序网站seo重庆

Google DeepMind研究：大语言模型（LLMs）在无需人工提示的情况下，能否通过调整解码过程来自然展现推理能力

在提升大型语言模型（LLM）的推理能力方面，以往研究主要聚焦于特定的提示技术，例如少样本或零样本思维链（CoT）提示。这些方法虽有效，但往往需要大量人工进行提示工程设计。我们的研究采用了一种新颖的思路，提出了这样的问题：大型语言模型在没有提示的情况下能否有效地进行推理？

有趣的是，我们的研究结果表明，只需改变解码过程，就可以从预训练的大型语言模型中引出思维链推理路径。我们没有使用传统的贪心解码，而是对前k个候选 tokens 进行了研究，发现这些序列中常常蕴含着思维链路径。这种方法不仅绕过了提示带来的干扰因素，还能让我们评估大型语言模型的内在推理能力。

此外，我们观察到，解码路径中存在思维链与模型对解码答案的更高置信度相关联。这一置信度指标能有效区分思维链路径和非思维