LLM论文笔记 25: Chain-of-Thought Reasoning without Prompting

• Arxiv日期：2024.5.31
• 机构：Google DeepMind

关键词

• cot-decoding
• 推理路径
• pretrain

核心结论

1. LLMs 不需要prompting就可以生成链式推理路径，prompting只是将这些能力显性化的一种手段

2. cot path 往往与更高的model confidence相关，可以用作可靠性的metric

3. 探索多样化的解码路径能有效挖掘模型的内在推理能力，而不仅仅依赖于模型规模或训练数据的多样性

4. CoT-Decoding 可以弥补模型未经过指令调优时的推理能力缺陷，并在指令调优的模型中进一步优化性能

5. Cot-Decoding适用于多种任务和语言模型，显示出显著的通用性和鲁棒性

主要方法

（验证了内在推理能力的存在）使用pretrain模型，不使用greedy decoding，而是在第一个token预测使用top-k：发现内化cot推理能力，且带cot的答案置信度更高

置信度衡量标准：

answer中每一个token在NTP时当前token和下一个token的概率差异

注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文