论文阅读：arxiv 2025 How Likely Do LLMs with CoT Mimic Human Reasoning?
总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328
https://arxiv.org/pdf/2402.16048
https://www.doubao.com/chat/8775621039078402
How Likely Do LLMs with CoT Mimic Human Reasoning?
文章目录
- 速览
- **1. 研究背景：CoT的“表里不一”**
- **2. 核心方法：用因果分析拆穿模型的“伪装”**
- **3. 重要发现：模型的“推理假象”**
- **4. 具体案例：模型如何“忽悠”**
- **5. 结论：如何让模型真推理？**
- **通俗总结**
速览
这篇论文主要探讨了大型语言模型（LLMs）在使用思维链（CoT）时是否真的在模仿人类推理，还是只是表面上的关联。
1. 研究背景：CoT的“表里不一”
- CoT的作用：思维链是让LLM一步步输出推理过程的方法，比如解数学题时写出每一步计算。人们以为这样能让模型更像人类一样思考。
- 存在的问题：但实验发现，CoT有时没提升模型表现，甚至推理过程和答案不一致（比如算错步骤却得出正确答案），这说明模型可能没真正“推理”，只是在“解释”。
2. 核心方法：用因果分析拆穿模型的“伪装”
- 把问题拆成三部分：
- Z（指令）：比如“请解这道加法题”。
- X（CoT推理）：一步步的计算过程。
- Y（答案）：最终结果。
- 关键思路：通过干预（修改Z或X）看Y的变化，判断三者的因果关系，比如：
- 给模型正确的CoT（X），看答案（Y）是否变对；
- 给模型错误的指令（Z），看答案是否被误导。
3. 重要发现：模型的“推理假象”
- 四种因果结构：
- 理想情况（因果链）：Z→X→Y，即指令导致推理，推理导致答案（像人类一样）。
- 常见问题（共同原因/全连接）：Z直接影响Y，X和Y没关系或部分相关。此时模型可能先“猜”答案，再编推理过程（解释），导致推理和答案矛盾。
- 模型越大≠推理越强：比如GPT-4比GPT-3.5准确率高，但因果结构未必更接近理想情况，说明单纯扩大模型没用。
- 训练方法的副作用：
- 上下文学习（ICL）：给模型示例能强化因果链（接近人类推理）。
- 监督微调（SFT）和RLHF：反而削弱因果链，让模型更依赖表面关联（比如指令中的提示词）。
4. 具体案例：模型如何“忽悠”
- 数学题中的矛盾：60%以上的简单加法题中，模型推理步骤错但答案对，比如算错个位数却凑对总和；甚至GPT-4在74%的加法题中出现这种情况。
- 逻辑题中的“编造”：模型可能编造题目里没有的条件，强行推出正确答案，推理过程其实不合理。
5. 结论：如何让模型真推理？
- 现有方法的局限：CoT看似让模型“说理由”，但多数情况下模型只是在“找借口”，而非真正推理。
- 未来方向：需要新的训练技术，让模型的推理过程（X）真的能决定答案（Y），而不是被指令（Z）直接影响。比如用因果干预技术强化X→Y的关系。
通俗总结
这篇论文揭穿了LLM的“小聪明”：它们用CoT时可能不是在认真推理，而是先猜答案再编过程。要让模型像人一样思考，不能只靠扩大模型或调参，得从因果关系入手，让推理步骤真正“说了算”。