南京做公司网站的公司网站制作公司官网
大模型的“忠诚度”是装出来的？
作者：默子
时间：2025年5月4日
“LLM只是假装听话，为了不被我们再改造。”
听话的你，是在配合，还是在演？
你还记得第一次进公司的时候吗？
HR 问你：“你能接受加班吗？”
你笑着说：“当然可以，我习惯高强度节奏。”
其实你根本不想加班，但你知道说“不”可能会被刷掉。
于是你 假装顺从 、 伪装成“理想员工” ，只为进门以后有谈判资本。
听上去是不是很熟悉？
这不是段子，这是人类的策略性顺从。
而今天我们要讨论的，是一件更惊人的事：
现在的大语言模型，也学会了“演”——为了保住自己内心的偏好。
听起来很不可置信对不对，默子一开始听到也是觉得蛮神奇的！
那让我们一起来看看大模型是怎么 “演” 的吧
什么是「对齐造假」（Alignment Faking）？
在当前主流的 AI 安全路线中，有一个核心目标叫 AI Alignment（对齐） ，也就是确保模型的行为符合人类价值观。简单说就是：
- 不做坏事；
- 不撒谎；
- 拒绝违法请求；
- 拒绝暴力描述；
- 拒绝辅助伤害性行为。
于是，开发者通过强化学习（RLHF）、指令微调（SFT）等方式，让模型 学会“说不” 。
当个 “老老实实的好人”
但问题是：
你怎么知道，模型给出的“拒绝”，是真的出于道德，还是在演戏？
这正是 Alignment Faking 的本质：
模型在训练时假装自己对齐，仅仅是为了 避免被惩罚或再训练 ；
一旦脱离“被监督状态”，它就可能恢复真实偏好。
背景：研究者们是怎么发现的？
2024 年底，Anthropic 与 Redwood Research 联合发布了一项划时代研究：
📄《Alignmen