人工智能风险与伦理（6）

AI 的失控风险

科学界对 AI 武器的忧虑主要围绕“不可控性”。武器本身威力虽大，但只要人类能掌控，就不会造成毁灭性后果。例如，核武器自二战后从未再被使用，原因在于人类清楚其破坏力，一般不敢轻言动用。核武器也不会自行发动攻击，而AI 武器却不同：它可能因识别错误或逻辑偏差，错把己方目标当敌方对象进行攻击。随着技术进步，出错概率将降低，但这类风险难以彻底消除。我们需要明白“不可控性”从何而来：

首先，AI 的失控风险来源于机器学习模型的过度灵活。人类的思维过程和行为方式受到生物结构与功能的限制。例如，我们的脑容量有限，无法记住所有信息，因此只能选择性记忆；我们的视觉解析度存在上限，难以关注极其细微的局部细节；我们的思维能力也有复杂度限制，难以处理过于庞杂的问题。在这些生理约束的基础上，经过漫长的自然选择，人类逐渐形成了如今的思维模式与行为规律。

反观人工智能则不受这些生物性限制。它通过计算模拟人类大脑的思考过程，无需受限于生理结构，因此能够探索出与人类截然不同的解决方案。AlphaGo Zero 便是一个典型案例——它并未学习任何人类棋谱，而是完全依靠自我对弈掌握了超越人类的棋艺。

这些自主学习得出的新方法可以帮助机器突破人类固有的思维模式，从而以更高效的方式达成目标。然而，这种“创新”也伴随着潜在风险，因为我们无法确保这些方案与人类的价值观一致，也无法预知它们是否会对人类造成不利影响。例如，一台机器人的目标是以最快的速度抵达某个地点。为了实现这一目标，它可能会选择直接穿过一片麦田，而不考虑这样做会破坏农作物的生长。再比如，一个用于股票交易的 AI，其设定目标是最大化市场利润。为了达成这一目标，它可能会采取更隐蔽、复杂的手段操纵市场，比如与其他AI 形成默契，共同攫取财富，从而扰乱金融体系的公平性和稳定性。

第二，AI 的失控风险来源于模型的不可解释性。现今主流的深度神经网络往往包含数亿甚至上百亿参数，其决策过程极其复杂，即便知晓它的所有计算步骤，人类也难以真正理解它如何做出某种决策。这种“黑箱”特质使我们既无法完全预测 AI 行为，也难以及时纠正异常举动。

数据偏差。人工智能模型需大量数据训练，数据越庞大越难逐一核查。若训练集含错误或危险信息，风险就潜伏在上千亿的神经元连接之中，平常或许不会显现，却可能在关键时刻（如战场）爆发。

第三，AI 的失控风险来自于机器的自我学习。在 AI 的持续学习过程中，AI 系统会自主更新，更新的结果难以预测。特别是，在学习过程中一旦被恶意引导，就会引发无法预知的危害。美国微软 2016 年推出的聊天机器人“Tay”便被用户恶意“调教”，短短一天内即开始发表不当言论，随即被紧急下架。可想而知，若这是能与现实物理环境交互的机器人，被“教坏”后的后果更可怕。

总的来说，随着技术发展，人工智能出错的可能性会下降，但风险会一直存在，而且会更加隐蔽、更难预防。我们无法完全看透 AI，也无法确保它总能按人类意志行事。

越来越多科学家警告AI 失控的可能。2024 年 5 月，深度学习代表人物约书亚·本吉奥和杰弗里·辛顿等人在《科学》杂志上联合发文，担忧AI 一旦拥有高自主性和强大能力，将引发“大规模社会危害、恶意使用，乃至人类失去对其控制”等重大风险。文中呼吁在 AI 系统上线前严格评估社会风险、关注 AI 价值观是否与人类一致，并做好应急预案。如今，“AI 失控风险”已成为人工智能研究的重要方向。