【连载2】基础智能体的进展与挑战综述

基础智能体的进展与挑战综述

从类脑智能到具备可进化性、协作性和安全性的系统

【翻译团队】刘军([e-mail]) 钱雨欣玥 冯梓哲 李正博 李冠谕 朱宇晗 张霄天 孙大壮 黄若溪

1. 介绍

人工智能（AI）长期以来一直受到人类渴望，其主要推动力来自于创造具有人类智慧、适应能力和目的驱动行为的实体。这种渴望的根源可以追溯到古代神话与早期的工程奇迹，它们体现了人类对创造智能、自主存在的持久期盼。例如，古希腊传说中克里特岛的青铜机器人塔洛斯（Talos）传说中，这位由众神制造的巨人负责守护岛屿海岸，能够巡逻并击退入侵者。【译者注：类似的传说还有中国《列子.汤问》中记录的偃师献技机器人】这类神话象征着人类希望将人工创造物赋予类人意识与目的性的愿望。类似地，文艺复兴时期的机械发明也体现了这种追求，比如达·芬奇设计的类人机器人。该机器模拟人体运动与结构，是将神话构想转化为现实、功能性工艺品的首次尝试。这些早期的想象与原型，反映出人类将幻想与技术相融合的深层渴望，并为机器智能的科学探索奠定了基础。这一探索最终在艾伦·图灵（Alan Turing）于1950年提出的经典问题“机器能思考吗？”中形成了一个重要里程碑【1】。为回答这一问题，图灵提出了“图灵测试”作为评估框架，以判断机器是否能通过对话展现出类人智能，从而将关注焦点从纯粹的计算转向更广义的“智能”概念。【译者注：2025年3月31日，研究者Cameron等人在Arxiv发表论文《Large Language Models Pass the Turing Test》宣布GPT-4.5通过了图灵测试】数十年来，人工智能从依赖预定义逻辑的符号系统演进到能够从数据中学习、适应新情境的机器学习模型。而这种演进在大型语言模型（LLMs）的出现时达到了一个高潮。LLMs展现出卓越的理解、推理和生成类人文本的能力【2】。与LLMs共同推动这一进步的核心概念之一，是“智能体”（agent）：一种不仅能处理信息，还能感知环境、做出决策并自主行动的系统。最初只是理论构想的“智能体”范式，如今已成为现代人工智能的基石，推动了从对话助手到具身机器人等众多领域的进步，随着AI系统不断走向动态的真实世界环境，其重要性也日益凸显。

1.1 AI智能体的出现和发展

“智能体”（agent）的概念是现代人工智能的基石，是指一种能够感知其环境、做出决策，并采取行动以实现特定目标的系统。尽管这一思想在20世纪中叶才在人工智能领域被正式提出，但其根源可追溯至对智能系统中自主性与交互能力的早期探索。智能体最广为引用的定义之一由文献【3】提出：智能体是“任何可以通过传感器感知环境，并通过执行器对环境采取行动的实体”。这一定义强调了智能体的双重属性：既是观察者，又是行动者，能够动态适应环境，而非仅仅遵循静态规则。这标志着人工智能发展方向的转变——从仅执行计算的系统，迈向能够与环境互动的系统。

智能体的发展历程与人工智能本身的演进密切相关。早期的符号主义系统，如Newell和Simon提出的通用问题求解器（General Problem Solver）【4】，试图通过将任务分解为逻辑步骤来模拟人类的问题解决过程。然而，这类系统受限于对结构化环境和预定义逻辑的高度依赖未能取得成功。智能体范式的兴起正是对这些局限性的回应，其更强调自主性、适应性以及对现实环境的交互能力。上世纪80年代，Rodney Brooks 提出了包容架构（Subsumption Architecture），展现了能够在机器人中实现基于行为的实时响应的智能体系统【5】。与早期方法不同，这类系统无需对环境建立详尽模型即可展现出更强的灵活性与可扩展性。自那以后，智能体已经成为人工智能各子领域中的通用框架。在机器人领域，它支持自主导航与操控；在软件领域，它构成了多智能体系统的基础，被广泛应用于模拟与协调任务【6】。通过将感知、推理和行动整合为一个统一的结构，智能体范式始终扮演着连接理论AI构想与实际应用之间的桥梁，推动智能系统如何在动态复杂环境中运行的理解不断向前发展。

大型语言模型（LLMs）的出现和发展重新定义了智能体的能力，彻底改变了它们在人工智能中的角色，并为其应用开辟了新的前景。过去，智能体通常被限制在执行狭义任务或遵循严格的基于规则的框架中。如今，它们能够借助如OpenAI的ChatGPT【7】、DeepSeek AI的DeepSeek【8】、Anthropic的Claude【9】、阿里巴巴的通义千问（QWen）【10】以及Meta的LLaMA【11】等模型所具备的强大泛化能力、推理能力和适应性，实现更好的能力。这些由LLM驱动的智能体，已经从静态系统演变为动态实体，能够处理自然语言并在复杂领域中进行推理，以惊人的流畅度适应新情境。它们不再只是被动地处理输入信息，而是成为了主动的协作者，能够应对多步骤的挑战，并以类似人类解决问题的方式与环境互动。

在大语言模型时代的一个关键进展，是语言理解与可执行能力的无缝集成。现代LLM借助具备函数调用功能的API，使得智能体能够识别何时需要调用外部工具或系统，推理其使用方式，并执行精确操作以实现特定目标。例如，一个由ChatGPT驱动的智能体可以自主查询数据库、提取相关信息，并基于此提供可操作的洞察，同时始终保持对整体任务上下文的理解。这种抽象推理与具体执行的动态结合，使智能体能够弥合“认知理解”与“现实行动”之间的鸿沟。此外，LLMs在小样本学习（few-shot）和零样本学习（zero-shot）中的泛化能力，彻底革新了智能体的适应性，使其能够应对种类繁多的任务——从数据分析、创意内容生成，到实时协作式问题解决，且无需大量的任务特定训练。这种高度的适应性，再加上其对话流畅性，使得基于LLM的智能体成为人类与机器之间的智能中介，能够在日益复杂的工作流中，将人类意图与机器精准执行高效地融合起来。

1.2 人脑与AI智能体的横向对比

大型语言模型（LLMs）迅速整合进智能体架构，不仅极大推动了人工智能的发展，也凸显了AI系统与人类认知之间的根本差异。正如表1.1所简要展示的那样，基于 LLM 的智能体在“底层硬件”、意识、学习方式、创造力以及能效等多个维度上，与人类认知存在显著差异。然而，需要强调的是，这种对比只是一个高层次的快照，而非详尽的描述。人类智能拥有许多微妙的特性未在其中体现，而AI智能体同样也展现出超出这一简略对比范围的独特能力。

表1.1 人类大脑与大型语言模型（LLM）之间的简明高级对比

维度	方面	人脑/认知	LLM智能体	备注
硬件与维护	核心组成	生物神经元、神经递质、神经可塑性	深度神经网络、基于梯度的优化算法	人类大脑由生物机制维持，能效极高，复制性低 LLM 依赖硬件维护，复制性强但能效低
	维护需求	需要睡眠、营养和休息	依赖硬件，需持续供电和冷却系统
	可复制性	不易复制，知识通过学习逐步迁移	可轻松在全球服务器复制部署
	能源效率	极高能效（约 20 瓦）	能耗高（每个 GPU 服务器可能需数千瓦）
意识与发展	主观体验	拥有真实的主观感受、情绪与自我意识	无真实意识，仅能语言层面模仿“情感”	人类意识源于情绪、社会与生物发展过程 LLM无法实现真正的内省或情感深度
	发展过程	从婴幼儿开始，经历渐进式发展	训练后结构基本固定，仅支持有限的动态微调
	决策驱动	由情绪、社会因素推动认知和决策	基于语言数据统计进行响应
学习方式	学习特点	终身学习，持续在线更新	主要为离线批量训练	尽管 LLM 通过提示调优有所改善，但人类学习仍更具动态性、适应性和文化/情感融合
	迁移能力	少样本也能快速学习并迁移知识	有限的在线微调能力
	影响因素	受环境、文化、情绪等多因素影响	学习内容中立，缺乏个性或文化倾向
造力与发散思维	创意来源	来自个人经历、情感与潜意识启发	基于大规模数据的统计组合	人类创造力融合了情感、经验与潜意识 LLM的“创造”则源于数据驱动的统计处理
	联想能力	横跨多个领域，具隐喻思维	通过概率优化生成新内容
	情感影响	情感深度影响创意表达	缺乏真实情感和体验基础

（1）能源效率与“硬件”差异：人类智能运行于一种生物硬件——大脑，其具备极高的能效，能够以极低的代谢成本实现终身学习、推理以及适应性决策。相比之下，当前的 AI 系统需要庞大的计算资源来执行类似的认知任务，其能源消耗远高于人类。这种性能差距的存在，使得“能源效率”成为未来AI研究的一个关键前沿方向。

（2） 意识与情感体验：在人类认知中，意识和情感体验是核心组成部分，而基于LLM的智能体缺乏真实的主观状态和自我意识。尽管在AI中完全复制类人意识或许既非必要，也未必可取。理解情感和主观体验在人类推理、动机、伦理判断和社会交互中的重要作用，有助于指导AI向更对齐、更可信、对社会更有益的方向发展。

（3）学习方式的差异：人类学习是持续的、互动的，并高度依赖于社会、文化和个体经验的背景。相比之下，LLM智能体主要采用静态的、离线批量训练方式，具有较弱的持续适应能力。尽管已有通过“指令微调”与“人类反馈强化学习（RLHF）”【12】等研究方法取得一定进展，但当前的智能体仍难以达到人类般的灵活性。弥合这一差距的未来方向包括：终身学习、个性化适应和互动式微调等方法，从而使 AI 更好地反映人类的适应性与响应性。

（4）人类创造力与统计模型的差异：人类的创造力来源于丰富的个体经验、情感洞察与跨领域的自发联想。而LLM的创造力则主要表现为对训练数据的统计重组，即所谓的“统计型创造”，它缺乏人类创作中的深度、原创性与情感共鸣。这一区别揭示了未来发展的机会：通过引入更丰富的上下文理解、模拟情感状态与经验基础，来开发具备更深层次创造力的AI智能体。

（5）时间尺度与进化历程：人类大脑在数百万年的自然选择与环境互动中，进化出了卓越的能效、适应性与创造力。而AI智能体的发展至今仅有约80年，自最早的计算机诞生以来，其发展虽快速但仍属初级阶段。因此，将人类认知与 AI 系统进行并行对比非常有价值，它揭示了重要的类比关系与本质差异，为AI智能体技术的未来发展提供了有意义的启示。最终，从人类智能中汲取灵感，将能进一步增强AI的能力，并在医疗、教育、可持续发展等广泛应用场景中造福全人类。

1.2.1 人脑功能分区与AI的横向对比

理解人脑功能与人工智能（AI）之间的类比，不仅有助于揭示 AI（特别是大型语言模型 LLMs和AI智能体）的优势所在，也凸显了其当前的局限性。根据当前的神经科学研究，人脑主要由六个功能区域组成，例如前额叶、脑干、小脑等（如图 1.1 所示）。在本研究中，我们进一步系统性地分析了这些主要脑区的功能，以及它们在AI系统中可能存在的对应机制。为了更好地理解AI对人脑功能模拟的广度与深度，我们将当前AI研究状态划分为以下三个层级：

• Level 1（L1）：AI 领域已充分发展；

• Level 2（L2）：已有一定探索并取得部分进展，仍有较大提升空间；

• Level 3（L3）：几乎未被深入探索，具备重要研究潜力。

图 1.1 展示了一个高层次的可视化地图，描绘了人脑功能区域及其在人工智能中相对应的发展层级。我们旨在强调生物系统中所体现的两个核心原则——功能专门化（specialization）与整合性（integration）——如何为构建更加协调统一的智能体架构提供启示。接下来，我们将逐一探讨每一个脑功能区域及其在人工智能领域中的对应机制与发展状况。

图1.1：按主要脑区分组的人脑关键功能示意图，并根据其在当前AI研究中的探索程度进行注释。该图旨在突出已有成果、现存差距以及推动人工智能向更全面、类脑能力发展的潜在机遇

（1）前额叶（Frontal Lobe）：执行控制与认知功能

前额叶，尤其是前额皮层（Prefrontal Cortex），在高级认知中扮演关键角色，其主要功能包括：计划能力（L2）、决策制定（L2）、逻辑推理（L2）、工作记忆（L2）、自我意识（L3）、认知灵活性（L3）、抑制控制能力（L3）【13】。人工智能在计划与决策制定方面已取得显著进展，尤其是在结构明确的领域中，典型代表如 AlphaGo 智能体【14】。Transformer 模型中使用的注意力机制与人类的工作记忆在功能上具有某种相似性【15】，但在灵活性与鲁棒性方面仍明显落后于人类大脑。此外，AI在自我意识与抑制控制（如克制冲动行为或风险行为）的探索仍非常有限。在这些方向上进行研究时，需要格外谨慎，因其涉及潜在的伦理与安全风险。

（2）顶叶（Parietal Lobe）：空间处理与多感官整合

顶叶负责整合来自多个感官的输入，有助于实现以下关键功能：注意力调控（L2）、空间定向（L2）、感知与运动协调（L2）【16】。在机器人技术与计算机视觉领域，AI正在应对与顶叶功能相似的挑战，例如：同时定位与建图技术（SLAM）是实现空间感知与导航的代表性方法。尽管取得了一定成果，但当前AI系统仍缺乏人类所具有的那种无缝、实时的信息整合能力。此外，精细的触觉感知能力（L3）仍基本未被深入探索，这一领域在以下应用中具有巨大潜力：机器人系统、假肢控制与触觉反馈。

（3）枕叶（Occipital Lobe）：视觉处理

枕叶专注于视觉感知（L1），通过分层结构高效处理视觉刺激【13】。AI 在基础视觉识别任务中表现出色，依靠深度神经网络与视觉Transformer已达到甚至超过人类水平【15】。但在情境场景理解（L2）与抽象视觉推理等高级能力方面仍面临挑战，当前发展仅属中等程度。

（4）颞叶（Temporal Lobe）：语言、记忆与听觉处理

颞叶支持以下功能：听觉处理（L1）、语言理解（L1）、记忆形成（L2）、语义理解（L2）【16】。AI在语言和听觉处理方面取得显著进展，大型语言模型（LLMs）已经实现近似人类水平的语音识别与语言生成。然而，稳健的情节记忆能力与终身学习能力仍较为有限，AI 系统经常面临“灾难性遗忘”等问题。将语义理解建立在多模态经验基础上仍是活跃研究领域。

（5）小脑（Cerebellum）：协调与运动学习

小脑主要功能包括：运动协调（L2）、技能精细学习（L2）、自适应误差修正（L2）、认知时序与预测建模（L3）【13】。AI机器人在模仿人类灵巧性方面已有初步成功，但实时自适应控制依然是重大挑战。当前的强化学习与元学习研究在此方向上展现出良好前景。小脑的认知功能尚属未被充分探索的前沿领域，值得深入研究。

（6）脑干（Brainstem）：自主调节与反射控制

脑干控制维持生命的关键功能，包括：自主神经功能（L3）、快速反射反应（L1）（如基本运动反射）【13】。AI已具备某些预设的反射响应，如自动驾驶中的自动刹车机制，但这些行为通常是预定义的规则，而非通过学习获得的。相比之下，复杂的自主调节与动态唤醒机制在 AI 中仍几乎未被探索，而且由于生物与人工系统之间的本质差异，其适用性可能有限。

（7）边缘系统（Limbic System）：情感、共情与动机

边缘系统包含杏仁核和海马体，主要功能有：情绪处理（L3）、奖励机制（L2）、共情能力（L3）、压力调节（L3）、动机驱动（L3）【13】。尽管AI中的强化学习算法模拟了基于奖励的学习机制，但：对情绪的细腻理解、真正的共情能力、内部动机状态，这些都仍极为欠缺。此外，关于AI可能造成的情绪操纵风险，已引发伦理上的广泛关注，未来需谨慎而负责任地探索该方向。

构建“类脑”功能与可持续发展 AI 的桥梁：到目前为止，我们见证了人脑与机器智能之间的差距。但发展 AI 的目标并不一定是完全复制人类认知，而应是：开发有用、可信、安全且对社会有益的智能体。通过批判性地对比人类与人工智能，我们不仅识别出当下的能力差距，也揭示了未来的创新方向。这种对比式视角帮助我们：有选择性地整合人类认知的优点，如能效处理、终身学习、情绪基础与创造力，同时在技术上超越人类限制最终目标是开发出更强大、更具韧性、更负责任的AI系统。

AI与人类共存的未来展望：在未来的人机混合社会中，思考人类的角色变得尤为重要。

AI的目标不是取代人类角色，而是增强与赋能人类能力。AI在以下方面可以补充人类判断：处理海量数据、快速计算、自动化重复任务与此同时，人类的监督与可解释性将成为确保 AI 系统可控、对齐伦理价值观的关键。

以人为中心的AI设计原则：“以人为本”的AI强调：协作、安全性、社会责任。这可确保技术进步以可控、可靠的方式进行。将“人”置于AI生态系统的核心，有助于我们充分发挥AI的潜力，提升：人类生产力、创造力、决策能力，实现技术与社会双重进步，且不牺牲人类的自主性与尊严。将人类智慧与AI能力进行深思熟虑的整合，可以为我们开启一个可持续、公平与繁荣的未来。

1.3 模块化的类脑AI智能体框架

在大语言模型（LLM）时代，智能体构建的一个核心问题是，缺乏一个统一的框架来整合高级智能体所需的丰富认知与功能组件。尽管LLM拥有卓越的语言推理能力，但许多当前的智能体设计仍显得零散——它们以拼凑方式集成了感知、记忆或规划等模块，未能近似于人脑等生物系统中那种协调良好的功能专门化。与当前的LLM智能体不同，人脑通过结构各异但相互关联的脑区，无缝整合了感知、记忆、推理与行动，从而能够对复杂刺激做出适应性反应。而LLM驱动的智能体在处理需要跨领域或多模态整合的任务时常常会遇到困难，这凸显出构建更具整体性框架的必要性，以接近人脑功能的多样性与协调性。受这种类比启发，我们在本综述中主张应借鉴人脑的设计理念，系统性地分析并构建智能体框架。这一观点表明，生物系统是通过紧密整合用于感知、推理、行动等的专门模块来实现通用智能的——这一策略可作为强化当前基于LLM的智能体的蓝图。

神经科学研究表明，大脑在决策过程中同时利用理性神经回路（如新皮层，用于深思熟虑与规划）和情绪神经回路（如边缘系统）来共同引导行为。记忆的形成依赖于海马体与皮层机制，而由多巴胺系统及其他神经调节通路传递的奖励信号则在强化行为与学习中起关键作用。这些生物学发现为人工智能智能体的设计提供了若干启发性原则，包括但不限于以下几点：

• 并行的多模态处理：大脑通过专门的皮层区域并行处理视觉、听觉及其他感官输入，并在联结区域进行整合。类似地，AI智能体可以通过并行处理多种传感器输入流，在后续阶段将其融合，实现连贯的理解。

• 分层且分布式的认知结构：推理、规划、情绪调节和运动控制等功能依赖于皮层与皮层下区域之间的交互。同样，AI智能体可以采用模块化架构，构建由推理、情绪评估与记忆等子系统组成的系统。

• 注意力机制：人类的注意力会依据上下文、目标和情绪优先处理特定感官数据。AI 智能体可以通过学习得到的注意力策略来调整感知过程，依据内部状态动态地调整关注焦点。

• 奖励与情绪的整合：情绪并非仅是噪音，而是决策过程的重要组成部分，它调节优先级、增强警觉性并引导学习。基于奖励的可塑性促进了习惯养成与技能获取，这一概念在AI强化学习中至关重要。

• 目标设定与工具使用：人类的前额皮层擅长设定抽象目标并规划包含工具使用的行动序列。类似地，AI智能体也需要强健的目标管理系统与可适应的行动组合，受到外部奖励与内在动机的共同驱动。

这些原则构成了我们所提出的类脑智能体

框架的基础，其中的生物机制是作为灵感来源，而非直接复制的对象。

在接下来的章节中，我们将阐述该框架的关键概念，介绍一个统一的智能体架构。该架构基于“感知–认知–行动闭环”，并通过奖励信号与学习过程加以丰富。每个子系统都被精确地定义，并相互连接，以确保对记忆、世界模型、情绪、目标、奖励与学习之间的交互过程具备清晰的可解释性。我们将“认知”形式化为一种通用的推理机制，并将“规划”与“决策”视为影响行为的特定“心理动作”。同时，我们探讨了与现有理论的关联，例如 Minsky 的《心智社会理论》【17】、Buzsáki 的“由内而外”视角【18】以及贝叶斯主动推断模型【19】，以突出该框架的通用性与生物合理性。

1.3.1 智能体循环的核心概念与符号定义

我们的架构在三个概念层面上运行：社会层（Society）、环境层（Environment） 和 智能体层（Agent）。其中，智能体被进一步划分为三个主要子系统：感知（Perception）、认知（Cognition） 和 行动（Action）。在认知模块中，我们划分出若干关键子模块，包括：记忆、世界模型、情绪状态、目标、奖励、学习，以及推理过程（其中“规划”和“决策”被视为由推理生成的特殊动作。注意力机制主要由感知与认知系统共同处理。在正式介绍该闭环架构前，我们在表 1.2 中总结了文中使用的符号。

表1.2 智能体框架使用的符号列表，并将学习和推理功能从整体认知过程中分离并强调

接下来，我们将基于表 1.2 中的符号表示，介绍我们提出的智能体循环架构。

图 1.2 展示了我们提出的智能体框架，呈现了核心概念及其之间不同类型的信息流或控制流。到目前为止，我们已经提出了一个受大脑启发的智能体框架，它将生物学洞见融入到正式的“感知–认知–行动”闭环结构中。通过将认知模块进一步分解为记忆、世界建模、情绪、目标、基于奖励的学习和推理，我们捕捉到了人脑中分层结构与奖赏驱动过程的关键对应关系。特别重要的是，该闭环结构中包含了注意力机制，使智能体能够基于内部状态选择性地过滤信息。此外，规划与决策被视为两种独特的内部（心理）行动，它们要么用于精化内部表征，要么用于选择外部行为。我们的框架在传统智能体架构的基础上实现了自然扩展，提供了一个多层次结构，融合了情绪与理性过程，并实现了在短期与长期时间尺度上均有效的、以奖赏为驱动的学习机制。

图1.2：本文提出的智能体循环和智能体社会的通用描述框架

社会与社会系统：在许多现实世界场景中，智能体并非仅与静态环境交互，而是在更广泛的社会中运行，该社会包含各种社会系统，如金融市场、法律框架、政治机构、教育网络和文化规范。这些结构通过定义规则、激励机制和共享资源来塑造和约束智能体的行为。例如，金融系统决定经济交易和资源分配的方式，而政治系统则提供治理机制和监管约束。这些社会系统共同构成了一个分层的背景，智能体必须在其中进行适应性学习、推理和行动，以满足其内部目标，同时遵守（或策略性地参与）外部社会规则。反过来，智能体的行为也会反馈到社会系统中，可能会改变规范、政策或资源分配。

基础智能体的形式化定义：基于上述见解以及我们对强健、适应性智能的设想，我们现在正式引入“基础智能体”这一概念。不同于传统智能体定义主要关注即时的感知-行动闭环，基础智能体体现了持续的自主性、适应性和有目的的行为，强调在多样化环境中整合内部认知过程。

• 基础智能体是一种自主、适应性强的智能系统，旨在积极感知来自环境的多种信号，持续地从经验中学习，以优化和更新其结构化的内部状态（如记忆、世界模型、目标、情绪状态和奖励信号），并就有目的的行为——包括外部行为和内部行为——进行推理，从而自主地朝着复杂的长期目标前进。

  具体而言，基础智能体具备以下核心能力：

  （1）主动且多模态的感知：能够持续并有选择性地感知来自多种模态（文本、视觉、具身或虚拟环境）的环境数据。

  （2）动态的认知适应能力：通过整合新的观察与经验，维护、更新并自主优化丰富的内部心理状态（包括记忆、目标、情绪状态、奖励机制和完整的世界模型）。

  （3）自主推理与目标导向的规划：能够主动参与复杂的推理过程，包括长期规划与决策，以制定与目标一致的策略。

  （4）有目的的行为生成：自主生成并执行有目的的行为，这些行为可以是外部的（如物理动作、数字交互、与其他智能体或人类的沟通）或内部的（如战略规划、自我反思、认知结构优化），从而系统性地塑造其环境和未来的认知过程，以实现复杂目标。

  （5）协作性多智能体结构：能够在多智能体或智能体社会结构中运行，与其他智能体组成团队或社区，共同完成超出单个智能体能力范围的复杂任务与目标。

该定义突出了区分基础智能体的三个核心支柱：持续的自主性（无需人为干预逐步地朝长期目标独立运行）、适应性学习（通过多样化经验不断演化内部表征）以及有目的的推理（生成由内部维持的复杂目标与价值观引导的行为）。因此，基础智能体通过整合深层认知结构、多模态处理能力以及主动、持续的自我优化，标志着从传统智能体向更高层次系统的根本转变，使其能够在广泛的环境和领域中有效运行。

不同于传统定义通常将智能体主要限定为简单的感知–行动闭环（“感知并行动”），我们所提出的基础智能体概念强调内部认知过程的深度与整合性。基础智能体不仅能够感知其环境并执行即时行为，还具备不断演化的、以目标为导向的认知能力——包括持续适应的记忆结构、世界模型、情绪与奖励状态，并通过推理自主优化其策略。这种内部认知的丰富性使得基础智能体能够自主将复杂、抽象的目标分解为可执行的任务，有策略地探索环境，并动态调整其行为与认知资源。我们统一的感知–认知–行动框架因此能够容纳并明确建模这些复杂的认知能力，将内部（心理）动作与外部（物理或数字）交互视为同等重要，从而支持从物理机器人到基于软件或纯文本的智能体在内的多种实现形态。

1.3.2 生物学启发

尽管我们的智能体模型本质上是基于计算的，但其中的每个子模块都借鉴了人脑中经过充分研究的生物对应机制。以下我们将讨论这些类比，既突出其神经科学基础，也强调 AI实现所具有的灵活性。

• 记忆（海马体与新皮层）：数十年的神经科学研究将海马体与情节记忆的形成联系在一起，而大脑皮层区域则被认为储存语义和程序性知识。在人类大脑中，这些记忆子系统协同工作，用于管理短期编码与长期巩固。我们的记忆模块同样旨在捕捉多尺度学习过程，通过存储近期经验与知识来实现。这可以通过神经网络权重（长期记忆）或显式缓冲区（短期记忆）来实现，从而模拟海马体与皮层之间的相互作用。

• 世界模型（预测处理）：认知神经科学中的一个主流理论认为，皮层作为预测机器，持续将接收到的感官数据与生成的预期进行比较。我们的世界模型体现了这一理念，维护一个关于环境如何随时间变化的内部表征。就像皮层神经回路整合多感官数据以更新内部模型一样，我们的框架允许随着新观察结果以及相关奖励或情绪线索而不断更新，这也提供了基于贝叶斯或自由能理论的环境动态建模方式。

• 情绪（边缘系统）：情绪由如杏仁核、下丘脑和边缘系统等结构调节，显著影响注意力、学习速率和决策阈值。通过引入情绪模块，我们的模型能够模拟内部情绪价值或激活状态如何影响智能体的关注点与行为。尽管计算意义上的“情绪”并不等同于生物情感或意识体验，但它们可以指导适应性启发式策略，例如优先处理紧急目标或对感知到的威胁迅速反应。

• 目标与奖励（前额叶与皮层下回路）：人类擅长形成抽象的、长期的目标，这一能力通常与前额叶皮层的功能相关。同时，皮层下的回路，尤其是多巴胺通路，驱动强化信号，影响动机和习惯学习。我们的智能体包含用于存储目标，用于编码奖励信号，从而实现一个持续反馈闭环，在其中目标形成与基于奖励的适应相互增强。这一机制支持有计划的行动序列、工具使用以及更复杂的社会交互行为。

• 推理、规划与决策（前额叶皮层）：人类前额叶皮层整合来自记忆、感官输入、情绪与奖励通路的信息，执行高级认知过程，如逻辑推理、规划与执行控制。在我们的智能体框架中，这些能力由推理子功能实现，通过PlanFn与Decide等模块选择并执行行为（无论是物理行为还是纯粹的心理活动）。通过区分规划与即时决策，我们模拟了智能体如何预演未来情境、权衡结果并最终执行某一行动路径，这类似于前额叶神经回路中所体现出的灵活协调机制。

1.3.3 与现有理论的关联

除了上述明确的神经生物学类比之外，我们的架构还与人工智能、认知科学和神经科学中的多个重要理论产生共鸣。

• 经典的感知–认知–行动循环：我们扩展了传统的“感知–思考–行动”循环，该循环最早由文献【20】提出，在此基础上加入了对注意力（在感知模块P）、学习与情绪（在认知模块C）以及持续性奖励信号的显式建模。这种显式结构有助于分析智能体的内部状态与过往行为如何影响其后续的感知与认知过程。

• 明斯基的“心智社会”理论：文献【17】提出，智能源自于心智内部多个专门“智能体”的协作。我们的子模块——如  、、、、——呼应了这一结构，将关键功能（记忆、预测、情绪评估、目标设定等）分配给彼此独立但又相互作用的组件。在更广义的“社会”语境中，每个智能体（或子智能体）可以进行合作或竞争，就像明斯基所描述的内部机制一样。近期关于基于自然语言的心智社会研究 [31] 也表明，这一理论可以用于构建具有社会结构与经济模型的智能体系统。

• 布扎基的“由内而外”视角：神经科学家布扎基【18】认为，大脑并非被动接收输入，而是主动构建并不断更新其感知。在我们的模型中，（包括情绪状态、奖励信号和目标）直接影响感知模块 P 的状态。这种机制支持了“由内而外”的观点，即智能体的内部上下文驱动其如何采样与解释环境，而非被动响应外界刺激。

• 部分可观测马尔可夫决策过程（POMDP）：我们的框架在多个方面可以被视为对经典“部分可观测马尔可夫决策过程”（POMDP）的推广。首先，传统 POMDP 定义了一个状态空间上的概率转移函数，而我们保留了一个环境转移函数 T，但并未将其限制为纯粹的概率形式或有限形式，从而允许任意甚至是确定性的映射。其次，在标准的 POMDP 设置中，奖励通常被定义为的一个标量函数（可能伴随时间折扣）。相比之下，我们将奖励信号置于智能体的心理状态中，使其能够依赖于——并与目标、情绪、世界模型共同演化，而不是强制以某个外部定义的单一目标函数为准。第三，虽然POMDP智能体通常通过最大化期望收益（值函数）来选择动作，我们的推理子过程则更为广泛。它考虑了记忆、情绪及其他心理状态因素，可以接受启发式或社会驱动的决策，而不仅限于基于数值收益的选择。最后，POMDP并未显式定义如记忆或情绪这样的认知子模块——这些必须被压缩到一个单一的“信念状态”中。而在我们的框架中，每个子组件（如记忆、世界模型、情绪、目标、奖励）都被明确建模并动态更新，这与生物认知的启发式观点相一致。因此，尽管在特定限制条件下（如引入概率转移、标量奖励和极简心理状态）我们可以还原出标准POMDP形式，但我们的框架允许更加丰富的环境变化、内部状态结构和决策机制。

• 主动推断与贝叶斯大脑：由文献【19】提出的“主动推断”作为一个统一性框架认为，智能体会不断更新其内部生成模型，以最小化预测误差（或称“自由能”）。我们使用的世界模型与奖励模块，再加上规划与决策模块，可以从贝叶斯角度进行解释。智能体通过将其世界模型与新数据对齐，并选择符合预测（或期望）结果的动作，来减少“惊讶”感。

• 生物可实现性与通用性：尽管我们对大脑神经回路与智能体子模块之间的映射仅处于高层次，但该方法既具有生物学启发性，又保持了模块实现的中立性。记忆、情绪、目标与奖励等模块可以通过各种 AI 方法实现——包括符号方法、神经网络或混合方法，从而保持了实现的灵活性。通过整合来自神经科学、认知科学与人工智能的关键思想，我们建立了一个通用框架，在不过度限制实现细节的前提下，捕捉了智能行为的本质特性。

1.4 阅读指南

本综述旨在以全面、模块化且跨学科的方式审视智能体系统，借鉴认知科学、神经科学等领域的思想，为推动下一阶段的人工智能发展提供指导。尽管已有许多综述性研究 【32, 33, 34, 35, 36, 37, 38, 39, 40】为智能体研究的不同方面提供了有价值的见解，我们在表 1.3 中对这些研究的关注重点进行了详细对比。我们的工作之所以与众不同，是因为它系统性地将生物认知机制与计算框架进行比较，从中识别出潜在的协同点、差距和创新机会。通过在这两个领域之间架起桥梁，我们希望提供一个独特的视角，不仅展示当前智能体系统在哪些方面表现出色，也揭示出尚需重大突破的方向，才能真正释放其全部潜力。

表 1.3：现有综述文献的关注点总结。● 表示主要关注点，◦ 表示次要或辅助关注点

本综述分为四个主要部分：

• 第一部分：智能体的模块化设计。我们介绍了智能体的核心模块，包括作为“智能体大脑”的认知模块、用于解释感官输入的感知系统，以及用于与外部世界交互的行动系统。在认知系统中，我们进一步讨论了记忆、世界建模、情绪、目标和奖励系统，并分析了这些子模块的当前进展、局限性以及面临的研究挑战。

• 第二部分：智能体的自我增强能力。本部分聚焦于智能体自我进化和自我优化的能力。我们探讨了如适应性学习、自我反思和反馈驱动的改进等机制，这些灵感来自人类随时间成长与技能精进的能力。本部分还强调了动态记忆系统与持续知识整合的重要性，使智能体能在变化的环境中保持相关性与有效性。

• 第三部分：协作性与进化性的智能系统。我们考察了智能体如何彼此交互以及与环境协作，从而解决复杂的大规模问题。本部分讨论了多智能体系统，并重点介绍了它们在机器人系统、医疗系统和科学发现等领域的应用。我们还探讨了多智能体系统的拓扑结构与通信协议，追踪了协作模式从静态到动态框架的演变过程。同时，我们将智能体与人类协作范式对齐，研究交互模式如何塑造智能的共进化，以及多智能体系统如何在不同合作场景下调整决策策略，以集体智能解决复杂挑战。

• 第四部分：构建安全且有益的人工智能。我们对基于LLM的智能体所面临的安全风险进行了全面分析，并引入了一个将威胁划分为内在（intrinsic）与外在（extrinsic）的框架。内在漏洞来自智能体架构内部：如核心的LLM“脑”、感知模块与行动模块，这些模块支持其与世界的交互；外在风险则来源于智能体与记忆系统、其他智能体及广义环境的互动。本部分不仅形式化并分析了这些脆弱点，列举了如越狱（jailbreaking）和提示注入（prompt injection）等具体攻击方式，还综述了一系列防御机制。此外，我们还探讨了未来方向，包括超对齐（superalignment）技术与AI 安全的规模法则，即智能体能力与风险之间的权衡关系。

通过将上述各个方面有机整合，本综述旨在提供一个对当前智能体系统状态的整体视角，并勾画出其未来发展的路线图。我们特别强调将认知科学洞见与计算设计原则融合，使本综述成为致力于构建强大、高效、适应性强、具伦理意识并与人类社会复杂性深度对齐的智能体的研究人员的重要参考资源。