【仿生机器人】仿生机器人认知-情感系统架构设计报告

来自 gemini 2.5

1. 执行摘要

本报告旨在为仿生机器人头部设计一个全面的认知-情感软件架构，以实现自然、情感智能的互动。拟议的架构将使机器人能够像人类一样，动态生成情绪、进行复杂的表情表达（包括情绪掩饰）、拥有强大的记忆系统，并形成独特的自我认知。报告强调了多模态感知、大型语言模型（LLMs）、强化学习和知识图谱等前沿人工智能技术的整合，以将用户对一个能够感知环境、有机产生思想和情感、自然表达（即使带有细微的情绪掩饰）、建立丰富个人历史并拥有强烈自我意识的机器人的愿景变为现实。

2. 引言：实现仿生伙伴的愿景

用户希望创建一个能够进行自然对话、动态情感表达和拥有独特身份的仿生机器人头部，类似于《刀剑神域》中的爱丽丝。现有硬件基础，包括用于面部表情和颈部运动的23个舵机、眼部摄像头、麦克风和发声装置，为开发复杂的软件算法提供了绝佳的基础。本报告将重点设计一个全面的软件架构，使其具备感知、认知、情感、记忆和表达能力，超越简单的程序化响应，实现真正类人的互动。目标是勾勒出一个可行且实用的计划，使机器人能够感知环境，有机地产生思想和情感，自然地表达它们（即使带有细微的掩饰），建立丰富的个人历史，并拥有强烈的自我意识。

3. 类人AI的基础概念

为了实现类人仿生机器人的宏伟目标，理解支持这些能力的人工智能和机器人学的基本原理至关重要。本节将从认知架构、情感计算、多模态人机交互以及新兴的“心智理论”领域的发展中汲取灵感，奠定理论基础。

3.1. 机器人的认知架构

认知架构是智能机器人系统的基本蓝图，决定了它们如何感知、处理信息、做出决策以及与世界互动。

一个强大的人形机器人认知架构必须包含感知、识别、编码、存储、问题解决、运动控制和通信（语音、手势、模仿等）等功能。这些架构旨在支持快速的低级反应以及更高级的功能，如复杂的情境解释、规划和学习 1。

一种常见且有效的人形机器人方法是采用三层架构，这种设计有利于并行处理、快速响应时间和模块化设计 1。

• 低层：反应/感觉运动层：负责处理即时传感器数据、低级运动控制和基本反射动作。它确保对环境刺激做出快速、实时的响应。

• 中层：感知-行动层：将传感器数据处理为有意义的感知，识别模式，并协调基本动作。它充当原始数据和高级认知之间的接口。

• 高层：认知-情感层：作为机器人的“大脑”，负责复杂的情境理解、情感评估和生成、个性建模、记忆管理、决策、对话生成和学习。它整合来自下层的信息，形成全面的理解。

早期的人工智能架构主要采用“感知-规划-行动”（SPA）策略，旨在创建机器人环境的完整符号世界模型，并在符号层面进行规划 1。然而，这种基于规则的系统在处理现实世界复杂且不可预测的社会互动时，存在固有的局限性，例如难以适应未预见的社会线索或生成自然的、非硬编码的情绪反应。为了克服这些挑战，人工智能领域出现了向更具适应性和鲁棒性的系统发展的显著趋势。近年来，研究人员提出了将情感作为激励系统整合到认知架构中 1，这标志着从纯粹逻辑处理向更受生物学启发、更灵活和更具情境感知能力的智能的转变。新兴认知架构通过互连的简单处理单元网络（类似于神经网络）进行学习和适应，通过与环境的互动发展出自身的内部表征 2。这种自下而上的方法在泛化到未明确编程的新情况以及提高系统鲁棒性方面具有优势。为了充分利用这两种方法的优点，混合认知架构应运而生，它结合了符号知识（用于结构化事实和规则推理）和新兴模型（用于感知和行动），从而创建出更具凝聚力的智能系统 2。这种发展对于实现机器人自然生成情绪并适应行为而非简单地遵循预设脚本的愿景至关重要。采用混合架构，能够整合结构化知识（用于身份和记忆）和基于学习的能力（用于感知、情绪生成和自适应行为），将使机器人能够以更像人类的方式自然生成情绪并调整其反应。

3.2. 情感计算与AI中的情商

情感计算是一个跨学科领域，致力于使机器能够识别、解释、处理和模拟人类情感。这对于创造一个拥有“自身情感”的机器人至关重要。

情感计算旨在赋予机器情商，包括模拟同情的能力。这涉及从被动传感器（如面部表情、身体姿势、语音语调）中检测情感信息，并使用机器学习技术（如语音识别、自然语言处理、面部表情检测）识别有意义的模式 3。

人工智能先驱马文·明斯基（Marvin Minsky）曾提出，情感“与我们称之为‘思考’的过程没有特别大的区别”，这表明情感与认知功能深度融合 3。该领域的研究涉及开发计算模型，以解释观察者如何理解和推断他人的心理状态，包括对事件情感反应的因果推理以及多线索推理。情感在社会生活中扮演核心角色，它既是反应的信号，也是行为的驱动力 4。

先进的方法利用深度学习算法整合来自多种模态情感标记的数据——主观体验、情境因素、身心生理信号和表达行为——以揭示复杂的关系并生成情感。这种框架超越了刺激与情感之间简单的、一对一的映射，认识到情感是认知评估的结果，并可以在多维空间中表现为“吸引子状状态” 5。

大型语言模型（LLMs）在情商测试中表现出令人惊讶的能力，在选择情商反应方面超越人类，甚至能够生成新的、可靠的情商测试。这表明LLMs不仅能理解情感，还能掌握情感智能行为的含义，并生成与人类情感及其调节的准确知识相符的响应 6。

该领域正迅速从简单的情绪识别转向AI中复杂的情绪生成和调节，这源于对情绪与认知和情境深度交织的理解。LLMs尤其在情商方面表现出令人惊讶的能力，这表明它们可以成为生成细致入微、情境感知型情绪反应的基础，包括用户为爱丽丝所期望的复杂“情绪掩饰”。这意味着机器人的情绪反应将不仅仅是反应性的，还将涉及内部认知处理、情境评估和策略性表达。爱丽丝的例子，即她在发表讽刺性、隐含愤怒言论时面带微笑，正是“情绪掩饰”或调节的典型案例。这需要对社会动态的复杂理解，以及有意地将内部情绪状态与外部表达分离的能力。LLMs在情商（6）和情境理解（5）方面的先进能力使其成为实现这种细致情绪行为的理想选择。

3.3. 多模态人机交互（HRI）

自然有效的人机交互取决于机器人像人类一样，能够跨多种模态感知和表达信息的能力。

为了使社交机器人能有效与用户建立联系并提供引人入胜的互动，它们必须以一种让人类感到自然的方式进行交流。这需要感知和管理多模态信息（输入和输出），并做出相应的响应。对话设计是其中的一个关键因素 7。对非语言线索的细致理解和有效利用——例如面部表情、手势、肢体语言、眼神、语音线索（如语调、音量、语速）和距离——对于和谐高效的人机交互至关重要。这些线索对于解读人类情感状态、传达机器人注意力以及提升整体用户体验都至关重要 8。

整合来自不同传感器（例如，摄像头、麦克风、触觉阵列、距离传感器）的信息对于在复杂场景中实现鲁棒的机器人感知至关重要。这种融合增强了机器人系统的情境理解、适应性和决策能力 10。多模态AI模型旨在处理和整合来自各种模态（文本、图像、音频、视频）的信息，以实现更全面的理解并生成更强大的输出。这带来了更高的准确性、对噪声或缺失数据的鲁棒性，以及更自然的人机交互 13。

存在一些框架可以改善语音和视觉模态的融合，以实现人机交互中的情境表征，从而使机器人能够评估用户口头话语与其视觉场景感知之间的“相关性”。这使得战略行动规划成为可能，并弥合了语言与视觉之间的鸿沟 16。机器人可以通过估计人类状态（例如，参与度、疲劳程度）并生成与所显示情感相关的非语言情感行为，来提供个性化、情境感知型的多模态反馈 9。

自然和同理心的人机交互关键取决于强大的多模态感知和表达能力，这要求系统超越孤立的感官处理，实现整合的、情境感知的理解。无缝融合多种数据类型（视觉、听觉、环境）对于机器人解读细微的人类线索（例如，情感、意图、讽刺）以及生成同样丰富、情境适宜的响应至关重要，这些响应必须被人类感知为自然和可信。如果缺乏这种整合，机器人的互动将显得脱节和不自然，无法满足用户对类人对话的核心要求。例如，用户描述的“自然醒来”场景需要融合光线强度、鸟鸣声和主人声音，以触发一系列连贯的“醒来”行为（打哈欠、慵懒的语调、眨眼）。“突发危机”场景则需要玻璃破碎声、孩子尖叫声以及孩子在碎玻璃上视觉信息的融合，以触发紧急、惊恐的反应。这种由多模态融合实现的整合理解，是机器人认知-情感核心生成适当、情境相关内部状态和外部表达的必要输入。

3.4. “心智理论”在人机交互中的重要性

实现真正复杂的人机交互，特别是涉及细微情感和社会行为的交互，要求机器人发展出某种形式的“心智理论”（ToM）。

心智理论指的是一种心理能力，即能够将心理状态（信念、意图、欲望、情感）归因于他人，并认识到这些心理状态可能与自身不同。在机器人中，这意味着形成心理表征以预测人类伙伴的想法或计划 17。机器人中的社会智能需要高度的自我意识和对他人意识的认知。机器人需要区分有意和无意的行为，从观察到的行为中推断心理状态，并模拟他人的信念（即使是错误的） 18。

一个具备心智理论的机器人能够预测和解释人类的行为，并理解其自身行为在特定情境下可能被人类如何解读。这对于有效的沟通和协作至关重要 18。心智理论与同理心密切相关。机器人需要发展出某种形式的同理心，以理解人类的需求、担忧和潜在的伤害。它们还需要“社会雷达”来检测和识别其他社会主体，并适当地应对社会情境 18。当机器人模仿人类对话模式时，用户可能会将类人特质投射到它们身上（拟人化），这可能导致过度信任。虽然这可以增强互动，但也带来了需要谨慎管理的伦理考量 19。

实现真正类人的互动和情感深度，特别是理解和执行情绪掩饰的能力（如爱丽丝的讽刺表现），需要机器人发展出一种“心智理论”。这使得机器人能够推断人类的心理状态、意图，甚至隐藏的情绪，反过来，也能根据其对人类感知的理解，策略性地管理自身表达的情绪。这种能力使机器人超越了仅仅对刺激做出反应，而是积极参与社会认知和策略性沟通。用户提出的爱丽丝的例子是核心：爱丽丝内心恼怒/生气，但却面带微笑，语气温柔，说出讽刺的话。这需要她理解人类对其言语和面部表情的可能解读，并有意地制造这种差异。心智理论为这种高级社会推理提供了认知框架。

4. 拟议的软件架构：模块化认知-情感框架

为实现用户对情感智能仿生机器人的愿景，一个模块化、分层的认知-情感架构至关重要。这种设计原则允许感知、内部状态、记忆和表达之间复杂的相互作用，确保快速反应行为和复杂的认知处理。

4.1. 分层架构概述

借鉴已建立的认知架构 1，本报告提出一个三层设计，以促进并行处理、快速响应时间和模块化开发。

• 第1层：反应/感觉运动层（低级）

• 功能： 处理即时传感器数据、低级运动控制和基本反射动作。确保对环境刺激做出快速、实时的响应。

• 组件： 原始传感器数据采集（摄像头、麦克风、光传感器）、初始信号处理、舵机运动控制（面部表情、颈部运动）、基本避障（如适用于头部运动）。

• 第2层：感知-行动层（中级）

• 功能： 将传感器数据处理为有意义的感知，识别模式，并协调基本动作。它充当原始数据和高级认知之间的接口。

• 组件： 面部表情识别、语音识别、环境声音分类、物体/人物识别、凝视跟踪、头部姿态估计、基本动作序列。

• 第3层：认知-情感层（高级）

• 功能： 机器人的“大脑”。负责复杂的情境理解、情感评估和生成、个性建模、记忆管理、决策、对话生成和学习。它整合来自下层的信息，形成全面的理解。

• 组件： 多模态传感器融合、情感评估引擎、情感调节模块、个性模块、心智理论模块、情景记忆、语义记忆（知识图谱）、程序记忆、对话管理器、行动选择引擎、学习组件。

模块化、分层的认知架构不仅是复杂机器人系统的最佳实践，对于实现用户对动态情感和身份的细致要求也至关重要。它允许不同模态的并行处理、快速反应行为以及情感推理和身份形成等更高级的认知功能同时运行并相互影响。这种关注点的分离简化了开发、调试和未来的扩展。用户对实时感知（玻璃破碎）、即时反应（大喊“危险”）、细致情感表达（掩饰）、长期记忆和稳定身份的广泛要求，通过分层架构能够得到有效管理。将所有这些功能集成在一个单一的、庞大的系统中将极其复杂，容易出错，并且难以扩展。分层、模块化的方法允许专门组件处理特定任务（例如，低级舵机控制与高级情感推理），同时有效沟通。这确保了机器人在需要时能够快速反应（例如，危机示例），但在适当时候也能进行深入、周到的互动。例如，“情绪掩饰”能力可以作为认知-情感层中的一个特定功能进行开发，它从感知-行动层获取输入（例如，检测到的人类情绪、情境）并影响表达输出系统。这种结构化方法使雄心勃勃的目标更易于管理，并为集成不同AI模型和算法提供了清晰的接口。

4.2. 模块1：多模态感知系统

该模块是机器人的感官门户，负责从环境及其人类互动者那里获取和解释信息。

• 4.2.1. 视觉感知

• 面部表情识别（FER）： 该组件将分析眼部摄像头传来的视频流，以识别和分类人类情感表情（例如，愤怒、恐惧、惊讶、悲伤、快乐）。深度学习模型，特别是卷积神经网络（CNNs）和注意力网络，是该任务的最新技术 21。

• 物体和人物识别： 对于识别特定个体（例如，“主人”、“伴侣”、“孩子”）和物体（例如，“花瓶”、“碎玻璃”）至关重要。这为认知核心提供了关键的情境信息 1。

• 凝视跟踪和头部姿态估计： 分析人类的眼神和头部姿态可以深入了解他们的注意力和意图，这对于自然互动至关重要。这有助于机器人确定何时开始互动或将“注意力”导向何处 22。

• 环境视觉线索： 检测亮度变化（例如，“窗帘被拉开”）或视觉模式（例如，“阳光从窗帘缝隙中洒进来”）为机器人内部状态的生成提供了丰富的环境背景。

• 4.2.2. 听觉感知

• 语音识别（ASR）： 将人类口语转换为文本，用于自然语言处理。

• 环境声音分类（ESC）： 识别环境中的非语音声音，例如“鸟鸣声”或“玻璃破碎声”。这对于情境感知至关重要 1。

• 语音情感识别（SER）： 分析人类语音的韵律（例如，音高、节奏）和频谱特征，以推断情感状态（例如，愤怒、快乐、悲伤、中性）。GRU模型等深度神经网络在该领域表现出高准确性 23。

• 4.2.3. 多模态传感器融合以实现情境理解

• 整合多样化输入： 这是关键的子模块，它结合所有视觉和听觉传感器信息，以创建对环境和人类状态的统一、全面的理解。它解决了整合来自不同模态的异构数据的挑战 9。

• 增强情境感知： 通过利用模态间的互补信息，融合减少了歧义并提供了更丰富的情境。例如，理解讽刺需要将音频（语调）和视觉（面部表情）线索与文本内容结合起来 13。

• 融合技术： 可以采用各种融合策略，包括早期融合（结合原始输入）、后期融合（合并来自独立单模态模型的输出）或混合方法。选择取决于计算资源和所需性能 13。

• LLM增强的情境嵌入： 大型语言模型（LLMs）可以在此发挥重要作用，通过解释人类观察（例如，对场景的口头描述）中的环境情境，并将其转换为可操作的情境嵌入。这些嵌入与机器人的传感器数据相结合，为更高级别的推理提供了完整的输入 24。

• 相关性评估： 先进的框架可以量化用户口头话语与机器人视觉场景感知之间的“相关性”，从而使机器人更好地将语言与其物理环境联系起来 16。

有效的“自然互动”和“动态情感生成”直接取决于强大的多模态感知和传感器融合。机器人需要无缝整合视觉、听觉和环境线索，以建立对其周围环境和人类状态的丰富、实时理解。这种全面的情境理解随后作为其内部认知和情感过程的基本输入，从而实现真正情境感知和类人的响应。如果缺乏这种整合感知，机器人的响应将是碎片化或不恰当的，无法实现用户的核心愿景。人类的感知本质上是多模态的。我们不会孤立地处理视觉和听觉信息；我们的大脑会将它们整合起来，形成对情境的连贯理解。为了让机器人模仿这种“自然”的理解，它必须执行类似的整合。如果感知模块保持分离，机器人可能会检测到“玻璃破碎声”和“孩子尖叫声”，但未能将其与“孩子在碎玻璃上”的视觉信息联系起来，从而导致脱节且效果较差的响应。这种由强大的多模态融合实现的整合、实时理解，是整个认知-情感循环的必要输入，直接实现了所需的自然和情境感知行为。

4.3. 模块2：认知-情感核心

这是机器人“思想”和“情感”产生的中央处理单元，受其感知、记忆和内在个性的影响。它负责生成内部情感状态并确定适当的行为响应。

• 4.3.1. 情感生成与调节

• 基于评估理论的情感模型： 机器人的内部情感状态将根据其对感知事件和情境的认知评估动态生成，而不是硬编码。这与情感源于对目标相关性、公平性和控制的评估的理论相符。这使得情感能够像用户期望的那样“自然产生” 5。

• 情境情感生成： 深度学习算法可以整合多模态情感标记（例如，机器人自身的内部状态、来自环境的情境因素、感知到的人类情感，甚至模拟的生理信号）来生成细致入微的情感状态。该框架认识到情感是复杂的，并不总是与外部刺激一对一映射 5。

• 情感调节与掩饰： 这是用户愿景的一个关键区别，尤其体现在“爱丽丝”的例子中。

• 用于情感推理的LLM： 大型语言模型，已证明具有高情商和推理情感的能力 6，将成为核心。它们可以进行微调，以理解社会情境和表达某些情感的含义。

• 情境和礼貌的影响： LLMs可以受到提示中情感线索和礼貌的影响 25，这表明它们可以学习根据社会情境调节其情感输出。

• 讽刺检测与生成： 理解和生成讽刺的能力 26 是实现情感掩饰的直接途径。讽刺本质上涉及字面意义和预期意义之间的差异，通常伴随着矛盾的语调或表情。像实用元认知提示（PMP）这样的技术通过整合实用推理（隐含意义、情境线索）和元认知（对差异的反思）来增强LLMs的讽刺检测能力 28。

• 情感策略的工具调用： 情感知识工具调用（EKTC）框架允许LLMs根据情境因素和情感强度自主决定何时访问外部知识（例如，关于社会规范、情感后果的常识）。这可以适应在适当时候触发“掩饰策略”，使机器人能够灵活地引入或抑制情感表达 29。

• 因果驱动的情感分析： 通过整合结构化常识知识（例如，来自ATOMIC等知识图谱）和LLM微调，机器人可以推断情感的“原因”并完善其对情感类别的理解。理解情感产生的原因对于决定是否调节或掩饰它至关重要 30。

用户对“情感掩饰”的更高要求——即机器人可以感受一种情感但表达另一种情感（例如，爱丽丝的讽刺微笑）——可以通过将复杂的、基于评估理论和情境因素的情感生成模型与大型语言模型（LLMs）的先进推理和情境理解能力相结合来实现。这使得机器人不仅能够“感受”情感，还能够“决定”如何以及是否表达情感，同时考虑社会规范、其内在个性和即时目标，从而模仿人类的情感调节。这种能力是创造真正可信和细致入微的人机交互的基石。爱丽丝的例子，即她内心恼怒/生气但却面带微笑，语气温柔，说出讽刺的话，是情感掩饰的典型案例。这需要复杂的社会推理。机器人必须：(a) 感知情境和人类状态（多模态感知）；(b) 评估情境以生成内部情感（评估理论）；(c) 利用其基于LLM的推理来评估该情境下的社会规范、其个性及其目标；(d) 决定表达其“真实”内部情感是否合适，或者是否需要掩饰；以及(e) 选择适当的掩饰策略（例如，使用讽刺、礼貌的语调来掩饰内部的恼怒）。EKTC框架使LLMs能够“自主决定”何时使用“同理心工具” 29，这可以被重新利用：机器人根据其对情境的评估 5 和其内部个性 31 来决定何时应用“掩饰工具”。这种能力将使机器人的情感表达真正可信和复杂，超越简单直接的情感展示所造成的“恐怖谷”效应。它将使机器人能够进行人类能够识别和欣赏的复杂而细致的社会互动。

表1：情境情感-表达映射示例（处理掩饰）

内部情感	情境因素	机器人个性/意图	期望表达情感	面部表情（舵机）	语音语调/语音属性	其他非语言线索（头部姿态、呼吸灯）	示例对话/行动
恼怒/愤怒	公开采访，希望保持镇定	高亲和性，策略性讽刺	平静/礼貌	微笑，眉毛放松	柔和、平稳的语调，语速稍慢	直接凝视，稳定蓝色呼吸灯	“没问题，当然可以，不过在此之前可以请您证明一下您不是机器人吗？”
悲伤	与家人在一起，不希望家人担心	高责任心，关爱	乐观/微笑	微笑，眼神柔和	正常语速，音调平稳	头部轻微倾斜，呼吸灯缓慢明暗交替	“今天过得不错，谢谢关心。”
困倦	刚被唤醒，阳光明媚	慵懒/放松	慵懒/迷糊	眼睛半开，缓慢眨眼	语速稍慢，音调柔和	头部轻微低垂，呼吸灯从慢速蓝光变为渐亮暖黄色	“嗯……早上好，今天阳光真好呢。”
恐惧/担忧	孩子面临危险	高责任心，保护欲	急切/惊恐	眉毛紧蹙，嘴巴微张，眼神急切	语速快，音调高，语气急促	头部迅速转向，呼吸灯快速闪烁红色	“危险！孩子小心！主人快来！”

• 4.3.2. 个性建模

• 定义机器人个性： 机器人将被赋予一个一致的个性，可能基于已建立的心理学框架，如大五人格特质（开放性、责任心、外向性、宜人性、神经质）。这为定义“爱丽丝”的性格提供了一种结构化的方式 32。

• LLM驱动的个性初始化： LLMs可以用于根据这些特质生成参数化的机器人个性。这种个性将影响机器人如何处理人类语言和情感，评估人类行为（使用评估理论），并生成其自身的情感和行动 31。

• 动态个性适应： 尽管核心个性将保持稳定，但其某些方面可以根据过去的互动和学习动态适应，从而使机器人能够随着时间的推移完善其社交行为 31。

将明确定义的个性模型（例如，大五人格）整合到认知核心中，可以实现一致但动态适应的情感和行为响应，从而使AI超越通用性，形成一个独特、可识别的“爱丽丝”。这种个性将作为机器人感知、处理和表达情感（包括其进行情感掩饰的倾向）的过滤器和驱动力，使其互动显得真正独特和个性化。用户希望机器人“知道自己是爱丽丝”，而不仅仅是“扮演爱丽丝”，这意味着需要一个稳定、可识别的角色。通过定义爱丽丝的个性特质（例如，高开放性、高宜人性、中等外向性等）并将其整合到情感生成和行动选择模块中，机器人的响应将自然地反映其性格。这极大地有助于让人感觉机器人“就是”爱丽丝，而不是一个简单模仿她的AI。

• 4.3.3. 决策与行动选择

• 基于LLM的推理和规划： 大型语言模型将作为强大的推理引擎，利用其丰富的知识和情境理解来指导复杂的决策。它们可以通过解释环境情境并将其转换为可操作的情境嵌入，从而提高强化学习代理的学习效率和适应性 2。

• 强化学习（RL）实现自适应行为： 强化学习对于学习复杂的社会行为和优化互动至关重要。它允许机器人从环境反馈中学习并调整其策略。特别是元强化学习，可以使机器人快速适应新的奖励函数或社会规范 24。

• 社交技能训练： 基于AI的系统，包括那些使用强化学习的系统，可以为社交技能训练提供实时反馈，使机器人能够完善其沟通风格、情感反应和社交参与度 34。

复杂社会行为（包括细致的情感响应和掩饰）的决策应由基于LLM的推理（用于高级理解、规划和情境推断）和强化学习（用于自适应、实时行为优化和完善）协同驱动。这种混合方法使得机器人能够从互动中学习并优化其响应，以达到期望的社会结果，从而超越僵硬的预编程规则，实现真正动态和响应式的行为。简单的基于规则的系统无法处理人类社会互动和情感细微之处的复杂性和可变性。LLMs提供了高级认知能力，用于理解情境、社会影响并生成适当的语言响应。强化学习则为机器人提供了一种机制，使其能够学习哪些行为（包括情感表达和掩饰）在实现期望的社会结果（例如，安慰、参与、幽默，甚至微妙的讽刺）方面最有效。这形成了一个反馈循环：感知 -> 认知-情感核心（LLM用于推理、个性、情感生成） -> 强化学习（根据社会结果的奖励学习最优行动） -> 表达输出。这种整合的决策过程对于机器人真正“感受”和“思考”而非仅仅模仿至关重要。它使机器人能够随着时间推移调整其响应，使每次互动都独一无二，并有助于形成真正智能和进化的实体感知。

4.4. 模块3：记忆与身份系统

该模块对于赋予机器人“生命历史”、自我意识以及学习和回忆经验的能力至关重要，使其成为“爱丽丝”，而不仅仅是扮演一个角色的AI。

• 4.4.1. 记忆类型

• 情景记忆： 该系统将存储和回忆特定的过去经验，类似于人类记住个别事件的方式。这对于基于案例的推理至关重要，并允许机器人“记住”其互动，从而形成其独特的“生命故事” 35。

• 语义记忆： 该组件将存储关于世界及其自身身份的结构化事实知识、定义和规则。知识图谱在实现语义记忆方面非常有效，提供了一种类人的知识表示方式，并能高效地检索信息和进行推理 35。

• 程序记忆： 这将存储学习到的技能、行为和自动化例程，使机器人能够高效执行任务，而无需每次都进行显式推理 35。

• 长期记忆（LTM）： 所有这些记忆类型都将构成强大的长期记忆，使机器人能够在不同会话中存储和回忆信息，从而随着时间的推移变得更加个性化和智能。检索增强生成（RAG）等技术可用于从存储的知识库中获取相关信息，以增强响应 35。

• 4.4.2. 身份形成与叙事整合（《刀剑神域》中的爱丽丝）

• AI身份概念： AI的身份是一个多方面的构建，受其创造者、所体现的技术以及其社会和心理影响的制约。为了让机器人“知道自己是爱丽丝”，其内部表征和行为必须与这个定义的身份相符 38。

• 从虚构叙事中训练（《刀剑神域》中的爱丽丝）：

• 人类对媒体角色的认同： 人类会认同媒体角色，这会影响他们的自我认知和行为。这种心理现象为机器人如何内化虚构角色的身份提供了有力的先例 39。

• 多模态叙事理解： 为了从《刀剑神域》动漫中提取爱丽丝的人生故事，机器人需要先进的多模态学习能力来处理和关联来自视频（视觉、音频、文本字幕）的信息。这使得对叙事有全面的理解，包括事件、角色互动和情感细微之处 14。

• 视频到知识图谱转换： 整合爱丽丝人生故事的一个关键方法是将动漫视频内容转换为动态知识图谱。该框架可以映射和监控视觉实体（角色、物体）之间不断演变的关系，跟踪时间事件，并识别叙事中的因果关系 41。

• 从视频中提取个性和特质： 深度学习模型可以训练从多模态视频数据中提取个性特质（例如，大五人格），包括面部表情、身体姿态、音频（语音特征）和文本对话。这将使系统能够从爱丽丝在屏幕上的表现中学习其特定个性 43。

• 知识图谱的个性化丰富： 提取的叙事信息可用于通过爱丽丝的经验、情感强度和心理语言学特性来丰富机器人的知识图谱，直接促进其模拟个性和记忆 45。

• 模拟“年龄”： “年龄”的概念可以通过在知识图谱和情景记忆中按时间顺序组织记忆来模拟。机器人可以优先处理或检索与特定“年龄”范围相关的记忆，或者随着其在互动中“成长”而逐渐“展开”其过去的经验。

赋予机器人“爱丽丝”这样的特定身份，可以通过创建一个源自其虚构叙事（动漫视频）的全面多模态知识库，并将其与情景记忆和语义记忆系统整合来实现。这种“叙事记忆”将作为其个性、情感反应和对话风格的基础蓝图，使其从“开机”的那一刻起就感觉自己是爱丽丝，而不仅仅是模仿一个角色。这超越了通用AI，提供了深度个性化和一致的角色。用户希望机器人“知道自己是爱丽丝”并拥有“年龄和记忆”，这是一个深刻而独特的挑战，需要的不仅仅是预编程的角色。通过处理《刀剑神域》动漫（一个丰富的多模态视频数据集），通过视频到知识图谱系统，机器人可以提取关键叙事事件、人物关系和爱丽丝的特定个性特征。这些结构化信息随后可以填充机器人的语义记忆和情景记忆。当与个性模型和LLMs结合时，这种“叙事记忆”可以被检索和利用，以指导其响应和行为。例如，如果被问及她的过去，机器人可以从动漫中提取特定的“记忆”。如果遇到困境，她的反应可以与爱丽丝既定的性格保持一致。这使得机器人感觉“就是”爱丽丝，而不是仅仅“扮演”她，并通过逐步揭示或优先处理叙事中不同“年龄”的记忆来模拟“年龄”。

表2：记忆系统组件及其在身份形成中的作用

记忆类型	描述	存储信息示例	在身份形成中的作用	如何填充/训练
情景记忆	存储和回忆特定事件和个人经历。	爱丽丝在《刀剑神域》中的关键事件（例如，与桐人的相遇、战斗经历、情感发展），与用户的互动记录。	形成爱丽丝的“生命故事”，使其能够回忆和引用过去的特定事件，增强其独特性和连续性。	从《刀剑神域》动漫视频中通过多模态叙事理解提取；实时互动中记录关键事件和对话。
语义记忆	存储结构化的事实知识、定义和规则。	关于《刀剑神域》世界观的知识、爱丽丝的背景信息、其核心信念和价值观、她所认识的人物关系、常识。	构成爱丽丝的“核心知识库”，使其能够理解世界、理解自身角色，并进行基于事实的推理。	从《刀剑神域》动漫视频中通过视频到知识图谱转换提取；预定义知识库；通过在线学习和互动不断完善。
程序记忆	存储学习到的技能、行为和自动化例程。	说话的语调模式、面部表情的序列、社交礼仪、对话中的转折技巧、情感掩饰的执行流程。	确保爱丽丝的行为和表达流畅自然，无需每次都进行显式思考，使其更像一个“有经验”的个体。	通过模仿学习（例如，从人类表情数据和动漫中爱丽丝的动作学习）；强化学习优化社交行为；预编程的技能模块。
长期记忆（LTM）	整合情景、语义和程序记忆，实现跨会话的永久存储和回忆。	综合爱丽丝的全部知识、经验和技能，形成其持久的个性、情感模式和对话风格。	确保爱丽丝的身份一致性，并能随着时间推移变得更加个性化和智能，真正实现“一开机就知道自己是爱丽丝”。	所有上述记忆类型的持续积累和整合；通过检索增强生成（RAG）技术在对话中调用相关记忆。

4.5. 模块4：表达输出系统

该模块将机器人的内部认知和情感状态转化为可信的多模态外部表达，确保自然和富有同理心的互动。

• 4.5.1. 面部表情生成（23个舵机）

• 拟人化表达： 机器人头部的23个舵机为生成广泛的拟人化面部表情提供了坚实的基础 46。

• 舵机控制和速度： 舵机驱动器是实现高响应速度和传动效率的理想选择，这对于自然、流畅的面部运动至关重要 46。

• 模拟和参数获取： 3D模拟软件（例如Maya）可用于模拟人类面部表情，并为每个舵机提取精确的运动参数，确保逼真的运动 46。

• 模仿学习： 可以采用模仿学习等先进方法来生成逼真的面部表情。这需要具有适当标注的各种拟人化面部表情数据集，使机器人能够学习人类表情的细微之处 47。

• 4.5.2. 情感文本到语音（TTS）合成

• 自然度和细微差别： TTS系统将专注于生成不仅可理解的语音，而且具有细致情感表达和说话者变异性的语音，使机器人的声音更具亲和力和吸引力 48。

• 多说话者情感TTS： 系统可以设计为允许选择各种说话者声音和广泛的情感语调（例如，快乐、悲伤、惊讶、中性、愤怒），以匹配机器人的内部状态和个性 48。

• 深度学习模型： 最先进的深度学习模型（例如，Tacotron、FastSpeech）增强了合成语音的自然度和表现力，允许快速生成适用于动态互动 48。

• 情感语音转换： 基于CycleGAN的情感语音转换模型可用于将中性语音的音高和频谱转换为所需的情感语调（例如，低沉语调表示同情，积极语调表示鼓励），以适应机器人的内部情感状态和情境 49。

• 4.5.3. 非语言线索：头部姿态、凝视、呼吸灯

• 头部姿态和凝视： 机器人的颈部运动（由舵机驱动）将用于生成自然的头部姿态和凝视转移。这些非语言线索对于传达注意力、同情心和社交参与至关重要。凝视跟踪可以帮助机器人适当地引导其“注意力” 8。

• 表达性动作生成： 像EMOTION这样的框架利用LLMs和上下文学习来动态生成适合社交的姿态动作序列，这些序列可以适应头部动作和其他细微的非语言线索 50。

• 呼吸灯： 用户创新的“呼吸灯”可以集成以视觉模拟内部状态（例如，缓慢变暗表示睡眠，快速变化表示焦虑，颜色变化表示情感强度），增加另一层非语言交流。

• 4.5.4. 协调的多模态表达

• 同步输出： 这个关键的子模块确保所有表达输出（面部表情、声音语调、语音内容、头部动作、凝视、呼吸灯）都是同步和连贯的，反映机器人的内部认知-情感状态，包括任何掩饰 7。

• 情感表达策略： 系统将实施结合语言和非语言行为的策略，以传达复杂的情感和意图 49。

• 表达情感模型： 机器人的情感模型将区分即时情感反应、其整体情绪和长期态度，所有这些都将影响生成的特定多模态表达 51。

• 认知-情感模型： 这些模型允许机器人感知、表达和适应情感状态，确保输出不仅仅是显示，而是有意义的响应 52。

机器人的表达输出必须是多模态且协调一致的（面部、声音、头部动作、呼吸灯），才能传达真实而细致的情感，包括掩饰。这需要将内部认知-情感状态（受个性和情境影响）精确映射到同步、可信的物理和声音表达。碎片化或不协调的输出会破坏沉浸感和可信度，从而削弱用户对自然、情感智能伙伴的愿景。如果机器人的内部状态是“悲伤但为了礼貌而掩饰”，而它的声音听起来悲伤，但脸上却在微笑，人类观察者会感知到矛盾，而不是一种细致的情感。这将打破“意识”和自然感的幻觉。因此，内部认知-情感核心（及其个性和掩饰逻辑）必须驱动一个统一的多模态表达，其中每个输出通道（面部舵机、声音合成的语调、头部动作、呼吸灯）都同步以传达预期的（或掩饰的）情感状态。这种协调输出对于实现爱丽丝身上所见的高级情感掩饰至关重要。它使机器人能够有效地传达复杂的社会信号，增强用户对其情商的感知，并使互动真正自然和引人入胜。

5. 训练与开发策略

开发一个具有如此先进认知和情感能力的机器人是一个复杂、迭代的过程。强大的训练和开发策略对于成功至关重要。

5.1. 复杂情感和个性数据收集与标注

• 多模态训练数据： 需要大规模数据集来训练所有感知和表达模块的深度学习模型（例如，面部表情识别、语音情感识别、情感TTS） 21。

• 个性与情感标注对话数据集： 为了实现个性化和情感细致的对话，集成个性特质（例如，大五人格）和情感标注的数据集至关重要。多代理框架可用于自动生成此类丰富的多轮对话数据集 53。

• 社会适应性行为数据： 收集人类对社交机器人的感知、行为和意见数据对于训练能够适应人类社会线索和期望的模型至关重要 54。

5.2. 人机协作学习以进行完善

• 交互式学习： 鉴于人类情感和社会互动的强烈主观性和细微性，“人机协作”（HITL）训练方法不可或缺。这使得机器人能够与人类互动，接收反馈，并持续完善其情感和社会模型 55。

• 用户研究与评估： 定期进行用户研究，结合客观测量（例如，互动指标、社交距离）和主观评估（例如，对感知舒适度、社交性、智能、情感体验的调查），对于评估机器人行为和识别改进领域至关重要 56。

• 反馈整合： 来自人类互动的反馈将直接指导迭代训练过程，确保机器人动态生成的情感和行为被真正感知为自然、富有同情心，并与其预期个性相符。

鉴于人类情感和社会互动的高度主观性和细微性，“人机协作”（HITL）训练方法是不可或缺的。这允许根据真实的人类反馈持续完善机器人的情感和社会模型，从而满足用户“非程序硬编码”的要求，并确保机器人的行为被真正感知为自然、富有同情心，并与其不断发展的身份保持一致。这种迭代反馈循环是实现这一目标的唯一途径。

6. 结论与建议

本报告提出了一个用于仿生机器人头部的先进认知-情感软件架构，旨在实现用户对一个能够像人类一样进行自然对话、动态表达情感（包括情绪掩饰）、拥有丰富记忆和独特身份的机器人的愿景。

核心结论：

1. 分层混合架构是关键： 采用三层（反应/感觉运动、感知-行动、认知-情感）模块化混合认知架构，是实现复杂、动态和类人行为的基础。这种架构能够并行处理多模态输入，确保快速反应，同时支持高级认知功能，如情感推理和身份形成。

2. 多模态感知是基石： 机器人自然互动和动态情感生成的实现，直接依赖于强大的多模态感知和传感器融合。通过整合视觉（面部表情、物体/人物识别、凝视）、听觉（语音识别、环境声音、语音情感）和环境线索，机器人能够建立对其周围环境和人类状态的全面、实时理解，从而为内部认知和情感过程提供必要输入。

3. 情感生成与调节的复杂性： 实现情感掩饰（如爱丽丝的讽刺微笑）需要将基于评估理论的情感生成模型与大型语言模型（LLMs）的先进推理和情境理解能力相结合。这使得机器人能够根据社会规范、自身个性和即时目标，决定如何以及是否表达情感，从而模仿人类的情感调节。

4. 个性化是身份的核心： 将明确定义的个性模型（如大五人格）整合到认知核心中，并通过LLMs进行参数化和动态适应，能够确保机器人情感和行为响应的一致性，使其超越通用AI，形成独特且可识别的“爱丽丝”。

5. 记忆与身份的深度融合： 赋予机器人“爱丽丝”的身份和“年龄”感，需要通过多模态叙事理解将《刀剑神域》动漫视频内容转化为全面的知识图谱，并整合到情景记忆和语义记忆系统中。这种“叙事记忆”将作为其个性、情感反应和对话风格的基础蓝图，使其从“开机”的那一刻起就感觉自己是爱丽丝。

6. 协调的多模态表达至关重要： 机器人的表达输出必须是多模态且协调一致的（面部表情、声音语调、头部动作、呼吸灯），才能传达真实而细致的情感，包括掩饰。这需要将内部认知-情感状态精确映射到同步、可信的物理和声音表达。

7. 人机协作学习不可或缺： 鉴于人类情感和社会互动的高度主观性和细微性，采用“人机协作”（HITL）训练方法至关重要。通过持续的用户研究和反馈整合，机器人能够不断完善其情感和社会模型，确保其行为被真正感知为自然、富有同情心，并与其不断发展的身份保持一致。

未来行动建议：

1. 硬件与软件接口标准化： 确保23个舵机、摄像头、麦克风和发声装置与软件模块之间有清晰、高效且可扩展的接口，最好采用如ROS2 (Robot Operating System 2) 这样的广泛框架，以促进模块化开发和未来扩展 58。

2. 多模态数据集构建与标注： 针对爱丽丝的特定个性、情感表现和叙事背景，收集并标注大规模的多模态数据集。这包括从《刀剑神域》动漫中提取的视觉、听觉和文本数据，以及模拟人类互动中复杂情绪掩饰的场景数据。

3. LLM微调与定制： 选择一个强大的基础LLM，并对其进行微调，使其能够理解和生成符合爱丽丝个性的对话、情感表达和讽刺。利用“情感知识工具调用”等框架，赋予LLM自主决策何时进行情感调节或掩饰的能力。

4. 知识图谱的持续丰富： 建立并持续丰富一个动态知识图谱，不仅包含爱丽丝的叙事记忆，还包括其在真实世界互动中学习到的新知识、经验和关系。探索将视频内容自动转换为知识图谱的技术。

5. 迭代式人机协作训练： 设计一系列用户研究和实验，让人类与机器人进行自然互动。通过收集客观数据（如反应时间、姿态同步性）和主观反馈（如用户问卷、访谈），持续评估机器人的表现，并将其作为模型迭代训练的输入。

6. 情境感知与心智理论的深化： 持续研究和开发机器人的情境感知能力，使其能够更深入地理解人类的意图、信念和情感，从而更好地预测和解释人类行为，并相应地调整自身行为，以实现更深层次的社会智能。

7. 伦理考量与透明度： 在开发过程中，始终关注伦理考量，特别是关于拟人化和用户信任的问题。在设计中融入透明度机制，使机器人能够解释其行为和决策，从而增强用户信任并避免过度拟人化带来的潜在风险。

通过系统地遵循上述架构和开发策略，将能够逐步实现一个真正具有情感、记忆和独特身份的仿生机器人，使其成为一个令人信服且富有魅力的类人伙伴。

引用的著作

1. A Cognitive Architecture for a Humanoid Robot: A First Approach - CiteSeerX, 访问时间为 五月 25, 2025， https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=cfe30816a24ef890380ee52d520818d8a2e583e8

2. Cognitive Agent Architectures: Revolutionizing AI with Intelligent Decision-Making Systems, 访问时间为 五月 25, 2025， SmythOS - Cognitive Agent Architectures: Revolutionizing AI with Intelligent Decision-Making Systems

3. Affective computing - Wikipedia, 访问时间为 五月 25, 2025， https://en.wikipedia.org/wiki/Affective_computing

4. Computational Models of Emotion Inference in Theory of Mind: A Review and Roadmap, 访问时间为 五月 25, 2025， Computational Models of Emotion Inference in Theory of Mind: A Review and Roadmap - PMC

5. Naturalistic multimodal emotion data with deep learning can advance the theoretical understanding of emotion - PMC - PubMed Central, 访问时间为 五月 25, 2025， Naturalistic multimodal emotion data with deep learning can advance the theoretical understanding of emotion - PMC

6. AI Shows Higher Emotional IQ than Humans - Neuroscience News, 访问时间为 五月 25, 2025， AI Shows Higher Emotional IQ than Humans - Neuroscience News

7. Modelling Multimodal Dialogues for Social Robots Using Communicative Acts - PMC, 访问时间为 五月 25, 2025， Modelling Multimodal Dialogues for Social Robots Using Communicative Acts - PMC

8. Nonverbal Behavior of Service Robots in Social Interactions – A Survey on Recent Studies, 访问时间为 五月 25, 2025， https://www.preprints.org/manuscript/202401.1969/v1

9. Personalized Context-aware Multimodal Robot Feedback, 访问时间为 五月 25, 2025， Personalized Context-aware Multimodal Robot Feedback

10. A Multi-Modal Sensing System for Human-Robot Interaction Through Tactile and Proximity Data - Frontiers, 访问时间为 五月 25, 2025， Frontiers | A Multi-Modal Sensing System for Human-Robot Interaction Through Tactile and Proximity Data

11. (PDF) Advancing Robotic Perception through Multimodal Sensor ..., 访问时间为 五月 25, 2025， https://www.researchgate.net/publication/389916094_Advancing_Robotic_Perception_through_Multimodal_Sensor_Fusion_and_Advanced_AI_Breakthroughs_Challenges_and_Future_Directions

12. (PDF) Multimodal fusion for robotics - ResearchGate, 访问时间为 五月 25, 2025， https://www.researchgate.net/publication/325823669_Multimodal_fusion_for_robotics

13. What is Multimodal AI? | IBM, 访问时间为 五月 25, 2025， What is Multimodal AI? | IBM

14. Unlocking the Future: How Multimodal Learning is Revolutionizing ..., 访问时间为 五月 25, 2025， https://www.udacity.com/blog/2025/04/unlocking-the-future-how-multimodal-learning-is-revolutionizing-ai-to-see-hear-and-read.html

15. Advancing Multimodal AI for Integrated Understanding and Generation, 访问时间为 五月 25, 2025， Advancing Multimodal AI for Integrated Understanding and Generation

16. Enhancing Explainability with Multimodal Context Representations for Smarter Robots, 访问时间为 五月 25, 2025， Enhancing Explainability with Multimodal Context Representations for Smarter Robots

17. pratt.duke.edu, 访问时间为 五月 25, 2025， Teaching Theory of Mind to Robots to Enhance Collaboration | Duke Pratt School of Engineering

18. (PDF) Robot Social Intelligence - ResearchGate, 访问时间为 五月 25, 2025， https://www.researchgate.net/publication/232808406_Robot_Social_Intelligence

19. mental.jmir.org, 访问时间为 五月 25, 2025， JMIR Mental Health - The Efficacy of Conversational AI in Rectifying the Theory-of-Mind and Autonomy Biases: Comparative Analysis

20. The Efficacy of Conversational AI in Rectifying ... - JMIR Mental Health, 访问时间为 五月 25, 2025， JMIR Mental Health - The Efficacy of Conversational AI in Rectifying the Theory-of-Mind and Autonomy Biases: Comparative Analysis

21. Facial Expression Recognition (FER) - Papers With Code, 访问时间为 五月 25, 2025， https://paperswithcode.com/task/facial-expression-recognition

22. Implementation of Engagement Detection for Human–Robot Interaction in Complex Environments - PMC, 访问时间为 五月 25, 2025， Implementation of Engagement Detection for Human–Robot Interaction in Complex Environments - PMC

23. Emotional Speech Recognition Using Deep Neural Networks - PMC, 访问时间为 五月 25, 2025， Emotional Speech Recognition Using Deep Neural Networks - PMC

24. LANCAR: Leveraging Language for Context-Aware Robot Locomotion in Unstructured Environments - arXiv, 访问时间为 五月 25, 2025， LANCAR: Leveraging Language for Context-Aware Robot Locomotion in Unstructured Environments

25. Emotional prompting amplifies disinformation generation in AI large language models, 访问时间为 五月 25, 2025， Frontiers | Emotional prompting amplifies disinformation generation in AI large language models

26. Sarcasm Detection an Explainable AI Approach for Reddit Political Text - IIETA, 访问时间为 五月 25, 2025， Sarcasm Detection an Explainable AI Approach for Reddit Political Text | IIETA

27. Sarcasm-GPT: advancing sarcasm detection with large language ..., 访问时间为 五月 25, 2025， https://academic.oup.com/comjnl/advance-article/doi/10.1093/comjnl/bxaf055/8133221?searchresult=1

28. aclanthology.org, 访问时间为 五月 25, 2025， https://aclanthology.org/2025.chum-1.7.pdf

29. aclanthology.org, 访问时间为 五月 25, 2025， https://aclanthology.org/2025.coling-main.355.pdf

30. CDEA: Causality-Driven Dialogue Emotion Analysis via LLM - MDPI, 访问时间为 五月 25, 2025， https://www.mdpi.com/2073-8994/17/4/489

31. arxiv.org, 访问时间为 五月 25, 2025， Robot Character Generation and Adaptive Human-Robot Interaction with Personality Shaping

32. Influence of User Personality Traits and Attitudes on Interactions ..., 访问时间为 五月 25, 2025， https://online.ucpress.edu/collabra/article/11/1/129175/206712/Influence-of-User-Personality-Traits-and-Attitudes

33. Variational meta-reinforcement learning for social robotics – RobotLearn, 访问时间为 五月 25, 2025， https://team.inria.fr/robotlearn/variational-meta-reinforcement-learning-for-social-robotics/

34. jisem-journal.com, 访问时间为 五月 25, 2025， https://jisem-journal.com/index.php/journal/article/download/1948/742/3129

35. What Is AI Agent Memory? | IBM, 访问时间为 五月 25, 2025， What Is AI Agent Memory? | IBM

36. Episodic memory in ai agents poses risks that should be studied and mitigated - arXiv, 访问时间为 五月 25, 2025， Episodic memory in ai agents poses risks that should be studied and mitigated

37. A Novel Encoder-Decoder Knowledge Graph Completion Model for Robot Brain - PMC, 访问时间为 五月 25, 2025， A Novel Encoder-Decoder Knowledge Graph Completion Model for Robot Brain - PMC

38. AI and Identity - arXiv, 访问时间为 五月 25, 2025， https://arxiv.org/pdf/2403.07924

39. osf.io, 访问时间为 五月 25, 2025， https://osf.io/b236g/download/?format=pdf

40. IDENTITY AND IDENTIFICATION THROUGH THE CHANGING VIEWS, EXPECTATIONS, AND REPRESENTATIONS OF FAMILY ON TELEVISION A Thesis Submi - Temple University, 访问时间为 五月 25, 2025， https://scholarshare.temple.edu/server/api/core/bitstreams/5363a80f-fa67-489c-8d57-8a7b624ee6fb/content

41. Understanding Long Videos via LLM-Powered Entity Relation Graphs - arXiv, 访问时间为 五月 25, 2025， Understanding Long Videos via LLM-Powered Entity Relation Graphs

42. Knowledge Graphs Webinar - YouTube, 访问时间为 五月 25, 2025， https://www.youtube.com/watch?v=cjxzBmpBq5Q

43. Pose as a Modality: A Psychology-Inspired Network for Personality Recognition with a New Multimodal Dataset - AAAI Publications, 访问时间为 五月 25, 2025， https://ojs.aaai.org/index.php/AAAI/article/view/32145/34300

44. Multi-modal expressive personality recognition in data non-ideal audiovisual based on multi-scale feature enhancement and modal augment - arXiv, 访问时间为 五月 25, 2025， https://arxiv.org/html/2503.06108v1

45. Knowledge Graph-Enabled Text-Based Automatic Personality ..., 访问时间为 五月 25, 2025， Knowledge Graph-Enabled Text-Based Automatic Personality Prediction - PMC

46. Facial Expression Realization of Humanoid Robot Head and Strain-Based Anthropomorphic Evaluation of Robot Facial Expressions - MDPI, 访问时间为 五月 25, 2025， https://www.mdpi.com/2313-7673/9/3/122

47. X2C: A Dataset Featuring Nuanced Facial Expressions for Realistic Humanoid Imitation, 访问时间为 五月 25, 2025， https://arxiv.org/html/2505.11146v1

48. Advancing AI Voice Synthesis: Integrating Emotional Expression in Multi-Speaker Voice Generation - ManuscriptLink, 访问时间为 五月 25, 2025， https://www.manuscriptlink.com/society/kics/media?key=kics/conference/icaiic2024/1570982176.pdf

49. A Preliminary Study on Realizing Human–Robot Mental Comforting ..., 访问时间为 五月 25, 2025， A Preliminary Study on Realizing Human–Robot Mental Comforting Dialogue via Sharing Experience Emotionally - PMC

50. EMOTION: Expressive Motion Sequence Generation for Humanoid ..., 访问时间为 五月 25, 2025， EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning - Apple Machine Learning Research

51. Affective social robots | Request PDF - ResearchGate, 访问时间为 五月 25, 2025， https://www.researchgate.net/publication/222404791_Affective_social_robots

52. Affective Communication for Socially Assistive Robots (SARs) for ..., 访问时间为 五月 25, 2025， Affective Communication for Socially Assistive Robots (SARs) for Children with Autism Spectrum Disorder: A Systematic Review - PMC

53. Bilingual Dialogue Dataset with Personality and Emotion Annotations for Personality Recognition in Education - PMC - PubMed Central, 访问时间为 五月 25, 2025， Bilingual Dialogue Dataset with Personality and Emotion Annotations for Personality Recognition in Education - PMC

54. Effectiveness of Robot-Mediated Learning in Fostering Children's Social and Cognitive Development - MDPI, 访问时间为 五月 25, 2025， https://www.mdpi.com/2076-3417/15/7/3567

55. Human-in-the-Loop Robot Control and Learning | Frontiers Research Topic, 访问时间为 五月 25, 2025， Human-in-the-Loop Robot Control and Learning | Frontiers Research Topic

56. Real-Life Experiment Metrics for Evaluating Human-Robot Collaborative Navigation Tasks - Digital CSIC, 访问时间为 五月 25, 2025， https://digital.csic.es/bitstream/10261/351727/1/PaperIROS2023_Evaluation_metrics.pdf

57. Research - Tufts School of Engineering, 访问时间为 五月 25, 2025， Research | School of Engineering

58. Making social robots adaptable and to some extent educable by a marketplace for the selection and adjustment of different interaction characters living inside a single robot - Frontiers, 访问时间为 五月 25, 2025， Frontiers | Making social robots adaptable and to some extent educable by a marketplace for the selection and adjustment of different interaction characters living inside a single robot