人机融合智能 | 人智交互中的人类状态识别
近年来,围绕“以人为中心”理念开发 AI系统越来越受到研究者的重视,“人智交互”这一概念也应运而生。越来越多的研究者开始倡导人智交互关系本质上是人机合作关系,人与 AI的交互可以类比为人与人的交互,具有和人与人交互相似的属性和规律。基于“以人为中心”的 AI开发理念,人类状态识别在人智交互中的重要性日益凸显。AI系统只有可以准确识别用户的生理心理状态,理解用户的情绪和情感、需要和动机,并能够预判或理解用户的意图,和谐自然的人智交互才有可能实现。虽然人类的心理状态是一个有机的整体,但是可以从生理、情绪和认知状态三方面进行识别和建模。围绕人智交互这一主题,本章选择从生理计算、情感计算和交互意图理解三个角度,针对人类状态识别建模探讨人类生理和心理状态识别的基本概念及相关研究进展,并指出目前研究中存在的问题和未来研究的发展趋势。
01、引言
近年来,人工智能的飞速发展为科技和社会发展带来了诸多机遇和挑战,与此同时, AI 发展所带来的争议和问题也越来越受到学术界、产业界和社会大众的广泛关注。其中一个备受关注的重要议题是围绕“以人为中心”的理念开发 AI 系统,而且越来越多的计算机科学家和人机交互领域的专家开始倡导这一理念,并提出人 - 人工智能 交 互 ( human-AIinteraction , HAII ),即 人 智 交 互 这 一 概 念(Shneiderman , 2020a ; Xu , 2019 )。“以人为中心”的 AI 理念强调 AI 的研究目标之一是了解人类感知、认知和运动的能力,进而模拟和建构与人类一样甚至更好的执行各种任务的能力,并且认为人际互动是人机交互可以学习的范本(Shneiderman , 2020b ),最终旨在提高 HCAI 系统的可靠性、安全性和可信任度(Shneiderman , 2020c )。当围绕人的因素来开发 AI ,以及研究人智交互时,显而易见,人类作为生物体的生理、心理和社会属性将成为设计 AI 系统首要考虑的因素。传统的计算机是逻辑计算的典范,传统的人工智能尽管以人类智能为蓝本,但是并没有关注人类作为生物体的非智能方面的生物属性,以及人类作为高度社会化的生物所具有的社会属性。近 20 年来,随着人机交互、生理计算、情感计算、可穿戴技术等领域的兴起,伴随人类生物属性和社会属性而存在的生理、情感和意图等生理和心理状态在 AI 设计与人机交互中的重要性越来越受到关注。
基于“以人为中心”的人智交互这一理念,本章将围绕人类状态在人智交互中的重要作用,分别讨论目前生理计算、情感计算与交互意图理解领域有关人类状态识别建模的生理和心理基础,以及其研究进展。
1. 人类的生理心理状态
目前,心理学领域普遍认同需要、动机和情绪构成了人类认知和行为等心智活动的动力系统(Zimbardo , etal., 2016 ),生理活动则构成了这一动力系统的基础(Shannahoff-Khalsa , 2007 )。首先,由基本的生理活动所引发的生理需要与情绪和动机紧密联系在一起( Rolls , 2018 )。当生物体获得食物、水、安全的庇护所、性、同伴的陪伴等有利于其生存繁衍的环境刺激时,个体产生积极、正性的情绪体验;当面临安全的威胁、腐败的食物等不利于其生存的环境刺激时,个体产生消极、负性的情绪体验。情绪可以认为是由上述环境刺激诱发的心理状态,动机可以认为是寻求和回避这些环境刺激的心理过程( Rolls , 2018 )。其次,认知活动与情绪状态之间存在相互作用。获得诺贝尔经济学奖的美国普林斯顿大学心理学教授 DanielKahneman 在《思考,快与慢》一书中提出人的大脑存在两个思维系统,一个是无意识的快系统,依赖情绪、记忆和经验迅速做出判断,对应着直觉思维;另一个是有意识的慢系统,通过调动注意来分析和判断,最后做出决策,对应着理性思维。在 Kahneman 的启发下,英国牛津大学的 Rolls 教授提出人类行为产生的路径系统可以分为两个:一个是基于情绪的行为产生系统,另一个是基于推理和理性思维的行为产生系统( Rolls , 2018 )。这两个系统相互竞争和制衡,以保持个体心理和行为的稳定,维持个体对环境的良好适应。
综上所述,人类的生理、情绪和认知活动是密不可分的有机整体,由这些生理和心理活动引发的生理和心理状态也是密不可分的有机整体。尽管如此,为了研究和分析的方便,可以把前面提到的广义的生理和心理状态,或者说人类的状态大致分为三类:生理状态、情绪状态和认知状态(Zimbardo ,etal., 2016 )。生理状态反映了人类作为生物体最基本的身体状态,例如饥渴、疲劳、困倦和疾病等。
另外,人体的各种生理反应也可以反映出个体的情绪情感和认知活动,甚至包括心理健康水平、心理疾病、认知功能损伤等。情绪状态(或情感状态)是由不同水平的生理需要或者心理需要,以及由此而生的动机引发的正性或负性的心理状态。一般情况下,情绪和情感这两个术语会在不同的语境下使用。其中,情绪通常指代比较短暂的、由特定情境引发的状态,而情感通常指代比较持久稳定、具有社会意义的状态。认知状态则是伴随认知加工过程和心智活动而产生的心理状态。例如,个体在进行某种认知活动时的注意水平、认知负荷水平,或者个体正在识别或者记忆某种刺激而引发的心理状态。其中,认知状态中的交互意图的识别和理解对于人智交互系统实现用户友好的交互过程尤为重要。需要注意的是,由于生理、情绪和认知活动之间的紧密联系,在任何认知活动(包括交互意图)发生的同时,都会伴随着某种情绪状态和生理状态(如图 12.1 所示)。
2. 人类状态在人智交互中的作用
认识和了解人类的生理和心理状态,并且在设计中考虑人类的状态,对于设计和开发基于 AI 技术的人智交互系统来说具有重要的理论意义和应用价值。
首先,对于 AI 实现的理论角度而言,如果一个 AI 系统不理解人类的生理和心理状态,也不能基于人类状态与人进行交互,那么它并不能被称为智能化的系统。正如 1985 年人工智能的奠基人之一MarvinMinsky 就提出了人工智能与情感的问题,他在其代表作《心智社会》一书中写道:“问题并不在于智能机器是否能有情感,而是没有情感的机器怎么能是智能的?”不能理解人类作为生物体的生理和心理状态的智能体,只能称之为逻辑系统。正如前文所述,人类行为产生的路径系统既包括基于情绪的行为产生系统,又包括基于推理和理性思维的行为产生系统( Rolls , 2018 )。如果忽视了基于情绪的行为产生系统,仅仅基于理性的行为产生系统,那么人类将失去在自然进化中获得的强大适应性,失去了最基本的生存能力。相应地,如果 AI 系统不能理解人类的状态,或者设计 AI 系统时没有考虑人类的状态,那么 AI 系统也很难适应这个复杂多变的世界,难以解决现实世界中错综复杂的问题,这样的 AI 系统也就称不上是智能的。
其次,对于人智交互发展的角度而言,人与 AI 交互本质上是人机合作关系,可以类比为人与人的交互,具有和人与人交互相似的属性和规律。人与 AI 系统的交互既不是 AI 自主独立完成的信息处理过程,更不是 AI 被动接受人类指令的过程,而是两个交互主体在各自先验知识和动机的驱动下主动交互的过程(刘烨等,2018 )。在这种研究取向和理念的引领下,人类状态识别在人智交互中的重要作用便日益突显出来。只有当 AI 系统可以准确识别用户的生理和心理状态,理解用户的需要、情感和动机,并能够预判或理解用户的心中所想,和谐自然的人智交互才有可能实现。
最后,对于人智交互的应用角度而言, AI 时代的人智交互是双向的交互关系,如果 AI 系统可以主动地识别和理解人类的状态,模拟出类人的情感和意图理解能力,能够准确恰当地响应人类的需要和情感,那么这将大大增进 AI 系统的可用性,提高人机交互的效率,并且提高人类用户的使用满意度和交互的流畅性。
3. 生理计算、情感计算与交互意图理解之间的关系
前面讲到人类的状态可以大致分为三类:生理、情绪和认知状态。对于生理状态的识别和理解,在当前的计算机和 AI 研究领域,与之密切相关的研究领域是生理计算。与情绪情感状态的识别密切相关的是情感计算领域。认知状态的识别和理解涉及比较多的研究领域,如果是基于人类的神经生理反应进行认知状态的识别,则涉及生理计算领域。另外,如脑机接口、神经人因学等领域也涉及基于神经生理信号的认知状态识别。本书其他章节将对这些研究领域进行详细介绍。本章主要聚焦认知状态识别中的交互意图理解这一领域。
生理计算是基于人类的自主神经系统或者中枢神经系统的生理反应进行人类状态识别的研究领域。生理计算除了可以基于人体的生理反应进行基本生理状态(例如,检测人体的饥渴状态、困倦、心理或生理疲劳等)的识别和检测之外,也可以进行情绪和情感的识别与分类(例如,高兴、悲伤和愤怒等情绪类别的识别,或者情感效价或唤醒程度的识别),以及心理健康水平的评估(例如,抑郁、焦虑状态的识别等),还可以进行认知状态的识别和检测(例如,谎言识别、欺骗检测或意图理解等)。简单而言,生理计算进行 AI 识别和检测人类状态的数据来源和指标是生理反应(包括自主神经生理反应和中枢神经生理反应)。另外,生理反应不仅可以通过直接采集生理数据进行分析,也可以基于视频图像等其他模态的数据进行分析(例如,通过视频图像分析血氧浓度、心率、呼吸等生理反应)。
情感计算是针对人类情绪情感状态进行识别检测,并进行情感交互的研究领域。情感计算采用的数据来源和指标非常丰富,涵盖人类情绪情感表现的各方面,其中既包括上面提到的自主神经系统和中枢神经系统的生理反应,也包括面部表情(含微表情)、眨眼和眼睛注视、身体姿势姿态表情、语言语音和艺术作品,其中语言也包括语言内容和文字表达(例如,对微博文本的情感分析),艺术作品则涉及对绘画和照片等艺术作品中色彩和线条等图像信息的情感分析。
对人类认知状态进行识别和理解的研究在人工智能和神经工程领域已经有 30 多年的历史。近10 年来,随着脑电( electroencephalography , EEG )、功能性磁共振成像( functionalmagneticresonanceimaging , fMRI )、脑磁图技术(magnetoencephalography , MEG )等认知神经科学研究方法越来越普及,对大脑的神经生理活动的解码和识别分析也越来越受到研究者的关注。但是由于 fMRI 和 MEG等脑成像技术的设备庞大、数据采集成本高昂、数据处理复杂、难以实现在线即时的数据处理和结果反馈,因此这些技术在人机交互领域尚未有应用。其中, EEG 设备相对比较便携、数据采集成本较低,可以实现快速的数据处理和分析,在人机交互和脑机接口领域得到广泛的应用。在人机交互领域,被监测和识别的认知状态主要包括注意水平、认知负荷和交互意图。交互意图主要包括运动行为意图和基于言语的人机对话意图,以及其他特定领域的交互意图,例如,搜索引擎系统需要考虑用户的检索行为意图。注意水平和认知负荷的监测通常使用自主神经生理反应和 EEG ,以及眼动数据,因此也属于生理计算的范畴。
从上面的介绍中可以看出,生理计算领域强调的是数据来源为人体生理反应,生理计算的计算目标可能是基本的生理状态,也可能是情绪或认知状态。而情感计算和交互意图理解领域强调的是计算目标是识别情感或交互意图,数据来源可能是生理数据,也可能是表情、动作等行为数据。这三个研究领域的关系如图 12.1 所示。
02、生理计算
生理计算是借助多种可穿戴计算技术,用户无须主动执行人机交互任务的一种人机交互模式(王宏安,田丰,戴国忠, 2011 )。传统的人机交互中,用户与计算机之间的信息流是不对称的,用户可以查询计算机内部进程的大量数据(例如内存使用、磁盘空间等),而计算机完全无法获知用户的心理意图和情感体验(Fairclough , 2017 )。但是,通过对用户的心理和生理反应进行持续监控,可以促进实现信息流对称的人机交互方式,信息同时从计算机流向用户,从用户流向计算机(Fairclough , 2017 )。
通过生理计算技术,即使在用户没有发出明确指令或操作行为的情况下,计算机也可以对任务上下文和用户意图进行推测,使计算机可以持续、动态地监测用户,从而表现出一定程度的智能水 平(Fairclough , 2017 ),使人与计算机之间的信息交互变得更加流畅自然。
1. 生理计算的兴起与研究现状
2002 年,在人机交互领域最重要的国际会议 ACM ConferenceonHumanFactorsinComputingSystems ( CHI2002 )举行期间,召开了一场以“生理计算”为主题的小规模研讨会,这次研讨会的主题涉及情感计算、人因学、交互艺术和虚拟现实等,标志着生理计算正式诞生。 2009 年,英国利物浦约翰摩尔大学 Stephen H.Fairclough 教授在文章中指出了生理计算领域亟须解决的 6 个基本问题(Fairclough , 2009 )。第一,心理生理推论的复杂性:某些生理反应是否可以准确和敏感地反映某种心理特质或者心理维度。第二,心理和生理学推论效度的验证:如何有效地诱发参与者某种特定的心理或情绪状态,以此建立生理指标与心理状态之间的映射。第三,智能系统如何表征用户的心理和生理状态:采用连续维度还是离散分类的表征形式,多维度的信息如何表征。第四,用户自我觉知的心理状态与系统基于心理和生理数据生成的心理状态表征之间如果出现差异,系统该如何处理这种差异。第五,长期暴露在生理计算系统中可能会对用户的心理健康造成影响。第六,生理计算系统面临的伦理问题:如何保护用户的隐私。
目前的生理计算系统可以分为两大类(Fairclough , 2017 )。第一类主要通过辅助人们的感觉运动系统拓展人们的身体结构和机能。例如,通过脑机接口(brain-computerinterface , BCI )采集大脑皮层的脑电活动,或者通过肌电(electromyography , EMG )监测肌肉活动以实现对手势模式的识别,以此分析用户的操作意图,实现用户对计算机系统的某种控制和操作,还有通过眼动追踪技术用于计算机光标的控制和其他输入操作。这类研究也属于交互意图理解研究领域。第二类生理计算系统与用户的内在心理状态的感知相关。这类生理计算系统通过自适应的方式对源自中枢神经系统或外周神经系统的心理和生理数据进行监测和响应,以此来刻画用户的心理和生理状态,例如愤怒、悲伤或恐惧,或与心理负荷相关的认知活动变化,例如疲劳或紧张。其设计理念是为适应用户心理状态的自发变化,如果用户感到沮丧,系统则可能会提供帮助;如果用户的认知负荷过重,系统则可以过滤传入的信息流。
2. 生理计算的生理心理基础
身体是一切心理和生理活动的生物学基础。目前,心理学界普遍认为心理现象与躯体和大脑中发生的生理生化事件密切相关。与情绪情感状态和心智状态密切相关的生理基础主要包括 4 部分:自主神经系统的生理活动、中枢神经系统的生理活动、内分泌系统的生化反应和免疫系统的活动。这4 个系统在生理和心理状态产生过程中发挥作用的特点迥异,其测量技术和方法也各不相同,在生理计算和情感计算领域的应用价值也存在非常大的差异。
1 )自主神经系统自主神经系统(autonomicnervoussystem )又称植物性神经系统,是外周传出神经系统的一部分,调节内脏、血管平滑肌和腺体的活动,负责控制生命攸关的生理机能,包括心跳、呼吸、血管收缩、睡眠、消化和新陈代谢等功能。自主神经系统包括交感神经系统和副交感神经系统两部分,它们对内脏、血管和腺体保持着双重支配,发挥此消彼长、相互拮抗的作用。交感神经系统的活动主要保证人体在应激、紧张状态时的生理需要。副交感神经系统的作用与交感神经系统正好相反,主要保持身体在安静状态下的生理平衡,以节省不必要的能量消耗,抑制内脏器官的过度兴奋,使身体获得必要的休息。
自主神经系统与情绪情感和认知状态密切相关。通过测量自主神经系统生理反应可以在一定程度上反映个体的情绪和心理状态。自主神经生理反应指标主要包括心率(heartrate )及心率变异性(heartratevariability )、脉搏( pulse )及血管容积( vascularspace )、血压(bloodpressure )、皮肤电反应(galvanicskinresponse )、呼 吸 ( respiration )、皮 肤 温 度 ( skintemperature )、瞳 孔 大 小 (pupillarydilation )和眨眼( eyeblinks )等。这些指标可以方便地使用可穿戴式生理传感器采集。近年来,随着红外线传感技术和视频图像处理技术的发展,其中部分自主神经生理反应指标甚至可以通过非接触式的方式进行采集和分析,例如皮肤温度、呼吸、心率和血压。非接触式的生理信号采集方法摆脱了对目标用户身体的接触和约束,可以使用户产生更好的交互体验,同时为某些无法获得接触目标用户身体授权的特殊应用场景(例如,司法审讯、特殊场所监控)提供了便利。
2 )中枢神经系统
中枢神经系统的生理反应主要包括脑部的神经电活动(如 EEG )、由神经元放电引起的电磁变化(如 MEG )、血流量和血氧浓度变化(如 fMRI 和近红外光学成像技术)。正如在引言部分所述,由于测量中枢神经生理反应的技术都需要价格比较高昂甚至体积庞大的设备,而且这些设备需要接触目标用户的身体,或者将目标用户的身体置于设备之中,因此无法应用到需要进行即时交互的场景,但是可以应用于离线的场景,例如通过磁共振成像技术对某些神经或精神疾病进行预测或诊断。其中应用比较多的是 EEG ,因其价格相对比较便宜,设备体积较小,可以随身便携,并可以使用比较轻巧的少量电极片进行脑电采集,故已被广泛地应用于疲劳检测、特殊从业人员的心理和情绪状态监测、测谎、用户体验研究和其他人机交互领域。
3 )内分泌系统与免疫系统
内分泌系统指全身内分泌腺构成的系统,与情绪情感之间的关系非常紧密。内分泌器官出现病变会引起患者情绪状态的改变,甚至引发情感障碍。内分泌系统分泌的激素与情绪存在密切的关联,例如,应激事件会诱发负性情绪状态(如悲伤、愤怒或恐惧),并触发皮质醇释放(Baeetal., 2019 ),雌激素雌二醇水平与情绪和情绪调节能力都有密切关系 ( Chungetal. , 2019 ; Pace-Schottetal. ,2019 ),与抑郁症的发生也有密切的关系( Chungetal., 2019 ; Rehbeinetal. , 2021 )。
免疫系统是生物体执行免疫功能的重要系统,具有识别和抵抗病原体入侵的功能,与其他系统相互协调,共同维持体内生理平衡。心理神经免疫学研究表明,积极的心理事件和积极的情绪可以提升人体的免疫功能,而消极情绪与功能性免疫指标下降密切相关(Barcik , Chiacchierini , Bimpisidis , &Papaleo , 2021 )。另外,抑郁症与促炎细胞因子水平的增加有关,还有研究发现愤怒和敌意情绪与细胞免疫水平下降密切相关,社会评价和羞耻感的增加与皮质醇水平上升和促炎细胞因子水平的增加相关( Lopez , Denny , & Fagundes ,2018 )。
生理计算领域目前主要使用自主神经系统和中枢神经系统的生理反应指标进行人类状态识别。
虽然内分泌系统和免疫功能的很多生物化学指标都与人们的心理状态,尤其是情绪状态密切相关,但是由于这些指标的测量都需要通过采集唾液、血液或者尿液等体液,并使用专门的仪器设备进行离线的物质成分分析,不但成本高,而且耗时费力,所以这些指标通常应用于临床医学或临床心理治疗和研究领域,目前很少应用到生理计算和情感交互领域。但是,近年来,随着电子皮肤技术的发展,已经开发出使用复合材料的柔性可穿戴电化学传感器,能够提供超过 100 小时汗液生物标志物(葡萄糖、乳酸、尿酸、钠离子、钾离子和铵)的分析,具有很高的稳定性( Xu ,Song , Sempionatto ,etal.,2024 )。
虽然通过汗液无法提取前面提到的激素和细胞因子,但是可以通过汗液分析人体的代谢情况,进而分析内分泌和免疫系统的生物生化水平,对个体的心理健康和情绪状态进行识别和监测。另外,由于内分泌系统的激素水平和免疫系统的免疫水平变化是一个相对缓慢的过程,所以当人智交互系统需要实时分析个体的生理和心理状态变化时,虽然这些指标不能提供随情境变化而产生的即时变化,但是它们可以为 AI 系统提供个体的个性化交互背景信息,如用户长期的心境、心理和生理健康水平等信息。