社交距离调节下的情绪神经反应：基于360°视频的fMRI证据

摘要

刻板印象内容模型(SCM)指出，不同社会群体根据其被感知到的能力与热情度会引发不同的情绪反应。由于刻板印象与情绪状态之间存在这种关联，加之情绪又能有效预测群际行为，因此情绪评估在群际关系研究中具有重要意义。然而，传统的情绪评估方法主要依赖自我报告，而自我报告容易受到社会期望的影响，从而在即时情绪评估中存在一定的局限性。为此，本研究采用机器学习技术，通过功能磁共振成像(fMRI)来识别情绪相关的大脑活动模式，进而监测虚拟群际互动中的情绪反应。具体而言，本研究向芬兰多数群体成员展示了360度全景视频，视频中展示了本民族内群体成员与外群体成员逐步接近并进入参与者个人空间的场景。不同群体呈现出了不同的能力与热情度感知。与SCM理论一致，本研究结果显示，低能力-低热情度群体引发了蔑视与不适；而低能力-高热情度群体则同时引发了快乐和不适两种情绪反应。此外，当视频主角进入个人空间时，不同群体引发的情绪反应呈现差异化调节。这些发现表明，本研究方法可用于探索群际互动中情绪反应的时序动态特征。

引言

对不同社会群体成员的微妙情绪差异可能引发歧视性或亲社会行为，从而在塑造群体间关系中发挥重要作用。因此，研究群际接触中的情绪反应是制定应对偏见和歧视策略的关键步骤。传统的情绪评估方法存在自我评估的复杂性、回溯性报告偏差、情绪状态追踪困难等局限，尤其是当所测量的情绪被认为是社会不可接受时，这种偏差更为显著。本研究通过脑血流动力学活动评估情绪反应，采用机器学习技术分类情绪性大脑模式，进而识别模拟群际接触中的情绪状态。实验设计基于预测特定情绪反应的经典理论框架——刻板印象内容模型(SCM)。

根据SCM理论，社会态度基于对群体成员能力与热情度的二维感知，形成了四种主要的刻板印象：高能力-高热情(HC-HW)群体引发钦佩与自豪；低能力-高热情(LC-HW)群体引发怜悯与同情；高能力-低热情(HC-LW)群体引发愤怒与嫉妒；低能力-低热情(LC-LW)群体引发厌恶与蔑视。后续提出的BIAS图进一步将行为倾向(内群偏爱与偏见)和行为(亲社会行为与歧视)通过主动/被动伤害或促进与群际情绪相联结。例如被视为低能力-高热情度的残障群体，既会引发主动帮助行为(如慈善行为)，也会导致被动忽视(即缺乏对他们有利的政策制定的支持)。虽然SCM将特定情绪与刻板印象相关联，但它不能预测群际接触中情绪演变的时序特征。本研究提出的方法通过追踪情绪反应的时序演变，可为群际关系研究与情绪偏见调节提供新的视角。

情绪偏见与SCM的fMRI研究

既往关于偏见情绪的神经科学研究主要聚焦于共情与情绪评估相关脑区(如杏仁核和脑岛)，这些研究大多采用面部图片作为刺激材料。我们近期对87项研究的元分析发现，受试者对内群体成员的痛苦产生了更强的神经共情反应，而对外群体成员的面孔产生了更强的神经威胁反应。

尽管如此，已有部分研究通过脑成像技术对SCM的核心假设进行了验证。例如，低能力-低热情度群体存在去人性化表征(表现为内侧前额叶皮层激活降低，脑岛与杏仁核激活增强)。另一项针对社会乐观主义的研宄则发现了与SCM不同维度相对应的差异化脑激活模式。具体来说，当个体接触被感知为具有高能力-高热情的内群体成员时，与自我参照加工相关的脑区被显著激活；对低能力-高热情群体则观察到共情反应。此外，当接触被感知为低热情度的群体时，与刻板思维及社会分类相关的脑区被激活；而低能力-低热情群体则引发了脑岛的厌恶特征性激活。

传统的研究方法多依赖语义、想象或静态视觉刺激来激活社会刻板印象，这种范式必然聚焦于社会认知的抽象层面。然而，现实的群际接触多发生于面对面情境。虽然虚拟环境(沉浸式/非沉浸式)能提供更动态真实的群际互动模拟，但fMRI与虚拟环境整合的偏见研究仍属罕见。通过模拟群际接触中测量到的fMRI数据来识别情绪反应，可为情绪-刻板印象-偏见的关联提供新的见解。

多元模式分析与神经情绪模式

近年来，多元模式分析(MVPA)技术推动了脑情绪研究进展，该技术已被用于从fMRI数据中识别基本情绪与社会性情绪。使用电影片段、听觉叙事和想象任务作为情感分类刺激的研究表明，情绪模式分布在整个大脑，并且可以通过不同的刺激方式进行分类。利用连接网络特征可在独立样本中识别重叠情绪模式；效价与唤醒度等情感维度可通过逐体积元分类实现时序追踪。最新研究通过机器学习动态标记电影情绪内容，实现了基于刺激内容的情绪体验预测。但尚未有研究在模拟群际情境中追踪动态视频诱发的分类情绪状态，且MVPA在情绪评估中的应用仍有待探索。预测未标记刺激(无先验情绪配对)诱发的情绪状态是未来发展基于fMRI的情绪评估方法的必经之路。

本研究通过fMRI数据，追踪基于想象任务识别的神经情绪模式在模拟群际接触任务中的表现，检验这些“情绪指纹”模式是否与SCM预测的情绪一致(以理论预测情绪为参照)。本研究向芬兰大多数群体成员(芬兰白人)展示了360度视频，模拟他们与内群体成员(芬兰人)以及三类外群体成员(巴西人、俄罗斯人、索马里人)的接触场景。

此外，为了探究情绪反应随时间推移与空间距离的关系，视频中的主角先远距离站立，随后缓慢接近最终进入参与者的个人空间(最近距离时面部占据了屏幕80%的面积)。研究分为三部分：首先，通过在线调查将芬兰各族群按SCM分类，这些分类为fMRI实验中使用的刺激设计提供了依据。其次，建立能分类典型偏见相关情绪的“情绪定位器”(基于想象任务的fMRI数据训练)。最终，应用该定位器识别模拟群际接触中诱发的大脑情绪指纹模式。所有fMRI参与者均先后完成虚拟接触任务与想象任务。

材料与方法

在线调查

通过芬兰各大学邮件列表招募的180名参与者完成了在线SCM问卷调查(调查设计、实施及结果详见附录A)。该调查结果用于筛选出在芬兰社会背景下代表不同热情度与能力感知水平的四个种族：芬兰人、巴西人、俄罗斯人和索马里人。

参与者

在fMRI研究中，42名参与者(男性17人，女性23人，年龄21-54岁，平均30.4岁)完成了模拟接触任务，其中40人继续参与实验，并在另一天完成了想象任务(用于构建情绪定位器)。所有参与者均通过赫尔辛基地区大学邮件招募，且其父母均为芬兰人。所有参与者均为健康个体，视力正常或矫正至正常，实验前签署了书面知情同意书。研究方案经阿尔托大学研究伦理委员会审查批准。

fMRI实验设计

情绪定位器采用10s时长的想象任务作为刺激。参与者需在fMRI扫描期间自主唤醒14种不同的情绪(均与文献记载的刻板印象相关)。至少在测量前一周准备好任务材料。在分类任务中，每种情绪重复5次，共计2800个样本(5次重复×14种情绪×40名参与者)用于分类器训练。既往研究表明fMRI机器学习分类至少需要200-400个样本。

模拟接触任务采用35s的360度全景视频，呈现不同种族个体逐步接近并进入观察者个人空间的过程。相比静态图像，沉浸式全景视频能提供更自然真实的刺激体验。所有视频开头添加了一个短暂的镜头平移以提示虚拟空间环境。为了增强MRI设备中的沉浸感，本研究使用了3D打印的黑色框架来聚焦参与者的视线。每组(俄罗斯、索马里、巴西、芬兰)各10段视频。每位演员拍摄了5个不同的场景片段，片段采用不同的视频素材并改变了环境或背景。所有背景使用了绿幕技术，且背景均为灰色的空旷建筑空间。这些视频具有相同的剧情线：演员最初保持一定的距离，建立眼神接触后逐步接近直至进入个人空间，并在最后5s保持凝视。该设计通过持续缩小人际距离来模拟威胁感知。实验范式如图1所示。

图1.虚拟接触实验范式。

所有视频均由研究者拍摄和剪辑，并通过Presentation®软件(版本23.0，Neurobehavioral Systems, Inc., Berkeley, CA，http://www.neurobs.com)呈现。这些视频被投影到半透明的屏幕上，并通过一面镜子反射给参与者。扫描结束后，参与者再次观看每位演员的一段视频，采用1-7分量表评估14种SCM相关情绪的强度，并使用SCM问卷评价演员的能力与热情度。

MRI数据采集与预处理

使用配备30通道头部线圈的3T MAGNETOM Skyra扫描仪(Siemens Healthcare, Erlangen, Germany)采集fMRI数据。功能像采用T2*加权EPI序列(54层，TR=1.6s，TE=30ms，翻转角=70°，体素大小=3.0×3.0×3.0mm3，矩阵大小=256×256，FOV=512×512mm2)，结构像采用1.0×1.0×1.0mm3体素大小的T1加权MP-RAGE序列进行采集。使用fMRIPrep 23.2.0a2(基于Nipype 1.8.6)预处理数据：功能像经头动校正、空间滤波和时间层校正后，与T1像配准并计算混合时间序列，最终重采样至MNI152NLin2009cAsym标准空间。

情绪分类

采用跨被试分类策略以增强结果泛化性。使用TensorFlow/Keras构建分类器；Scikit-learn进行统计检验与交叉验证；Nilearn进行数据准备。全脑数据经标准空间重采样后应用灰质掩模。利用FreeSurfer对MNI152NLin2009cAsym模板分割后的灰质进行二值化，构建灰质掩模。然后，将掩模重采样至功能空间。每个样本包含30139个体素。分类使用想象任务10s洗脱期(washout period)的体积。BOLD信号经6s延迟校正后，对洗脱期间所有去趋势、Z标准化并去除头动/白质/脑脊液/全局信号干扰的体素进行平均，最后归一化至[0，1]范围以优化人工神经网络(ANN)的分类效果。使用单层神经网络，将垂直阵列中的所有体素作为输入，在输出层使用softmax激活函数。在训练过程中，使用Adam优化器和L1正则化。采用留一被试交叉验证来调整超参数，并评估分类器性能。使用随机初始权值进行交叉验证1000次，通过Bonferroni校正的t检验对全局和类别准确率进行阈值处理。为了进一步验证这些交叉验证结果，本研究使用5折交叉验证进行了1000次标签置换检验。

情绪脑模式

为证实情绪脑活动驱动了分类过程，本研究利用训练好的神经网络权重检验了每种情绪对应的模式特征。采用自助抽样法(bootstrap)对数据进行10000次迭代(有放回的抽样)以生成新样本，随后对所有样本权重进行逐体素t检验和Bonferroni校正，该方法用于验证模型的稳定性。使用相同方法进行ROI激活模式分析。此外，采用4mm半径球形探照灯和支持向量机分类器进行全脑探照灯分类(Nilearn工具包)。虽然探照灯方法能够识别包含组水平分类关键信息的脑区，但识别特定的体素需要额外的分析。

情绪反应预测

使用全部数据训练的人工神经网络(ANN)预测视频观看时的情绪状态，该网络采用了与交叉验证相同的超参数设置。本研究采用10s滑动窗口(W1-W8，50%重叠)分析模拟接触视频不同时段的fMRI信号。每个10s数据块采用与训练情绪定位器相同的预处理流程。由于视频引发的真实情绪状态未知，本研究选择softmax输出的概率向量而非特定类别作为定位器输出。训练和预测过程均采用随机初始权值重复执行1000次。然后对各样本概率向量进行平均，并且将其阈值设定在高于随机水平。使用Kruskal-Wallis检验(因概率向量呈非正态分布)分析各情绪/时间窗的组间差异，采用Dunn检验进行事后多重比较，并对所有类别、情绪、时间窗的结果进行Bonferroni校正。

结果

SCM问卷调查与后测问卷的详细结果见附录A和D部分。基于这些结果，本研究将芬兰人(高热情/高能力)、俄罗斯人(低热情/中能力)、巴西人(高热情/中能力)和索马里人(低热情/低能力)确定为实验范式中的目标群体。后测问卷结果显示，fMRI研究的参与者对选定群体的热情度和能力感知与SCM调查结果基本一致。参与者对芬兰人、巴西人和索马里人的感知与调查结果相符，但对俄罗斯人的热情度和能力水平评分均低于调查结果。

情绪分类

本研究训练了一个人工神经网络(ANN)来对14种通常与偏见相关的情绪进行分类。使用优化的ANN，所有14种情绪的分类准确率均显著高于随机水平(p＜0.001)，所有分类准确率均采用留一法交叉验证计算。全局准确率为28.7%，随机水平为7.14%，各情绪分类准确率范围为13.42%至51.92%(钦佩21.29%，愤怒27.28%，恼怒14.54%，怜悯17.57%，轻蔑19.70%，不适24.55%，厌恶49.49%，嫉妒34.15%，恐惧51.92%，快乐47.40%，怨恨14.43%，尊重22.26%，悲伤42.96%，同情14.99%)。

尽管所有情绪的分类准确率都高于随机水平，但本研究仍选择从中排除准确率低于15%的情绪。这样做是因为本研究旨在预测第二个数据集中的情绪反应，因此分类准确率至关重要。通过去除准确率较低的情绪，整体分类性能也有所提高。此外，由于怜悯和同情是非常相似的情绪，并且在分类中经常混淆(14种情绪的混淆矩阵见图2B)，本研究决定保留更容易识别的那种情绪。经过这一筛选过程后，ANN被训练用于分类11种情绪。

图2.情绪分类结果。

这11种情绪的分类准确率和混淆矩阵如图2所示。第二种分类的全局准确率为35.54%，随机水平为9%，各情绪分类准确率如下：钦佩22.96%，愤怒35.75%，怜悯22.3%，轻蔑25.91%，厌恶50.90%，不适28.91%，嫉妒35.40%，恐惧54.04%，快乐46.55%，尊重23.99%，悲伤44.24%。所有分类准确率均显著高于随机水平(p＜0.001)。第二种分类器采用五折1000次标签置换检验，准确率为86%(p=0.001)。

情绪脑模式

本研究采用自助法检验来探索11种情绪的预测权重分布情况。预测权重的可视化被广泛用于展示哪些脑区对成功分类更重要。对11种情绪均始终显示显著权重(p＜0.001，经Bonferroni校正)的脑区包括：额中回、扣带回、额上回、小脑、顶下回、中央前回、楔前叶、颞下回、颞中回和颞上回等。通过探照灯分析，本研究还确定了对所有11种情绪分类最重要的体素。最显著的体素分布在楔前叶、内侧前额叶皮层、角回、颞中回和枕中回等脑区。

情绪反应预测

本研究使用训练好的ANN来预测参与者在模拟接触任务中的情绪状态，采用50%重叠的滑动时间窗来分析任务的不同时刻。每种情绪的预测概率经过随机水平阈值化和方差分析后，将每种情绪在每个时间窗的阳性预测百分比绘制成热图(见图3)。

图3.A)预测每个群体的情绪。颜色表示每种情绪在每组所有阳性预测情绪中所占的百分比。B)视频情节中事件的时间分布及各时间窗划分说明。

结果显示了一些跨群体类别的共同模式。例如，在所有群体和时间窗中，厌恶是最常被预测的情绪，其次是快乐。恐惧情绪随着时间变化呈现出相似的模式：在初始时间窗增加，然后轻微下降，随着主角接近参与者又继续增加。虽然其他情绪也随时间变化，但它们未呈现出明显的共同模式。

为了分析不同群体在虚拟接触中引发的情绪反应差异，本研究使用了Kruskal-Wallis检验，对比结果见图4。值得注意的是，大多数显著性差异集中在第二个时间窗W2，之后大多数显著性差异消失，只有少数差异在W5、W6和W7时间窗(当主角接近参与者时)仍然显著。差异最显著的群体是索马里人，其次是巴西人，而与俄罗斯人的接触没有显示出任何显著差异。

图4.不同类别间情绪和时间窗阳性预测数量对比的显著结果。

从上述结果可以看到，在W1时间窗(对应接触描述和最初5s)，与芬兰人的接触比与索马里人的接触引发更多悲伤；在时间窗W2(对应接触开始10s)，与芬兰人和俄罗斯人的接触比索马里人引发更多悲伤，与巴西人的接触比索马里人引发更多快乐，与索马里人的接触比巴西人和芬兰人引发更多不适和轻蔑；在W5时间窗(当主角开始走向参与者时)，芬兰人比巴西人引发更多悲伤；此外，巴西人在W5和W6时间窗比索马里人引发更多不适；最后，在W7时间窗(当主角最接近参与者时)，巴西人比芬兰人引发更多快乐。

结论

综上所述，本研究方法能够识别在与不同刻板印象群体成员接触时记录数据中的情绪指纹特征(基于SCM模型)，并进行时间追踪。结果部分验证了SCM模型的预测，表明在与不同刻板印象群体接触时，情绪反应确实存在差异。此外，本研究还发现群体刻板印象会同时引发多种情绪，这些情绪似乎受到与群体成员之间人际距离的调节。因此，本研究方法在情绪偏见研究中具有广泛的应用前景，因为它提供了比传统方法更多的信息。例如，本研究发现在群际接触过程中，情绪偏见反应的动态变化存在两个关键时刻：初始反应可能由刻板印象驱动，并随着时间的推移逐渐消退，而情境因素(如主角的接近行为)则推动了后续情绪反应的变化。

参考文献：Gloria Mendoza-Franco, Inga Jasinskaja-Lahti, Matthias B. Aulbach, Ville J. Harjunen, Anna Peltola, J. Niklas Ravaja, Matilde Tassinari, Saana Vainio, Iiro P. Jääskeläinen, Fingerprint patterns of human brain activity reveal a dynamic mix of emotional responses during virtual intergroup encounters, NeuroImage, Volume 310, 2025, 121129, ISSN 1053-8119, https://doi.org/10.1016/j.neuroimage.2025.121129.

小伙伴们关注茗创科技，将第一时间收到精彩内容推送哦～