解读HRV与认知负荷
引言
随着ChatGPT爆火网络，人们开始意识到人工智能、机器学习、深度学习和自动化早已不再是未来的技术，这些技术已经开始在我们的工作、生活中发挥作用。一方面这些技术会提高我们工作的效率，一方面也在促使我们积极学习新技术，不断提高创新能力、高级决策能力和组织能力。而这些能力都依赖于认知功能。
我们的认知功能在一天之中总是波动的，会受到健康状况、情绪情感状态、压力条件、工作学习环境，或者是一些其他条件的影响，如工作量、时间压力、疲劳等。想要保持好的认知功能的第一步是对自身认知负荷状态的检测，甚至是预测，这样可以更好地帮助我们提前采取积极的调节措施，防止认知过载产生的消极影响。那我们又该如何做到呢？请您带着好奇，开始阅读这篇文章吧！
认知功能：指参与信息处理的心理过程，如注意力、工作记忆、决策和学习之间的操作和相互作用
1. 什么是HRV?
HRV(Heart Rate Variability)，中文翻译为“心率变异性”，是指相邻心跳或RR间隔之间的时间变化[1](参考图1)，单位是毫秒（ms），简单地说，HRV描述的就是心脏跳动的不规律性。
产生这种时间变化的原因是心脏窦房结的自主节律活动受到植物神经系统的交感神经和迷走神经、内分泌系统、中枢神经系统等的调节，所以HRV被用于对心跳间规律性变化的特征分析，以衡量两个连续心跳间期的快慢变化，反映了个体自主神经系统(ANS)的交感神经(SNS)、副交感神经(PNS)的灵活性和平衡性[2]。
具体HRV分析与常用指标可参考HRV分析与常用指标
健康的心脏拥有健康的“不规律”，因为它代表着较高的自我调节能力和对外部和内部刺激的适应性或弹性。在健康的状态下，交感神经系统和副交感神经系统是动态平衡的[3]。
当一个人面对压力源时（例如，过度的工作负荷，冲突的要求，紧迫的期限，工作不安全感等），交感神经系统可以动员机体的很多器官发挥功能，快速调整机体状态以适应环境突然发生的变化[4]。
交感神经系统的活动主要保证人体紧张状态时的生理需要，通常会使心率上升。交感神经较活跃时，HRV降低，代表身体处于紧张、兴奋、疲劳的状态;
副交感神经系统的活动则主要在于保护机体、休整恢复、促进消化、积蓄能量等方面，通常会使心率下降。副交感神经较活跃时，HRV升高，表示身体处于放松、休息的状态[5]。
较低的HRV意味着更高的焦虑、抑郁发病率风险和心血管疾病死亡率；拥有较高HRV的人，普遍具有更好的心血管功能和抗压能力[6]。
2. 什么是认知负荷？
认知负荷（Cognitive Load）是人因工程领域一项重要的研究课题，它一般可以描述为一个人的可用资源与任务所需资源的比率。可以理解为人在单位时间内的脑活动量、大脑资源占用率、人在工作中的心理压力或信息处理能力[7]。
研究表明，较高的认知负荷会造成快速疲劳、灵活性降低、应激反应、失误增加和挫败情绪，引起信息获取分析的失误和决策错误，因此是导致人因事故的重要原因，进而造成作业绩效下降。因此，认知负荷的识别变得非常重要[8]。
随着检测设备和机器学习技术的发展，认知负荷的监测在人机交互和被动脑机接口等领域都得到了广泛应用[9]。
在诸如飞机机舱、无人机控制系统、汽车驾驶舱这些目前认知负荷研究较多的人机系统中，虽然作业任务并非绝对单一的脑力任务，但肢体操作简单，而主要需要作业人员付出较高的注意力、处理用户接口的复杂信息、承受较高的心理压力、对环境变化做快速的决策和反应，因此在复杂环境下会造成较高的脑力负荷，这种施加在人思维意识中的负荷不仅会造成大脑中的生理活动变化，也会造成除大脑外的中枢神经系统和周围神经系统的电活动的变化及与神经系统活动相关的代谢等活动的变化，如脑电、心电、脑血氧、心跳、皮肤电阻抗等活动的变化[10-12]。这就使得基于生理信号实现认知负荷的监测成为可能。
3. 如何监测认知负荷？
认知负荷的测量方法可分为主观测量和客观测量。
主观测量
主观测量是基于操作者的感知感受和自评，采用类似美国国家航空航天局任务负荷指数（NASA_TLX）问卷来估计认知工作负荷。
ErgoLAB 主观人因专家测试系统，主要由标准化的问卷量表与行为实验构成。该模块实现自定义创建实验任务、标准化在线模板库、多终端收集认知行为数据、专业化测评报告、构建人员大数据与自动化动态常模等功能，可以用于人员信息调查、人员基础能力测评、能力训练与反馈、人员状态诱发、以及特殊领域的典型次任务等。
津发科技基础人因测试专家平台基于认知负荷测评包括：认知负荷测评NASA_TLX、主观负荷评估法SWAT等在内的8个专业测评工具，专门用于评估工作负荷。
客观测量
客观测量则是主要围绕着神经生理学、生理学和行为学的角度展开。
神经生物学
01fNIRS功能性近红外光谱技术：主要是基于近红外光检测被试执行任务时局部脑血流中脱氧血红蛋白和氧合血红蛋白的浓度变化，进而间接测量大脑的神经活动情况。
02脑电图EEG：大脑活动时产生的电信号，与我们的感知、记忆、情绪、语言、行动决策以及其他高级认知过程有着密切的关系，是意识产生的生物学基础。它可以反映大脑皮层不同区域的活动状态，可用于监测人的生理、心理状态以及不同功能脑区的交互模态。
生理学
常用的生理信号大致可分为几类，即心率、呼吸、肌电图和皮电。
前文介绍过HRV的生理机制，它是客观监测工作负荷的一种可行方法。HRV常用于应激、压力识别，主要是通过对人体的ECG心电信号与PPG脉搏波信号经过计算而提取出的定量化描述交感神经与副交感神经调控作用的数据指标。
HRV与认知负荷
研究表明，时域和频域分析中的某些指标与认知负荷有关。例如，时域分析中的标准差、均值等指标与认知负荷呈负相关，也就是说，认知负荷越高，HRV的时域指标越低。这可能是因为认知负荷的增加会导致自主神经系统的压力反应增加，从而降低HRV的水平。
而在频域分析中，研究表明，低频（LF）成分与高频（HF）成分的比值（LF/HF）也与认知负荷相关。当认知负荷增加时，LF/HF比值也会增加。这可能是因为LF成分反映交感神经系统的活动，而HF成分反映副交感神经系统的活动。在高负荷任务下，交感神经系统活动增加，从而导致LF/HF比值增加[13]。
总的来说，HRV的时域和频域分析都可以反映出认知负荷的大小和变化，但不同的指标可能反映不同的生理机制，因此需要综合考虑。
4. 应用与案例
HRV技术与设备发展
由于HRV技术得到了广泛的关注和研究，目前HRV从设备到技术有着以下变化趋势：
01硬件设备的进一步小型化和便携性的提高：近年来，HRV设备逐渐变得更加小型化和便携化，如ErgoLAB自研便携式生理信号采集设备（参照图4），使得HRV监测可以更加方便、实时和连续地进行。
02软件算法的进一步优化和发展：随着对HRV的深入研究，相关的软件算法也不断地进行优化和发展，如非线性动力学分析、人工神经网络、机器学习等，可以更加准确和细致地分析和解释HRV数据。
03HRV应用范围的扩大：除了传统的医学和心理学领域外，HRV技术在其他领域的应用也逐渐增多，如运动训练、睡眠监测、压力管理、生产力管理等。
04多模态数据采集和综合分析：HRV数据可以和其他生物信号数据结合使用，如脑电图、眼动信号、皮肤电反应等，以提高对个体生理和心理状态的综合理解和解释。
总结来说HRV的设备越来越精细便携、分析方法越来越准确细致，并且伴随着AI技术的发展，HRV对认知负荷将不再只是监测，而是可以越来越广泛应用到认知负荷评估、干预、预测、和个性化干预等各个环节，从而应用到各行各业，以下是一些利用HRV监测认知负荷的应用方向：
利用HRV监测认知负荷的应用
01工业生产：HRV被用于监测工业生产中的认知负荷，例如在高温、高海拔、高噪声和高压力环境下的操作员。
02交通运输：HRV可以用来监测司机、飞行员和船员等交通运输从业者的认知负荷水平。
03医疗保健：HRV可以用于监测医疗保健工作者的认知负荷水平，以及患者在接受治疗时的负荷水平。
04教育：HRV可以用于监测学生在学习过程中的认知负荷，以及帮助教育工作者调整学习环境和教学方法，以提高学生的学习效果。
05警察和安全保卫：HRV可以用于监测警察、安保人员和消防员等从业者在高压、高危环境下的认知负荷水平。
06体育训练：HRV可以用于监测运动员在训练和比赛中的认知负荷水平，以及帮助教练制定更科学的训练计划。
总之，利用HRV监测认知负荷的应用可以涵盖许多不同的行业和领域，这也证明了HRV在人类认知和行为研究中的重要性。
案例分享
随着技术和计算机科学的进步，HRV分析已经从传统的以解释为中心的统计模型转向更具有预测性的方法，使用HRV指数和机器学习技术的认知负荷检测的发展，在实验室和现场中都显示出中等到良好的准确性。
01利用心率变异性信号进行认知负荷检测的机器学习模型
(Nailul Izzah, Auditya Purwandini Sutarto.2022)
研究背景：这篇研究的不同在于——之前的研究大部分采用的多模态或多传感器的生理数据，或尽可能多的采集相关变量，再采用数据驱动的形式将多而全的数据输入训练模型，而本篇论文只用采集HRV的设备采集之前研究反复证实过的与认知负荷有显著性影响的指标，旨在证明HRV测量检测认知负荷或压力状态的潜力。
研究目的：旨在探索基于HRV的认知负荷机器学习分类模型，训练不同的模型对认知功能状态进行分类，并评估最佳模型的性能。主要贡献是证明了基于可穿戴传感器ECG的HRV测量具有检测认知负荷或压力状态的潜力。
实验设计: 参与者坐在15英寸的笔记本电脑屏幕前进行本次实验。通过让参与者保持静止5分钟来收集基线和恢复测量值。依次执行认知任务d2注意和特征切换任务。实验步骤为：基线测量（5min）---- 认知训练任务1-d2注意 & 认知训练任务2-任务切换（10-12min ）---- 休息（5min），参照图5。
选择性和持续性注意力任务：参与者必须在各种干扰物中扫描目标刺激。目标被定义为字母d和两个符号标记，符号可能位于该字母的上方或下方。共有14行，47个字母。参与者有20秒的时间消去每一行上尽可能多的目标符号，并在该在时间过去后立即移到下一行，测试时间大约为5分钟。
特征切换任务：参与者看到的屏幕上有10种颜色的形状、5种不同的颜色和5种不同的形状。每个物体与另一个物体只有一个相同的维度(颜色、形状或字母)。参与者被要求根据屏幕上方显示的形状、颜色或字母，在一个物体被圈出来后选择一个匹配的物体。在对象匹配成功后，要求参与者“切换”到不同的特征，尝试基于该特征匹配对象，然后返回到之前的特征。
实验结果：实验采用二分类法，时域选取HR、SDNN、RMSSD、pNN50，频域选取HF、LF、LF/HF指标输入模型。使用5种预测算法训练二元分类器:线性支持向量机(SVM)，核径向基函数SVM, Naïve贝叶斯(NB)，最近邻(kNN)和随机森林(RF)。实验结果表明，使用单一传感器模式时预测精度也是可以接受的，在0,607-0,620之间。此外，线性支持向量机对二分类效果最好。这些发现可以帮助我们从生理学--HRV的角度去理解和识别一个人当前的认知状态。
02基于多维信息特征分析的驾驶人认知负荷研究
而与这篇文章相对比，郑玲 、乔旭强在2021年发表的《基于多维信息特征分析的驾驶人认知负荷研究》中：
实验设计：基于跟驰场景的同认知负荷N-back次任务试验。
指标采集：采集了受试者的生理信号和车辆信号，结合NASA-TLX 主观评分，提出了基于多维信息特征融合的驾驶人认知负荷分类评估方法。
数据分析：采用 Pearson 相关系数去除强相关特征，降低数据维度，确定了 HRV、GSR 以及车辆特征指标。采用随机森林、神经网络以及支持向量机 3 种机器学习算法，对比研究了单一特征输入以及组合特征输入下的驾驶人认知负荷分类精度。
实验结果：参考图6——基于多维信息特征分析的驾驶人认知负荷研究的模型训练结果
研究表明：组合特征输入的分类精度显著高于单一特征输入的分类精度;以 HRV+GSR十车辆特征为输入随机森林算法以稳定性好、抗过拟合能力强的特点表现出优异的分类效果，其训练集的平均分类精度为 98.9%，高于支持向量机的 95.9%以及神经网终算法的 74.2%，其测试集的平均分类精度为91.8%,高于支持向量机的 86.8%和神经网络算法的 73.7%。
所以，结合这两篇研究我们可以发现，想要在真实作业场景中训练出准确率更高的认知负荷预测模型，可能仍需要结合更多的生理指标和环境数据。如您想要进行更深层次的研究，我们的平台不仅包含多种自研高精度便携生理信号采集设备，还支持多模态数据的人-机-环境数据的采集和分析，期待您与我们联系合作。
基于ErgoLAB人机环境同步测试云平台，HRV心率变异性数据可以与其他的多模态数据进行同步采集与分析研究，如眼动数据、表情数据、脑电数据、皮电数据、肌电数据、脉搏数据、人机交互数据以及主观问卷量表范式等。既可以大大节省我们实验的操作时间，同时还可以使得实验内容和结果更加科学化、丰富化。
参考文献
[1] Izzah, N., Sutarto, A.P., & Hariyadi, M. (2022). Machine Learning Models for the Cognitive Load Detection Using Heart Rate Variability Signals.
[2]Koch, C., Wilhelm, M., Salzmann, S., Rief, W., & Euteneuer, F. (2019). A meta-analysis of heart rate variability in major depression.Psychological Medicine, 49, 1948 - 1957.
[3]辛颖.(2021).“交感神经、副交感神经、迷走神经、植物神经”相关概念辨析.生物学教学(10),73-74.
[4]Rotenberg, S., & McGrath, J.J. (2016). Inter-relation between autonomic and HPA axis activity in children and adolescents.Biological Psychology, 117, 16-25.
[5]Kawano, H., Okada, R., & Yano, K. (2003). Histological study on the distribution of autonomic nerves in the human heart.Heart and Vessels, 18, 32-39.
[6]田建全,王洪芳 & 胡乃鉴.(2018).SPCS生物反馈训练在军人飞行员心理训练中的应用研究.人民军医(10),888-890.
[7]Wickens, C.D. (2002). Multiple resources and performance prediction.Theoretical Issues in Ergonomics Science, 3, 159 - 177.
[8]Wilson, G.F. (2005). Operator functional state assessment for adaptive automation implementation.SPIE Defense + Commercial Sensing.
[9]明东,柯余峰,何峰,赵欣,王春慧,綦宏志... & 陈善广.(2015).基于生理信号的脑力负荷检测及自适应自动化系统研究:40年回顾与最新进展.电子测量与仪器学报(01),1-13. doi:10.13382/j.jemi.2015.01.001.
[10]李京秀,章富君,刘娴 & 李学奇.(2021).心率变异性的机制及其与心血管疾病的相关性研究进展.实用心电学杂志(04),293-296. doi:10.13308/j.issn.2095-9354.2021.04.014.
[11]Koch, C., Wilhelm, M., Salzmann, S., Rief, W., & Euteneuer, F. (2019). A meta-analysis of heart rate variability in major depression.Psychological Medicine, 49, 1948 - 1957.
[12]Castaldo, R., Melillo, P., Bracale, M., Caserta, M., Triassi, M., & Pecchia, L. (2015). Acute mental stress assessment via short term HRV analysis in healthy adults: A systematic review with meta-analysis.Biomed. Signal Process. Control., 18, 370-377.
[13]Luque-Casado, A., Zabala, M., Morales, E., & Mateo-March, M. (2013). The relationship between HRV and cognitive performance in healthy subjects.International Journal of Psychophysiology, 89(3), 338-348.
[14]Izzah, N., Sutarto, A.P., & Hariyadi, M. (2022). Machine Learning Models for the Cognitive Load Detection Using Heart Rate Variability Signals.
[15]郑玲, 乔旭强, 倪涛, 杨威, & 李以农. (2021). 基于多维信息特征分析的驾驶人认知负荷研究.中国公路学报,34(4), 11.