【论文阅读】基于表面肌电信号的下肢多关节运动估计：一种深度卷积神经网络方法

sEMG-based multi-joints motion estimation of lower limb utilizing deep convolutional neural network

原文： DOI: 10.1109/RCAR54675.2022.9872282

2022

翻译：靠岸学术

目录

1绪论

2实验与方法

A. 表面肌电信号采集

B. 信号处理

C. 模型建立

D. 模型评估

3结果与分析

A. 基于表面肌电信号的单关节角度估计

B. 基于表面肌电信号的多关节角度估计

4结论

---

摘要

The accuracy of the motion intention recognition is the security guarantee of human-machine interaction (HMI) control for lower limb rehabilitation exoskeleton (LLRE). Therefore, to advance the precision of the multi-joint motion intention recognition, the multi-channel surface electromyography (sEMG) signals of the subject with cycling and walking are collected, and the signals are processed with reasonable processing methods in this paper. Then, the deep convolutional neural network (CNN) model is constructed based on the processed sEMG signals to estimate the multi-joint angle of the lower limb. The feasibility and efficiency of the developed CNN model in the field of intention recognition of the lower limb multi-joint motion are verified by experimental simulation. Furthermore, compared with CNN model, the conventional backpropagation neural network (BPNN) model and radial basis function neural network (RBFNN) model, which demonstrates that the estimation accuracy of the developed CNN model is better than that of classical BPNN and RBFNN, and the root mean square errors (RMSE) of hip, knee and ankle joints estimated by utilizing CNN model are 3.8886◦, 2.8199◦ and 3.1148◦, respectively. It proves that the proposed CNN model can effectively recognize the motion intention of the lower limb multi-joint, which provides a theoretical basis for the research on HMI control of the LLRE.

运动意图识别的准确性是下肢康复外骨骼(LLRE)人机交互(HMI)控制的安全保障。因此，为了提高多关节运动意图识别的精度，本文采集了受试者在骑自行车和行走时的多通道表面肌电(sEMG)信号，并采用合理的处理方法对信号进行处理。然后，基于处理后的sEMG信号，构建深度卷积神经网络(CNN)模型来估计下肢的多关节角度。通过实验仿真验证了所开发的CNN模型在下肢多关节运动意图识别领域的可行性和效率。此外，与CNN模型相比，传统的反向传播神经网络(BPNN)模型和径向基函数神经网络(RBFNN)模型表明，所开发的CNN模型的估计精度优于经典的BPNN和RBFNN，利用CNN模型估计的髋关节、膝关节和踝关节的均方根误差(RMSE)分别为3.8886◦、2.8199◦和3.1148◦。证明了所提出的CNN模型能够有效地识别下肢多关节的运动意图，为LLRE的人机交互控制研究提供了理论基础。

1绪论

根据柳叶刀在2019年对1990年至2017年中国居民死亡原因的分析，得出的结论是中风是中国人生命损失的首要原因[1]。因此，如果对下肢部分运动功能障碍和中风患者未及时进行康复治疗，下肢的运动功能可能会完全丧失[2]–[5]。与传统的康复治疗不同，下肢康复外骨骼（LLRE）在康复训练中更加灵活高效，临床已证实其可辅助患者重塑中枢神经系统，恢复正常的运动功能[6]–[8]。然而，在康复训练过程中，患者具有主动运动意图（AMI），这可能会导致人机对抗[9]–[11]。因此，为了给患者营造舒适安全的康复环境，研究和分析AMI是必不可少的。通常，可以通过利用基于机械信号或生理信号的适当算法来解码人体的AMI[12]–[14]。

与机械信号相比，生理信号能够以较小的信号延迟和较高的信息保真度直接反映人的运动意图。因此，生理信号常被用于意图识别，主要包括脑电图（EEG）、肌电图（EMG）和眼动电图（EOG）[15]–[17]。此外，表面肌电图（sEMG）信号包含丰富的人体运动信息，已成为运动意图识别中最受关注的研究重点[18]，[19]。目前，基于sEMG信号识别下肢多关节连续运动的方法主要有两种。一种方法是利用sEMG信号作为输入，基于人体生理模型建立关节动力学模型，从而识别人的运动意图[20]，[21]。例如，Ao等人提出了一个由sEMG信号驱动的HILL神经肌肉骨骼模型（HMM）和一个线性比例模型，实验结果验证了这两种控制模型都可以实时估计踝关节扭矩[20]。此外，Sun等人构建了一个基于HILL神经肌肉骨骼模型（HMM）和人机动力学的新型预测模型，并通过构建观测函数来消除累积误差，形成了一个闭环框架[22]。然而，人体生理模型是一个极其复杂的模型，包含大量的人体生理参数。这些参数必须在应用前进行有效识别，否则会严重影响意图识别的准确性[23]。另一种方法是直接构建sEMG信号与多关节连续运动之间的回归模型。例如，在[24]中，提出了一个高阶非线性模型来描述sEMG信号与下肢多关节角度之间的关系，并利用经典的反向传播神经网络（BPNN）模型来估计下肢的多关节角度。在此基础上，Tao等人提取了多通道sEMG信号的时域和频域特征，并利用主成分分析技术进行降维。并采用粒子群优化（PSO）优化的BPNN来估计下肢的多关节角度[25]。此外，Liu等人提出了一种新型的投影递归神经网络（PRNN），并构建了一个基于下肢动力学和HMM的闭环状态空间模型来估计膝关节的角度，有效地消除了累积误差[26]。

随着人工智能的发展，深度学习的研究引起了广泛的关注 [27]，[28]。卷积神经网络（CNN）是一种典型的深度学习算法 [29]。然而，CNN模型通常被用于图像检测和运动模态分类领域 [30]–[33]。例如，Shen等人利用CNN模型基于多通道sEMG信号对多种手部运动进行分类 [29]。Bao等人利用CNN模型获取sEMG信号的深度特征，并利用长短期记忆（LSTM）模型进行回归处理，以有效估计腕部运动学 [30]。令人惊讶的是，在目前的研究中，CNN模型很少被用于下肢多关节连续运动的识别。

为了研究和探讨CNN模型在下肢连续运动意图识别领域（特别是多关节AMI识别）的可行性和有效性，本文开发了一种多输入多输出的CNN模型，用于识别下肢多关节的AMI。实验结果验证了所提出的CNN模型能够有效地估计下肢的多关节角度，并且其性能优于传统的BPNN模型和径向基函数神经网络（RBFNN）模型。本文的其余部分安排如下：第二节描述了实验的具体步骤，包括数据收集、处理和CNN模型的建立。第三节分析了实验结果，验证了所提出的CNN模型的可行性和优越性。第四节总结了本文的内容，并安排了未来的工作。

2实验与方法

A. 表面肌电信号采集

在本文中，有三名健康受试者参与实验，并且所有受试者都签署了知情同意书。每位受试者完成了两种类型的训练任务（自行车训练任务和步行训练任务），并且每种类型的任务都进行了三组实验。在实验过程中，七对Ag-AgCl电极放置在右肢的大腿和小腿上，对应于七块肌肉，即股二头肌（BF）、股直肌（RF）、缝匠肌（ST）、胫骨前肌（TA）、半膜肌（SM）、股外侧肌（VL）和腓肠肌内侧头（MG）。利用Biaopac系统（采样频率为2000 Hz）采集7通道sEMG信号用于实验研究。为了获得高质量和高信噪比的sEMG信号，电极之间的距离设置为20 mm。此外，在实验之前，对受试者的腿部进行清洁（去除毛发、去角质，并用75%的酒精消毒），以减少皮肤表面信号的干扰。同时，利用采样频率为100 Hz的IMU系统实时采集髋关节、膝关节和踝关节的角度。实验流程如图1所示。图1（a）显示了受试者坐在椅子上进行自行车训练任务。在初始状态下，受试者的大腿基本与地面平行，小腿与地面垂直。在听到指令后，受试者开始匀速运动，并通过Biopac和IMU系统实时记录多通道sEMG信号和下肢的多关节角度。为了防止受试者因疲劳引起的肌肉痉挛并影响实验结果，自行车训练任务分三组进行（每组8个周期），每组间隔2分钟休息。完成自行车训练任务后，受试者休息10分钟，并将新的电极重新放置在相应的肌肉上，开始步行任务。类似地，步行任务由三组组成，每组休息两分钟。图2和图3分别说明了通过Biopac系统和IMU记录的自行车训练任务中的多通道原始sEMG信号和下肢的多关节角度。可以观察到，采集到的原始sEMG信号随着自行车训练任务中下肢关节的运动呈周期性变化。特别是，RF、ST、VL和MG肌肉的sEMG信号更为明显，由此可以推断这些肌肉更有活力。值得注意的是，肌肉活动直接影响模型的准确性，也就是说，sEMG信号越强，角度估计越好。

B. 信号处理

考虑到在实验开始时噪声的干扰已被尽可能地降低，但噪声在采集过程中是不可避免的，这一点可以从图2中的原始sEMG信号中得到验证，这令人深思。因此，为了提高模型精度，必须对原始sEMG信号进行预处理。sEMG信号的主要能量集中在20-500 Hz，同时也受到运动单元点火率（点火频率范围为0-20 Hz）、设备固有噪声和基线噪声的干扰。本文采用带通滤波器消除直流偏置、基线噪声、高/低频噪声和运动单元点火率，采用陷波滤波器消除工业频率干扰。为了更清晰地突出幅度变化过程，采用全波整流方法进一步处理信号。此外，sEMG信号应在上述预处理操作后进行二次采样，这主要是由于关节角度（100 Hz）和sEMG信号（2000 Hz）之间的采样频率不一致造成的。最后，为了消除不同数据维度造成的误差，对处理后的sEMG信号和关节角度进行归一化。利用上述操作处理后的sEMG信号如图2所示。与图2和图4相比，处理后的sEMG信号更平滑，噪声更少，可以直接应用于该模型旨在提高模型准确率。

图1. 利用所开发的CNN模型估计下肢多关节角度的实验过程

图2. 骑行训练任务中采集的原始表面肌电信号。X轴为时间（s）；Y轴为表面肌电信号的幅度（mv）。

图 3. 在自行车训练任务中通过 IMU 采集的下肢多关节角度。

图 4. 自行车训练任务中处理后的 sEMG 信号。

C. 模型建立

卷积神经网络（CNN）是一种具有卷积结构的深度学习算法，它具有以下两个特点：1) 在同一层中，某些神经元之间连接的权重是共享的；2) 神经元的连接不是完全连接的。卷积结构可以有效地减少网络参数的数量，减少深度网络占用的内存量，并降低网络模型的复杂性。一般来说，CNN模型由输入层、卷积层、激活函数、池化层和全连接层组成。卷积层主要用于提取数据的特征，并通过卷积运算增强原始信号的某些特征，从而有效地降低信号的噪声和模型的复杂性。池化层是为了进一步压缩卷积层的输出，提取主要特征，从而简化模型。此外，为了加快模型的收敛速度，添加了批归一化层，并利用dropout层来缓解模型的过拟合。本文构建的CNN模型结构如图5所示。为了证明所开发的CNN模型在估计下肢多关节角度方面的有效性和优越性，利用Matlab 2019b进行实验仿真。具体的实验结果将在下一节中讨论。

图 5. 所提出的 CNN 的结构框图。

D. 模型评估

为了验证所提出模型的可行性和有效性，利用均方根误差 (RMSE) 和决定系数 (R2) 来量化模型的准确性。其中，RMSE 可以计算为

其中，Ω是样本总数，θia是IMU系统在第i个样本处采集的关节角度，θie是CNN模型在第i个样本处估计的角度。RMSE直接比较估计角度与实际角度，能够直观地反映模型的估计精度。此外，R2可以按如下方式计算：

其中，θa是由IMU系统采集的实际关节角度，θe是CNN模型的估计值，而Var(·)是样本的方差。与RMSE不同，R2对标签的数值范围更具鲁棒性[29]。R2越接近1，模型精度越好，而R2 < 0意味着模型误差高于目标值的方差。

3结果与分析

本节利用所提出的基于处理后的sEMG信号的CNN模型来估计下肢在自行车训练任务和步行任务中的单/多关节运动。值得注意的是，采集到的信号（sEMG信号和多关节角度信号）被分为训练集（4个周期）和测试集（4个周期）。此外，为了进一步证明CNN模型的优越性，将其与传统的BPNN和RBFNN进行比较。模型的准确性通过均方根误差（RMSE）和相关系数(R2)来量化，从而验证了本文开发的CNN模型的可行性和优越性。具体的实验结果如下。

图 6. 膝关节角度是通过利用所开发的 CNN 模型来估计的。

A. 基于表面肌电信号的单关节角度估计

为了验证所开发的CNN模型的可行性，将处理后的sEMG信号作为输入，以估计骑行训练任务和步行任务中的膝关节角度，估计结果如图6所示。可以得出结论，所构建的CNN模型能够准确估计膝关节角度，且估计误差小于6◦。为了更清楚地描述CNN模型在估计单关节角度方面的有效性，分别利用公式(1)和(2)计算了模型的估计RMSE和R2。在骑行任务中，CNN模型的估计RMSE和R2分别为2.8199◦和0.8450。在步行任务中，CNN模型的估计RMSE和R2分别为3.9491◦和0.7618。通过对估计结果的观察和分析，推断出CNN模型能够准确估计膝关节角度，即所提出的CNN模型可以用于更高精度的单关节运动意图识别，这为下肢多关节角度估计奠定了基础。

B. 基于表面肌电信号的多关节角度估计

前一节的实验证明，构建的CNN模型可以准确估计骑行和步行任务中的下肢单关节角度。为了进一步分析和验证所提出的CNN模型在估计多关节角度方面的有效性和优越性，本节还将处理后的sEMG信号作为模型输入，以估计下肢多关节的连续运动。此外，将CNN模型与经典的BPNN和RBFNN进行比较，以证明所开发的CNN模型的优越性。图7展示了在骑行训练任务中使用不同模型估计多关节角度的实验结果。此外，图8比较了不同模型估计多关节角度时所利用的RMSE和R2。观察和分析图7和图8，可以得出以下结论：1) 所提出的CNN模型可以有效地估计下肢的多关节角度，且误差较小，即每个关节的RMSE分别为3.8886◦、2.8199◦和3.1148◦；2) 与经典的BPNN模型和RBFNN模型相比，CNN模型具有最高的精度，即每个关节的R2分别为0.8450、0.8544和0.8471。这表明所提出的CNN模型可以基于sEMG信号有效地识别出人体的AMI，这为LLRE的HMI控制研究提供了一个新的思路。

图 7. 通过利用开发的 CNN 模型、BPNN 模型和 RBFNN 模型，结合自行车训练任务，对下肢的多关节角度进行估计。

图 8. CNN模型、BPNN模型和RBFNN模型的估计性能比较。

此外，对于步行任务，利用CNN模型、BPNN模型和RBFNN模型来估计髋关节、膝关节和踝关节的角度，并计算RMSE和R2，如表1所示。通过分析表1可以得出以下结论：1）对于步行任务，所提出的CNN模型可以有效地估计下肢的多关节角度，且RMSE较小，即髋关节、膝关节和踝关节的RMSE分别为2.3306◦、3.9491◦和4.2478◦。2）与BPNN模型和RBFNN模型相比，CNN模型的估计精度最高。例如，对于髋关节角度估计，与BPNN模型和RBFNN模型相比，CNN模型的RMSE分别降低了38%和28%，R2分别提高了37%和26%。此外，对于其他两个关节（膝关节和踝关节），与BPNN模型和RBFNN模型相比，CNN模型的估计精度也得到了提高。这证明了CNN模型比BPNN模型和RBFNN模型更适合估计多关节连续运动。3）与膝关节和踝关节相比，髋关节的估计误差最小，这是因为在步行过程中髋关节的运动范围相对较小。

表一 不同模型在步行训练任务中估计多关节角度的性能比较

4结论

本文建立了一种基于多通道表面肌电信号的卷积神经网络模型，用于估计下肢在骑行和步行任务中的多关节连续运动。为了证明该模型的可行性和准确性，采用了带通滤波和全波整流技术来消除原始表面肌电信号中的噪声。处理后的表面肌电信号被用作模型的输入，所提出的卷积神经网络模型被用于估计下肢在骑行和步行任务中的多关节连续运动。实验结果表明，所开发的卷积神经网络模型能够有效地识别出人体下肢多关节连续运动的意图，这为下肢康复机器人的HMI控制提供了理论基础和安全保障。

在未来的工作中，将进一步研究模型的输入，例如，sEMG信号的时域/频域特征对模型精度的影响。此外，考虑到实际康复训练环境中可能存在诸多不确定性，在非理想环境下对下肢运动意图的识别也将是后续研究的重点。