论文精读：mmDrive: Fine-grained Fatigue Driving Detection Using mmWave Radar

论文概要

MMWave雷达传输了FMCW信号，该信号由驾驶员的身体反映并传播回雷达，进行处理以检测疲劳特征。 mmdrive可以将反射的信号与驾驶员的不同部位（即头部和胸部区域）区分开。 来自头部和胸部区域的信号的幅度和相位分别用于检测面部和生理特征。根据检测到的疲劳特征进一步开发了疲劳测定算法，以决定驾驶员的疲劳状态。

挑战： 第一个挑战源于驾驶员的正常活动，这些活动可能会干扰和混淆疲劳功能的检测。 打哈欠是一种慢速和低频运动，而口语涉及信号中更高频的变化；点头和头部摇动的频率也不一样，进而区分疲劳特征与其他活动。 第二个挑战在于精确提取微小的眼睛眨眼功能 闭着眼睛的眼球和睁大眼睛的眼球，会导致眼睛眨眼期间显着的信号振幅变化，可以从信号幅度观察到眼睛眨眼图案。

疲劳驾驶特征

疲劳驾驶特征分类： 面部特征：点头、打哈欠、眨眼、眼睑闭合持续时间（ECD）。 生理特征：呼吸、心跳。 特征对mmwave信号的影响： 点头：导致头部与雷达的距离发生变化，使头部range bin发生前后移动。 打哈欠：嘴部开合改变信号反射路径，使头部range bin的信号相位呈现上升、保持、下降的变化。 眨眼和ECD：眼睑闭合增加信号传播距离，使信号幅度出现下降脉冲，ECD则表现为幅度下降后保持一段时间再上升。 呼吸和心跳：使胸部区域信号相位呈现周期性变化，呼吸频率低于心跳频率。

上图描绘了驾驶员反射的雷达信号进行距离FFT后的信号幅度，不同的距离显示出两条亮线，分别对应于头部和胸部区域，因为胸部比头部离雷达更远。

特征对mmwave信号的影响

点头特征包括一个快速的头部向下运动，结合俯仰角可以计算出点头的距离变化Δd，可以从头部range bin的向前和向后移位中检测点头特征。

打哈欠时，口腔的张开可以将信号传播距离从2dmc增加到2dmo。检测上升沿和下降沿，并对信号相位中的持续时间进行计数，以检测打哈欠。

眼睑闭合与睁开的眼睛相比，眼睑的厚度引入了额外的信号传播距离2Δdlid，信号幅度中的向下脉冲为眨眼次数。当驾驶员闭上眼睛信号幅度将减小，并在较低水平停留一段时间。

呼吸和心跳时，胸部会在2Δdbreath和2Δdheart内引起信号传播距离的周期性变化，导致信号相位变化，可以进行频域分析以提取呼吸和心跳速率。

系统设计概述

信号预处理：从雷达信号中检测驾驶员的运动状态，并降低噪声。 身体区域分离：分离从不同身体区域反射的信号。 疲劳特征检测：检测点头、打哈欠、眨眼的存在，并估计眨眼率、ECD、呼吸率和心率。 疲劳测定：将检测到的特征输入到疲劳确定算法中以决定驾驶员是否处于疲劳状态。

疲劳特征检测方法

点头检测：跟踪头部range bin的变化，若其先减少后增加1-3个bin且无大体运动，判定为疲劳点头。

打哈欠检测：基于头部区域信号相位的上升和下降沿检测，计算导数并利用导数的急剧变化区分打哈欠和其他嘴部活动。若上升和下降沿之间的时间差在3-5秒范围内，则判定为打哈欠。

眨眼和ECD检测：利用信号幅度变化检测眨眼，计算幅度导数的相邻高低峰值判断眨眼次数和ECD。

呼吸和心跳检测：对胸部区域信号相位进行FFT，结合零填充和逆FFT等方法提高频率分辨率，准确估计呼吸和心跳率。

基于规则的疲劳判定算法：设定面部特征检测优先级，结合生理特征判断驾驶员是否疲劳。

基于学习的疲劳判定模型：训练SVM、KNN、NB、NN四种机器学习模型，输入六种驾驶员特征数据，比较准确率。

四种疲劳判定模型

支持向量机（SVM） 论文中将驾驶员的疲劳状态作为一类，非疲劳状态作为另一类，进行二分类。

K-近邻算法（KNN） 将驾驶员的特征数据（包括点头、打哈欠、眨眼率、ECD、呼吸率、心跳率等）作为数据点，构建多维空间。

朴素贝叶斯（NB） 将驾驶员的各类特征视为相互独立的变量，利用训练数据集估计每个特征在疲劳和非疲劳状态下的概率分布，根据训练数据集计算每个特征的均值和方差，用于后续的概率计算。

神经网络（NN） 构建了一个五层全连接的神经网络，输入层接收驾驶员的特征数组，经过加权求和和激活函数的处理，逐步提取更高级的特征表示，得到属于不同驾驶员状态的概率分布，概率最高的类别即为预测结果。

NN模型在两种数据集上均表现出较好的性能，具有较高的准确率和F1-score，表明其在疲劳判定任务中具有较好的泛化能力和适应性。然而，神经网络的训练过程相对复杂，需要较多的计算资源和数据。

评估方法和结果

实验设置：使用TI AWR1843BOOST毫米波雷达，在模拟和真实驾驶环境中进行实验，收集20名志愿者的数据。 评估指标：准确率、特异性、敏感性，平均绝对误差（MAE），平均误差（eECD），疲劳判定算法准确率。 驾驶员状态和区域检测性能：模拟和真实驾驶环境中，驾驶员运动状态检测准确率均超过93%，胸部区域检测准确率高于头部区域。

优势总结：mmDrive系统实现了基于毫米波雷达的非侵入式、细粒度疲劳驾驶检测，能准确检测多种疲劳特征并判断驾驶员疲劳状态。