体系结构论文（六十七）：A Machine-Learning-Guided Framework for Fault-Tolerant DNNs

A Machine-Learning-Guided Framework for Fault-Tolerant DNNs DATE 2024

研究动机

深度神经网络（DNN）虽然对某些扰动具有天然的容错性，但在面对硬件故障（如软错误、老化、环境干扰等）时，仍会出现输出错误。而常见的容错手段如**三模冗余（TMR）或错误更正码（ECC）**成本过高，特别是在面对大型神经网络时。因此，该研究旨在：

• 识别 DNN 中对故障更敏感的关键参数；

• 在保障准确性的同时，以更低成本进行选择性加固。

提出的方法框架

Step I：统计性 Fault Injection（FI）

• 对 DNN 各层的权重进行随机比特翻转注入；

• 用少量注入实现高置信度的关键性评估；

• 作为后续机器学习训练的样本来源。

Step II：关键性预测（ML-based Criticality Prediction）

• 使用**随机森林（RF）与均衡随机森林（BRF）**等分类模型；

• 输入特征包括比特位位置、符号、所在层等；

• 预测未注入部分的参数或比特是否“关键”；

• 用户可根据所能容忍的准确率下降（如0.5%~10%）定义“关键”的标准。

Step III：选择性加固（Selective Hardening）

• 仅对预测为“关键”的参数使用 Hamming ECC；

• 非关键部分不做保护，以此减少内存与硬件开销；

• 引入一个“关键性签名表”记录每个参数是否需要保护，并对其自身进行加固防止篡改。

所提方法的整体框架

论文提出的机器学习引导容错框架分为三个步骤：

 Step I：统计性故障注入（Statistical Fault Injection, FI）

• 目的：通过模拟比特翻转来评估神经网络权重的脆弱性；

• 策略：不是进行全面注入，而是只对部分参数位注入，通过统计手段（控制置信区间与误差范围）来评估；

• 实验设置：

  • 故障类型：单粒子翻转（SEU，非破坏性软错误）；

  • 目标：LeNet-5 与 ResNet-18 的权重参数；

  • 注入次数：LeNet-5 共注入约 29 万次，ResNet-18 共注入 210 万次；

  • 容忍误差：99%置信度，误差 <1%。

【Table I 】Fault Injection Results

该表展示了注入后的参数按“容忍精度下降”所划分的“可接受”（Acceptable）和“关键”（Critical）比例：

模型/编码	FP32 精度下降0.5%	FxP32 精度下降0.5%	FxP16 精度下降0.5%	FxP8 精度下降0.5%
LeNet-5	1.77% 的位是关键	0.79%	0.29%	0.30%
ResNet-18	8.44% 的位是关键	4.62%	4.44%	4.22%

📌 结论：

• 固定点格式（FxP）的容错能力 远优于浮点格式（FP32）；

• 容错能力提升的原因是：FxP 的数值范围更窄，因此位翻转不容易产生“异常值”；

• 容忍精度下降越多，关键位所占比例越少。

 Step II：机器学习预测参数关键性（ML-based Prediction）

• 训练数据：来自 Step I 中的 FI 结果；

• 目标：预测所有参数（包括未注入的）中哪些是“关键的”；

• 输入特征：

  • 被注入的位在权重中的位置；

  • 位的符号（正负）；

  • 所属网络层；

  • 受影响的输出特征图与滤波器通道；

• 使用模型：

  • 随机森林（Random Forest, RF）

  • 平衡随机森林（Balanced RF, BRF），应对类别不平衡问题；

• 评估方式：10折交叉验证，训练集/测试集比例为70%/30%；

• 输出指标：

  • ROC AUC：越接近1表示分类越准确；

  • 四类预测情况：TP、FP、FN、TN。

【Table II 】ML-based Fault Prediction Model

以 LeNet-5 / FP32 / 容忍精度下降0.5% 为例：

| 真正关键 | 预测正确 (TP) = 1.73% | 被误判为可接受 (FN) = 0.03% | | 真正可接受 | 预测正确 (TN) = 98.16% | 被误判为关键 (FP) = 0.06% |

结论：

• ROC AUC 均 > 0.99，说明整体预测非常准确；

• RF 对类别不平衡敏感，会高估“可接受”；

• BRF 减少了误判为“可接受”的关键位，但也会误把一些“可接受”当作“关键”保护，增加了额外成本（但不影响功能，仅增加硬件资源消耗）；

• 用户可在鲁棒性与代价之间权衡选择。

Step III：选择性加固（Selective Hardening）

• 原则：只对预测为关键的参数加 ECC；

• ECC 类型：Hamming ECC（单比特纠错）；

• 存储设计：

  • 引入“关键性签名表”：每个参数是否需要加固，用一个比特记录；

  • 该签名表也用 ECC 加固，以防自身出错。

【Table III 】Memory Overhead Comparison

编码	全保护（AP）	仅保护关键参数（CP）	签名区（Sign.）	节省开销（Gain）
LeNet-5 FP32	18.75%	9.926%	3.125%	节省约 30.4%
LeNet-5 FxP32	18.75%	0.740%	3.125%	节省约 79.4%
ResNet-18 FxP8	50.00%	2.476%	12.5%	节省约 70.0%

 结论：

• 选择性加固策略在 固定点格式中尤为有效，节省内存开销显著；

• 即使考虑“签名表”的存储成本，整体依旧有极大压缩优势。