Label Smoothing

一、核心作用

针对神经网络的 “过度自信” 问题，即模型易出现过拟合，通过调整标签降低模型对预测结果的确定性，提升泛化能力。

二、实现方式

1. 原始标签形式：采用 “硬标签”，如二分类任务中，猫的标签为（0,1），狗的标签为（1,0）。
2. 平滑后标签计算：通过公式将硬标签转换为 “软标签”，公式为 [原始标签值 × (1 - ε) + ε/ 类别数]（示例中 ε 取 0.1）。
3. 具体示例：原标签（0,1）平滑后变为 [0×(1-0.1)+0.1/2, 1×(1-0.1)+0.1/2] = （0.05, 0.95），避免标签非 0 即 1 的绝对化。

三、效果分析

使用 Label Smoothing 后，模型提取的特征簇呈现更优分布：

簇内特征更紧密，同类样本特征相似度更高。

簇间特征更分离，不同类别样本特征区分度更强。