知识蒸馏：从软标签压缩到推理能力迁移的工程实践(基于教师-学生模型的高效压缩技术与DeepSeek合成数据创新)

知识蒸馏通过迁移教师模型（复杂）的知识到学生模型（轻量），实现模型压缩与性能平衡。核心在于利用教师模型的软标签（概率分布）替代独热编码标签，学生模型不仅学习到教师模型输出数据的类别信息，还能够捕捉到类别之间的相似性和关系，从而提升其泛化能力

---

核心概念

知识蒸馏的核心目标是实现从教师模型到学生模型的知识迁移。在实际应用中，无论是大规模语言模型（LLMs）还是其他类型的神经网络模型，都会通过softmax函数输出概率分布。

1. 软标签（Soft Labels）

   • 教师模型输出的softmax概率分布（非独热编码），包含类别间相似性信息。

   • 例：教师模型对“马”的预测为[0.554, 0.218, 0.228]，隐含“马”与“鹿”“牛”的特征关联。

2. 温度参数（Temperature Scaling）

   • 通过调节softmax的温度参数T，软化概率分布，放大次高概率信息。
   • 公式：
     $$\text{Softmax}(z_i/T)={\sum }_j\exp (z_j$$