网站建设的技术方案模板下载seo网络推广课程
一、 核心压缩与优化技术详解
1. 知识蒸馏：智慧的传承（Knowledge Distillation, KD）
-
核心思想：“师授徒业”。训练一个庞大、高性能但笨重的“教师模型”（Teacher Model），让其指导训练一个轻量级的“学生模型”（Student Model）。学生模型学习模仿教师模型的输出行为（预测概率分布），而非仅仅学习原始数据的硬标签。
-
关键机制：
-
软标签（Soft Targets）：教师模型对输入样本预测的概率分布（如softmax输出）包含了比“正确/错误”硬标签更丰富的知识（如类间相似性、模型置信度）。
-
蒸馏损失（Distillation Loss）：学生模型的目标函数通常结合：
-
KD Loss：衡量学生输出概率分布与教师输出概率分布的差异（常用KL散度）。 -
Student Loss：衡量学生输出与真实
-
-