【论文阅读】Decoupled Knowledge Distillation
摘要:最先进的蒸馏方法主要基于从中间层蒸馏出深层特征,而 logit 蒸馏的重要性则被大大忽视了。为了提供研究 logit 蒸馏的新观点,我们将经典的 KD 损失重新表述为两部分,即目标类知识蒸馏 (TCKD) 和非目标类知识蒸馏 (NCKD)。我们实证调查并证明了两部分的效果:TCKD 传递了有关训练样本“困难”的知识,而 NCKD 是 logit 蒸馏起作用的突出原因。更重要的是,我们揭示了经典的 KD 损失是一个耦合公式,它 (1) 抑制了 NCKD 的有效性,并且 (2) 限制了平衡这两个部分的灵活性。为了解决这些问题,我们提出了解耦知识蒸馏 (DKD),使 TCKD 和 NCKD 能够更高效、更灵活地发挥作用。与基于复杂特征的方法相比,我们的 DKD 在 CIFAR-100、ImageNet 和 MS-COCO 数据集上取得了相当甚至更好的结果,并且在图像分类和目标检测任务上具有更好的训练效率。本文证明了 logit 蒸馏的巨大潜力,希望对未来的研究有所帮助。
参考链接
论文
代码
Decoupled Knowledge Distillation论文阅读+代码解析