【DL学习笔记】损失函数各个类别梳理

1、分类任务 损失函数

• 交叉熵损失函数（Cross Entropy Loss）
  • 信息量、熵、交叉熵、相对熵/KL散度、交叉熵损失函数
  • 二分类 ： 二分类交叉熵损失函数 Binary Cross-Entropy
  • 多分类 ： 多分类交叉熵损失函数 Categorical Cross-Entropy
  • Focal Loss： 优化版的交叉熵损失函数， 用于解决难/易分类样本数量不均衡的问题（一般用于二分类）

2、回归任务 损失函数

• 均方误差 MSE （Mean Squared Error）
• 平均绝对误差 MAE （Mean Absolute Error）

3、目标检测任务损失函数

目标检测任务的损失函数 主要由 类别损失（Classification Loss） 和 定位损失（Bounding Box Regression Loss） 两部分构成，一般还包括 类别与定位联合损失 （Classification & IoU joint Loss）

类别损失

• 交叉熵损失（Cross Entropy Loss）
• Focal Loss（2017）

定位损失 ：

• SmoothL1 Loss

• IoU Loss（2016 ACM）

• GIoU Loss（2019 CVPR）

• DIoU Loss（2020 AAAI）

• CIoU Loss（2020 AAAI）

• EIoU Loss 与 Focal - EIoU loss（2021 arXiv）

• Alpha IoU loss（2022 NeurIPS）

• SIoU Loss（2022 arXiv）

• WIoU Loss

• shape IoU loss（2024 arXiv）

• DFL : Distribution Focal Loss

类别与定位联合损失 / 定位质量损失

• QFL : Quality Focal Loss（2020）
• VFL ：Varifocal Loss（2021）