当前位置：首页 > news >正文

损失函数（深度学习）

news 2025/10/10 11:24:37

一、交叉熵

1 二分类

在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为 $p_{i}$ 和 $1-p_{i}$ ，此时表达式为（log的底数是 e）：

$L=\frac{1}{N}\sum L_{i}=\frac{1}{N}\sum -[y_{i}log(p_{i})+(1-y_{i}) log(1-p_{i})]$

其中：
- $y_{i}$ —— 表示样本的label，正类为 1，负类为0 ;

- $p_{i}$ —— 表示样本预测为正类的概率.

from torch import nn 
import torch class CrossEntropyLoss(nn.Module):def __init__(self, weight=None, reduction="mean") -> None:super().__init__() self.loss_fcn = torch.nn.CrossEntropyLoss(weight=weight, reduction=reduction)def forward(self, pred, target):loss = self.loss_fcn(pred, target)return loss

2 多分类

多分类的情况实际上就是对二分类的扩展：

$L=\frac{1}{N}\sum L_{i}=\frac{1}{N}\sum_{i}^{} \sum_{c=1}^{M} -[y_{ic}log(p_{ic})]$

其中：M——类别的数量

$y_{ic}$ ——符号函数（0 或1 ），如果样本的真实类别等于 c取 1，否则取 0

$p_{ic}$ ——观测样本 $i$ 属于类别 c的预测概率

二、焦点损失函数

$L=\alpha _{t}(1-p_{t})^{\gamma }log(p_{t})$

引入了一个权重因子α ∈ [ 0 , 1 ] ，当为正样本时，权重因子就是α，当为负样本时，权重因子为1-α。

γ为一个参数，范围在 [0,5]，当 γ为0时，就变为了最开始的CE损失函数。

$(1-p_{t})^{\gamma }$ 是调制因子，可以降低易分样本的损失贡献，从而增加难分样本的损失比例。（解释）当Pt趋向于1，即说明该样本是易区分样本，此时调制因子是趋向于0，说明对损失的贡献较小，即减低了易区分样本的损失比例。当pt很小，也就是假如某个样本被分到正样本，但是该样本为前景的概率特别小，即被错分到正样本了，此时调制因子是趋向于1，对loss也没有太大的影响。

"""
以二分类任务为例
"""
from torch import nn 
import torch class FocalLoss(nn.Module):def __init__(self, gama=1.5, alpha=0.25, weight=None, reduction="mean") -> None:super().__init__() self.loss_fcn = torch.nn.CrossEntropyLoss(weight=weight, reduction=reduction)self.gama = gama self.alpha = alpha def forward(self, pre, target):logp = self.loss_fcn(pre, target)p = torch.exp(-logp) loss = (1-p)**self.gama * self.alpha * logpreturn loss.mean()