二分类交叉熵损失

二分类交叉熵损失（Binary Cross-Entropy Loss）是用于二分类问题的常见损失函数。它衡量的是模型输出的预测概率分布与真实标签之间的差异。

1 二分类问题

在二分类问题中，每个样本的目标输出是 0 或 1，表示样本属于某一类或另一类。例如，假设我们有一个分类任务，模型的输出是某个样本属于类别 1 的概率 ：，而类别 0 的概率就是 。

2. 交叉熵损失公式

对于一个单独的样本，二分类交叉熵损失可以表示为：

其中：

y是真实标签，取值为 0 或 1。

是模型预测的类别 1 的概率，通常通过 Sigmoid 函数计算得到，输出的值在 [0, 1] 之间。

3. 损失函数解释

• 如果真实标签 y=1，则损失函数变为，即当预测的概率 越接近 1 时，损失越小，越接近 0 时，损失越大。

• 如果真实标签 y=0，则损失函数变为，即当预测的概率 越接近 0 时，损失越小，越接近 1 时，损失越大。

因此，二分类交叉熵损失的目标是：

• 如果真实标签是 1，模型要尽量预测一个接近 1 的概率。

• 如果真实标签是 0，模型要尽量预测一个接近 0 的概率。

4. 平均损失

对于多个样本，我们通常计算平均损失：

其中 N= 是样本的数量，是第 iii 个样本的真实标签，是第 i个样本的预测概率。

5. Sigmoid函数与交叉熵

在二分类中，通常我们先通过 Sigmoid 函数将模型的输出（通常是一个实数）转换为概率值 。Sigmoid函数的公式如下：