当前位置：首页 > news >正文

神经网络之激活函数Softmax

news 2025/10/6 6:14:07

🧠 一、设计动机：Softmax 为什么存在？

Softmax 的设计核心思想是：

将任意实数向量映射为一个概率分布，使得所有元素都为正，并总和为 1。

📌 背后的需求：

在多分类任务中，神经网络输出一个向量（logits），每个分量表示模型对某个类别的“评分”或“偏好”。
但我们希望模型输出的是每个类别的概率，因此需要一个转换机制：

$\text{从打分} \rightarrow \text{概率}$

Softmax 就是这个“打分转概率”的函数。

🔢 二、数学定义与形式

设输出层的未归一化向量为：

$\mathbf{z} = [z_1, z_2, ..., z_K]$

Softmax 输出：

$\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}} \quad \text{for } i = 1, ..., K$

✅ 特性总结：

特性	描述
非负性	所有输出 $∈(0,1)\in (0, 1)$
归一性	所有输出总和为 1，构成有效的概率分布
可导性	对每个输入 $z_i$ 都可微，有封闭形式的导数

🎲 三、Softmax 的概率解释

Softmax 实际上来源于统计物理中的Boltzmann分布，在信息论中可解释为：

给定一组能量值 $z_i$ ，我们希望获得每个状态被“选中”的概率。能量越低的状态越可能被选中。

在机器学习中：

$z_i$ 可以看作是某个类别的“置信评分”；
Softmax 将这些评分转化为概率，使得高评分的类别对应更高概率。

它是**最大熵原理（Maximum Entropy Principle）**在多类输出问题中的自然选择：
在满足均值约束下，Softmax 是熵最大的概率分布。

📈 四、Softmax 的导数与梯度结构

反向传播中，Softmax 的梯度结构是训练中的核心之一。

设：

$s_i = \text{softmax}(z_i)$

Softmax 的偏导数：

$$
\frac{\partial s_i}{\partial z_j} =
\begin{cases}
s_i (1 - s_i), & \text{if } i = j \

s_i s_j, & \text{if } i \ne j
\end{cases}
$$

这构成一个 Jacobian 矩阵 $J∈RK×K\mathbf{J} \in \mathbb{R}^{K \times K}$ ，其结构具有特殊性：

对角线为正（表示每个输出对自身的敏感性）；
非对角线为负（类别之间具有竞争关系）。

📌 这种“竞争机制”使得 Softmax 能捕捉类别之间的相对关系。

🔄 五、Softmax 与交叉熵的联合优化

通常，我们不单独使用 Softmax，而是配合 交叉熵损失函数（Cross-Entropy Loss） 一起使用。这有数学上的简洁性和数值稳定性的优势。

给定：

模型输出（logits）： $z\mathbf{z}$
Softmax 输出概率分布： $p=softmax(z)\mathbf{p} = \text{softmax}(\mathbf{z})$
真实标签 one-hot 向量： $y\mathbf{y}$

交叉熵损失为：

$\mathcal{L} = - \sum_{i=1}^K y_i \log(p_i)$

由于 $y_i$ 是 one-hot 的，这简化为：

$\mathcal{L} = -\log(p_{c}) \quad \text{（真实类别索引为 } c \text{）}$

🚀 联合梯度优势：

将 Softmax 和交叉熵一起考虑，其组合的梯度非常简洁：

$\frac{\partial \mathcal{L}}{\partial z_i} = p_i - y_i$

这意味着我们不必显式计算 Softmax 和 log 的导数 —— 框架如 PyTorch、TensorFlow 都进行了内建优化（nn.CrossEntropyLoss() 直接接收 logits）。

🧮 六、数值稳定性与实现技巧

由于 $e^{z_i}$ 的快速增长，Softmax 在实践中容易出现 overflow，导致 NaN 或 Inf。
为了解决这个问题，常用如下数值稳定技巧：

✅ 稳定 Softmax：

$\text{softmax}(z_i) = \frac{e^{z_i - \max(\mathbf{z})}}{\sum_j e^{z_j - \max(\mathbf{z})}}$

减去最大值不会改变输出结果（因为是比值），但能显著减小数值范围，提高稳定性。

🧠 七、为什么不用 Sigmoid？

Softmax 和 Sigmoid 有一定相似性，都是将输出映射为概率，但用途不同：

属性	Softmax	Sigmoid
输出总和是否为 1	✅ 是	❌ 否
类别是否互斥	✅ 是（多类选一）	❌ 否（可多标签）
应用层	多分类输出层	二分类输出，或中间层

当任务是 “从多个类中选一个”（如图像分类），使用 Softmax；
当任务是 “每个类都可能属于或不属于”（如多标签任务），使用 Sigmoid。