当前位置：首页 > news >正文

【漫话机器学习系列】142.Sigmoid 激活函数（Sigmoid Activation Function）

news 来源：原创 2025/5/2 6:59:18

Sigmoid 激活函数（Sigmoid Activation Function）是一种常见的非线性激活函数，数学表达式如下：

$\phi(x) = \frac{1}{1 + e^{-x}}$

该函数的值域介于 0 到 1 之间，因此在二分类任务中，它经常被用于神经网络的输出层，以表示某个类别的概率值。

Sigmoid 函数的导数计算如下：

$\frac{d\phi(x)}{dx} = \phi(x)(1 - \phi(x))dx$

这意味着导数值也依赖于函数的输出值，在接近 0 和 1 的区域时，梯度非常小，接近于 0。

二分类任务：
- 由于 Sigmoid 的输出范围为 (0,1)，可以将其理解为概率值。
- 例如，在二元逻辑回归（Logistic Regression）中，Sigmoid 用于计算类别 1 的概率：
  
  $P(y=1 | x) = \frac{1}{1 + e^{-(wx + b)}}$
- 当输出> 0.5 时，通常预测为类别 1，否则预测为类别 0。
神经网络的激活函数：
- 早期的神经网络模型，如 MLP（多层感知机），常用 Sigmoid 作为激活函数。
- 但由于梯度消失问题，在深度学习中，ReLU 逐渐取代了 Sigmoid。
概率预测：
- 在某些概率模型（如贝叶斯网络）中，Sigmoid 用于概率映射。

梯度消失问题：
- Sigmoid 的梯度计算公式为： $\phi(x)(1 - \phi(x))$
- 当 x 取值较大（正值或负值较大）时，梯度接近于 0，导致反向传播时权重更新缓慢，使得深层网络难以训练。
输出值非零均值：
- Sigmoid 的输出在 0 到 1 之间，非零均值会导致网络的输入分布偏移（偏置问题），影响模型收敛速度。
计算成本较高：
- Sigmoid 需要计算指数函数 $e^{-x}$ ，相比 ReLU 等线性分段激活函数，计算较为昂贵。

由于上述缺点，在深度学习中，Sigmoid 逐渐被 ReLU（Rectified Linear Unit） 和 Softmax 替代：

ReLU（Rectified Linear Unit）:
$f(x) = \max(0, x)$
具有更好的梯度传播特性，避免了梯度消失问题，因此被广泛应用于深度神经网络。
Softmax:
- 适用于多分类问题，它将输出值归一化为概率分布，使所有类别的概率和为 1：
  
  $\sigma(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}}$
- Softmax 常用于分类任务的输出层，如图像分类（Image Classification）。