深度学习实战(基于pytroch)系列(六)softmax回归原理
softmax回归
- softmax回归原理
-
- 分类问题解析
- Softmax 回归模型详解
-
- Softmax函数定义
- 具体计算示例
- Softmax 运算原理
- 交叉熵损失函数
-
- 核心机制:负对数似然
-
- 1. 概率与损失的关系
- 2. 具体数值对比
- 实际计算示例
-
- 示例1:准确预测的情况
- 示例2:不准确预测的情况
- 输出结果对比:
- 数学原理深度解析
-
- 交叉熵的分解
- 梯度下降的推动力
- 批量数据的平均损失
- 模型预测与性能评估
softmax回归原理
线性回归模型主要解决输出为连续值的预测任务。然而在实际应用中,我们常常会遇到输出为离散值的问题,例如图像分类中的类别判断。针对这类离散输出问题,我们可以采用 softmax 回归等分类模型。与线性回归相比,softmax 回归不仅将输出单元从单个扩展为多个,还引入了 softmax 运算,使得输出结果更适用于离散值的预测和模型训练。
分类问题解析
让我们从一个简单的图像分类任务入手。假设输入图像尺寸为 2×2 像素,且为灰度图像。每个像素值可以用一个标量表示,我们将这四个像素依次记为 x 1 , x 2 , x 3 , x 4 x_1, x_2, x_3, x_4 x
