Softmax回归与单层感知机对比

(1) 输出形式

• Softmax回归
  输出是一个概率分布，通过Softmax函数将线性得分转换为概率：

  

  其中 KK 是类别数，模型同时计算所有类别的概率。

• 单层感知机
  输出是二分类的硬决策（如0/1或±1）：

  

  无概率解释，直接给出分类结果。

(2) 损失函数

• Softmax回归
  最小化交叉熵损失，鼓励正确类别的概率接近1：

  

  其中 yi,kyi,k​ 是样本 ii 的真实类别标签（one-hot编码）。

• 单层感知机
  仅惩罚误分类样本，损失函数为：

  

  更新规则为（仅对错误样本更新）。

(3) 优化目标

• Softmax回归
  直接建模多类别的概率分布，通过最大似然估计优化参数。

• 单层感知机
  寻找一个分离超平面，仅保证线性可分性（对线性不可分数据不收敛）。

(4) 应用场景

• Softmax回归
  多分类任务（如图像分类、文本分类），需概率输出时。

• 单层感知机
  二分类任务（如垃圾邮件检测），或作为神经网络的基础组件（但需配合非线性激活函数）。