2.逻辑回归、Softmax回归

逻辑回归

逻辑回归其实并不是回归，而是一个分类算法
分类问题：邮件分类、图像识别、疾病诊断、文字情感分析、金融欺诈检测
根据历史数据，预测样本是属于哪个类别，通过数据拟合分界
主要用于二分类任务

逻辑回归公式
事实上是在多元线性回归的基础上做了e的指数变换

二分类损失函数——二分类交叉熵

逻辑回归可以解决多分类问题吗？
答：可以。对于多分类来言，事实上是多次二分类操作，这个过程叫OVR，将样本带入每个二分类模型，看哪个得到的概率大

Softmax回归

Softmax回归，针对多分类任务，采用的是Softmax函数
和逻辑回归处理多分类不同，Softmax并不是划分成多个二分类任务逐次求出，而是同时求出n个分界线
对比如下

Softmax回归公式
计算后，pi求和是等于1的，z部分的运算依然是多元线性回归的方法

逻辑回归：

Softmax回归