Google机器学习实践指南（逻辑回归损失函数）
🔥 Google机器学习(25)-逻辑回归损失函数
Google机器学习(25)-逻辑回归损失函数
一、损失函数详解
▲ 对数损失函数
公式：
Loss = -[y·log(y’) + (1-y)·log(1-y’)]
特点：
- 惩罚错误分类（预测概率偏离真实标签）
- 凸函数保证全局最优解
- 输出值范围：[0, +∞)
▲ 图1 不同训练时间下的损失变化
▲ 平方损失函数（L2 Loss）
公式：
Loss = (y - y')²
特点：
- 对称惩罚预测偏差（离真实值越远惩罚越大）
- 处处可导便于梯度计算
- 对离群值敏感（平方放大误差）
- 输出值范围：[0, +∞)
▲逻辑回归
-
逻辑回归模型会生成概率。
-
对数损失函数是逻辑回归的损失函数。
-
逻辑回归被很多从业者广泛使用
二、正则化
1. 正则化类型
正则化在逻辑回归建模中极其重要。因为没有正则化的情况下，逻辑回归会不断促使损失在高维度空间内达到 0。
大多数逻辑回归模型会使用以下策略之一来降低模型复杂性：
| 类型 | 公式 | 作用 | 适用场景 |
|---|---|---|---|
| L1正则化 | λΣ|w| | 产生稀疏权重 | 特征选择 |
| L2正则化 | λΣw² | 限制权重幅度 | 防止过拟合 |
| 早停法 | - | 提前终止训练 | 计算资源有限 |
▲ 图2 不同正则化权重的对损失影响
三、Python实战示例
# 导入库
from sklearn.linear_model import LogisticRegression
from sklearn import datasets# 加载数据
iris = datasets.load_iris()
X = iris.data[:, [2,3]] # 选择花瓣长度和宽度
y = iris.target# 创建模型（带L2正则化）
model = LogisticRegression(C=1000.0, # 正则化强度的倒数random_state=0, # 随机种子penalty='l2' # L2正则化
)# 训练模型
model.fit(X, y)
# 技术问答 #
Q：何时不宜使用平方损失？
A：数据含大量离群值时建议改用Huber损失
Q：为什么回归问题常用平方损失？
A：其解等价于最大似然估计下的最优解