【漫话机器学习系列】245.权重衰减（Weight Decay）
权重衰减（Weight Decay）详解 | L2正则化的奥秘
在深度学习和机器学习模型训练中，我们常常面临 过拟合（Overfitting） 的问题。
为了提高模型在未见数据上的泛化能力，正则化（Regularization） 技术应运而生。
其中，最常用的一种正则化方法就是——权重衰减（Weight Decay）。
本文将围绕权重衰减的概念、公式推导、作用机制以及应用场景进行详细讲解。
什么是权重衰减（Weight Decay）？
权重衰减，又叫作 L2正则化，本质上是在原始损失函数（Loss）中，添加一项关于模型参数（权重）大小的惩罚项。
简单来说，除了最小化预测误差之外，还希望模型的参数（即权重）本身不要太大。
这样做的目的，是避免模型过度依赖某些特征，提升模型的稳定性和泛化能力。
权重衰减的数学表达式
权重衰减的基本公式如下（也可以参考下方插图展示的内容）：
其中：
-
：原始损失函数（如均方误差、交叉熵损失等）
-
w：模型的权重向量
-
：权重向量的L2范数的平方
-
λ：正则化系数，控制惩罚项的强度（通常是一个很小的数，例如 0.001）
简要解释：
-
第一项是模型原本需要最小化的损失。
-
第二项是惩罚项，防止权重过大。
-
两项之和成为新的目标损失。
从直观上理解：
权重衰减会在优化过程中不断“拉回”权重，防止它们无限制地增大，从而控制模型复杂度。
图示解读
来看这张非常直观的手绘图示：
-
大标题：权重衰减（Weight Decay）
-
中间公式：
-
解释：
-
左侧蓝色部分是原本的损失函数。
-
右侧红色部分是新增的L2正则化惩罚项。
-
中间绿色箭头和橙色标注，明确指出了两部分各自的含义。
-
此外，图中也提到：“在回归中，L2正则化惩罚项的使用称为岭回归（Ridge Regression）”。
这强调了权重衰减在传统统计学习中的经典应用。
权重衰减的作用
权重衰减具有以下几大主要作用：
-
防止过拟合
减小权重，降低模型复杂度，使模型更好地在测试集上泛化。 -
提高数值稳定性
权重值过大容易导致梯度爆炸，权重衰减可以有效缓解这种情况。 -
提升训练速度
较小的权重可以让梯度下降法更快收敛。 -
提高模型鲁棒性
权重较小的模型通常对输入噪声更加不敏感，表现更稳健。
权重衰减与其他正则化的区别
| 项目 | 权重衰减（L2正则化） | L1正则化 |
|---|---|---|
| 惩罚项形式 | ||
| 权重效果 | 让权重接近0但不为0 | 让权重稀疏（部分变为0） |
| 应用场景 | 防止过拟合，控制模型复杂度 | 特征选择，提升模型可解释性 |
简而言之：
-
想让参数都尽量小：用L2正则化（权重衰减）
-
想让部分参数直接归零：用L1正则化
如何在常见框架中使用权重衰减？
在现代深度学习框架中，设置权重衰减非常简单。
比如在 PyTorch 中，只需要在优化器中设置 weight_decay 参数：
import torch.optim as optimoptimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=1e-4)
在 TensorFlow/Keras 中，也可以通过添加 L2正则化器（tf.keras.regularizers.l2）来实现。
总结
| 项目 | 内容 |
|---|---|
| 定义 | 在损失函数中增加权重平方惩罚项 |
| 目的 | 防止过拟合，提高泛化能力 |
| 数学表达式 | |
| 常见应用 | 深度学习模型训练、岭回归 |
权重衰减是一个简单但非常有效的正则化方法，尤其适合用来改善深度学习模型的训练效果。
掌握权重衰减的原理和使用方法，是迈向深入理解机器学习优化技术的重要一步！
参考资料
-
Deep Learning by Ian Goodfellow
-
李航《统计学习方法》
-
Chris Albon（数据科学家手绘笔记）
如果你喜欢这类直观易懂的机器学习内容，欢迎点赞、收藏、关注我！