Weight decay 和 L2 Regularization

Weight Decay

weight decay是在参数更新规则中直接衰减权重即 $\theta \leftarrow (1-\eta \lambda )\theta$
其核心思想在于对权重进行缩放，强制衰减。

L2 regularization

L2正则则是在损失函数上添加一项$\frac{\lambda }{2}||\theta |{|}^2$，其思想是通过优化带正则项的顺势函数，间接限制权重大小。

异同

两者在SGD算法中在形式上是等价的
这是由于L2正则的梯度刚好等于使用权重衰减的内容
L2正则的梯度
$$\begin{gathered} {\nabla }_{\theta }(L_{data}+\frac{\lambda }{2}||\theta |{|}^2)={\nabla }_{\theta }{L}_{data}+\lambda \theta \\ {\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }(L_{data}+\frac{\lambda }{2}||\theta |{|}^2) \\ =(1-\eta \lambda ){\theta }_t-\eta {\nabla }_{\theta }{L}_{data} \end{gathered}$$
这和权重衰减在形式上完全一致

而在使用其他优化器如Adam、RMSProp、AdaGrad时，由于对学习率进行了缩放，所以两者并不一样。