L1正则化与L2正则化的区别

L1正则化和L2正则化是机器学习中常用的两种正则化方法，用于防止模型过拟合。它们的区别主要体现在数学形式、作用机制和应用效果上。以下是详细对比：

1. 数学定义

• L1正则化（也叫Lasso正则化）：
  在损失函数中加入权重参数的绝对值之和，即 $\lambda \sum |w_i|$。
  公式：
  $Loss=Los{s}_{原始}+\lambda \sum |w_i|$
  其中 $w_i$ 是模型的权重参数，$\lambda$ 是正则化强度的超参数。

• L2正则化（也叫Ridge正则化）：
  在损失函数中加入权重参数的平方和，即 $\lambda \sum w_i^2$。
  公式：
  $Loss=Los{s}_{原始}+\lambda \sum w_i^2$

2. 几何解释

• L1正则化：
  在参数空间中，L1正则化对应一个菱形（或高维的绝对值约束）。优化时，损失函数的最优解倾向于落在菱形的顶点上，导致部分权重被精确地压缩到0，具有稀疏性。

• L2正则化：
  对应一个圆形（或高维球面约束）。优化时，权重倾向于均匀缩小，但不会精确到0，而是变得很小。

3. 作用效果

• L1正则化：

  • 倾向于产生稀疏解，即部分权重变为0。
  • 适合特征选择，因为它可以自动剔除不重要的特征。

• L2正则化：

  • 倾向于让所有权重变小但不为0，保持权重分布更平滑。
  • 更适合处理多重共线性（特征之间高度相关）的情况。

4. 计算复杂度

• L1正则化：
  由于绝对值函数不可导，优化时需要特殊的算法（如次梯度下降或坐标下降法），计算复杂度稍高。

• L2正则化：
  平方项是连续可导的，可以直接用梯度下降等方法优化，计算上更简单。

5. 应用场景

• L1正则化：

  • 当特征数量很多且你怀疑只有少部分特征重要时（如高维数据降维）。
  • 示例：Lasso回归。

• L2正则化：

  • 当所有特征都可能有贡献，但需要控制权重大小以避免过拟合时。
  • 示例：Ridge回归、神经网络中的权重衰减。

6. 组合使用

在实践中，L1和L2正则化可以结合使用，称为Elastic Net，公式为：
$Loss=Los{s}_{原始}+{\lambda }_1\sum |w_i|+{\lambda }_2\sum w_i^2$
这种方法兼具L1的稀疏性和L2的平滑性。

总结

特性	L1正则化	L2正则化
惩罚项	绝对值 $w$	平方 $w^2$
权重结果	稀疏（部分为0）	小但非0
几何形状	菱形	圆形
主要用途	特征选择	权重平滑、防止过拟合
计算难度	稍高	较低

简单来说，L1更像“选择性淘汰”，L2更像“整体削弱”。根据具体任务需求选择合适的正则化方法！