十五、ResNet详解：从原理到实战

十五、ResNet详解：从原理到实战

15.1. ResNet简介与设计思想

15.1.1 深度网络的困境

在深度学习发展中，研究人员发现简单地增加网络深度并不总能带来性能提升。相反，当网络过深时会出现退化问题（Degradation Problem）：

• 训练误差和测试误差都随深度增加而增大
• 这不是过拟合（训练误差也在增加）
• 梯度消失/爆炸问题虽然通过BN层等方法缓解，但退化问题依然存在

15.1.2 残差学习的思想

ResNet（Residual Network）的核心创新是残差块（Residual Block），其基本思想是：

与其让网络直接学习目标映射H(x)，不如学习残差F(x) = H(x) - x，这样原始映射就变成了H(x) = F(x) + x

这种设计的优势：

• 恒等映射的捷径：如果某一层不是最优的，可以通过权重衰减使F(x)趋近于0，实现近似恒等映射
• 梯度直接传播：梯度可以通过shortcut connection直接反向传播，缓解梯度消失
• 易于优化：学习残差比学习原始映射更容