看AlexNet，ResNet，谈基础网络的进化特点
看AlexNet，ResNet，谈基础网络的进化特点
概述
在深度学习领域，基础网络（一般是network的BackBone）作为特征提取器，对检测模型的性能有着重大且基础的影响。卷积作为基础网络中的核心模块，其设计模式直接影响基础网络的性能。从AlexNet到ResNet的演进，展现了深度学习网络从简单堆叠到精细化设计的进化过程。
重复堆叠（Repeat）
在network初期在图像领域显威的时候，因其"黑盒子"属性，自然而然的想到通过堆积卷积块的方式提升网络提取特征的能力。代表网络AlexNet，使用了多层卷积堆叠的设计，开启了深层网络的争奇斗艳，同时也发现了一个问题，随着网络层数的增加，比如VGG式堆叠卷积（一种通过重复使用相同结构的卷积来构建深度卷积神经网络的设计方法，典型结构组成，2-3个3×3卷积层+ReLU组成，后接一个池化层，核心思想是看重深度大于宽度），并不能有效提升网络性能，反而导致性能下降。
在这个情况下，出现了各种手段提升网络性能：
- 引入ReLU激活函数替代Sigmoid，缓解梯度消失问题
- 采用局部响应归一化（LRN）增强特征区分度
- 使用Dropout防止过拟合
- 从梯度入手，通过Batch Normalization缓解梯度消失或者爆炸
然而这些改进虽然提升了训练稳定性，但都无法解决深层网络性能下降的根本问题。实验表明，56层的普通网络性能甚至不如20层的网络，这被称为"退化问题"（Degradation）。
跳跃连接(Skip-connection)
在堆叠的作用越来越有限甚至无效的情况下（Degradation），引入了残差模块，典型网络是ResNet。ResNet的创新在于：
- 将网络的学习对象从直接拟合映射函数（对全局的拟合）改为学习残差函数（对微小变化的拟合）
- 通过Skip-connection（跨层传递梯度）连接深层网络
- 使用恒等映射+加法连接作为跳跃连接方式，也即捷径（shortcut connection）
这种设计带来的优势：
- 解决了退化问题，使网络深度可以突破千层
- 训练误差随深度增加持续下降
- 在ImageNet上Top-5错误率降至3.57%
- 成为后续模型（如DenseNet）的基础设计范式
总结
基础网络的进化围绕特征提取和稳定训练进行，主要说明了2点：
-
纵然是network有黑盒子特性，但是设计和优化的方向依然要朝着精细化的方向走，也许现在它还是个黑盒子，但是未来可能未必，不被证明的东西未必不能走在应用前沿，毕竟实践了；
-
精细的改动会在模型领域得到较大的效果提升，ResNet通过残差学习这一看似简单的结构创新，解决了深层网络训练的世界性难题，证明了在深度学习领域，精巧的设计往往比盲目的堆叠更有效。