简明 | ResNet特点、残差模块、残差映射理解摘要
Deep Residual Learning for Image Recognition
目录
ResNet特点
Residual残差模块
残差模块映射
实线残差模块
虚线残差模块
ResNet特点
- 使用BN（Batch Normalization）层加速训练，解决梯度消失/梯度爆炸问题
- 引入residual残差结构，减轻退化问题，可以搭建超深度网络结构(超1000层)。
Residual残差模块
残差神经网络实际存在两类残差模块（单元），姑且称为（实线）残差模块与虚线残差模块。
残差模块映射
残差模块包含两种映射，identity mapping和residual mapping，综合形成
identity mapping实际基于skip connection跳跃连接理论
residual mapping残差可以理解为，即
实线残差模块
左图模块用于浅层网络（ResNet34），右图模块用于深层网络（如ResNet101）
右侧模块中，能够减少参数和运算量，1*1的卷积和用于升维/降维。
输入channel为256的特征矩阵，左侧模块需要1170648个参数，右侧模块需要69632个参数。
虚线残差模块
左图模块用于浅层网络（ResNet34），右图模块用于深层网络（如ResNet101）
虚线残差结构在跳跃连接分支上加入1*1卷积核进行降维
注意虚线残差模块中各层步距stride与实线残差模块的区别