深度学习卷积层

分类猫和狗的图片

使用一个相机采集图片(12M像素), RGB图片有36M元素, 使用100大小的单隐藏层MLP, 模型有3.6B元素, 远多于世界上所有猫和狗总数(900M狗, 600M猫), 所以如果采用原始的MLP解决需要16亿的参数, 那么卷积神经网络提供了一个新的解决办法

两个原则

• 平移不变性: 不论分类是在那个地方看应当都是差不多的
• 局部性: 只需要观察一部分数据, 不需要观察全局的数据

全联接层到卷积层

1. 将输入和输出变形为矩阵(宽度, 高度)
2. 将权重变形为4-D张量(h, w), 到(h’, w’)
   $$h_{i,j}=\sum _{k,l}{w}_{i,j,k,l}=\sum _{a,b}{v}_{i,j,a,b}{x}_{i+a,j+b}$$
   $h_{i,j}$是输出, V是W的重新索引$V_{i,j,a,b}=W_{i,j,i+a,j+b}$

平移不变性

X的平移导致h的平移$h_{i,j}={\sum }_{a,b}{V}_{i,j,a,b}{X}_{i+a,j+b}$
V不应该依赖(i, j)
解决方案: $V_{i,j,a,b}=V_{a,b}$
$$h_{i,j}=\sum _{a,b}{V}_{a,b}{X}_{i+a,j+b}$$
这就是二维的交叉相关

局部性

$$h_{i,j}=\sum _{a,b}{V}_{a,b}{X}_{i+a,j+b}$$
当评估$h_{i,j}$时, 我们不应该用远离$X_{i,j}$的参数, 解决方案, 当$|a|,|b|>\Delta$时, 使得$V_{a,b}=0$
$$h_{i,j}=\sum _{a=-\Delta }^{\Delta }\sum _{b=-\Delta }^{\Delta }{V}_{a,b}{X}_{i+a,j+b}$$`