4.1卷积层

1.二维卷积层

我们通常在卷积层中使用更加直观的互相关运算。在二维卷积层中，一个二维输入数组和一个二维核数组通过互相关运算输出一个二维数组，卷积核窗口的形状取决于卷积核的高和宽；

在二维互相关运算中，卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。当卷积窗口滑动到某一位置时，窗口中的输入子数组与核数组按元素相乘并求和，得到输出数组中相应位置的元素 。

---

二维卷积层将输入和卷积核做互相关运算，并加上一个标量偏差来得到输出。卷积层的模型参数包括了卷积核和标量偏差。在训练模型的时候，通常我们先对卷积核随机初始化，然后不断迭代卷积核和偏差。

class Conv2D(nn.Module):def __init__(self, kernel_size):super(Conv2D, self).__init__()self.weight = nn.Parameter(torch.randn(kernel_size))self.bias = nn.Parameter(torch.randn(1))def forward(self, x):return corr2d(x, self.weight) + self.bias

2.卷积层应用：边缘检测

边缘检测:检测图像中物体的边缘，即找到像素变化的位置。首先我们构造一张图像，它中间4列为黑（0），其余为白（1）

x=torch.ones(6,8)
x[:,2:6]=0
print(x)K=torch.tensor([[1,-1]])Y=corr2d(x,K)
print(Y)

输出：

tensor([[1., 1., 0., 0., 0., 0., 1., 1.],[1., 1., 0., 0., 0., 0., 1., 1.],[1., 1., 0., 0., 0., 0., 1., 1.],[1., 1., 0., 0., 0., 0., 1., 1.],[1., 1., 0., 0., 0., 0., 1., 1.],[1., 1., 0., 0., 0., 0., 1., 1.]])tensor([[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.]])

可以看出，将从白到黑的边缘和从黑到白的边缘分别检测成了1和-1。其余部分的输出全是0。

---

通过数据学习核数组：

使用物体边缘检测中的输入数据X和输出数据Y来学习我们构造的核数组K。我们首先构造一个卷积层，其卷积核将被初始化成随机数组。接下来在每一次迭代中，我们使用平方误差来比较Y和卷积层的输出，然后计算梯度来更新权重

x=torch.ones(6,8)
x[:,2:6]=0
Y=torch.tensor([[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.],[ 0.,  1.,  0.,  0.,  0., -1.,  0.]])conv2d=Conv2D(kernel_size=(1,2))step=20
lr=0.01
for i in range(step):Y_hat=conv2d(x)l=((Y_hat-Y)**2).sum()l.backward()#梯度下降conv2d.weight.data-=lr*conv2d.weight.gradconv2d.bias.data-=lr*conv2d.bias.grad#梯度清0conv2d.weight.grad.fill_(0)conv2d.bias.grad.fill_(0)print('Step %d, loss %.3f' % (i + 1, l.item()))

3.互相关运算vs卷积运算

为了得到卷积运算的输出，我们只需将核数组左右翻转并上下翻转，再与输入数组做互相关运算。可见，卷积运算和互相关运算虽然类似，但如果它们使用相同的核数组，对于同一个输入，输出往往并不相同；

卷积层无论使用互相关运算或卷积运算都不影响模型预测时的输出。

4.特征图和感受野

二维卷积层输出的二维数组可以看作是输入在空间维度（宽和高）上某一级的表征，也叫特征图。

影响元素x的前向计算的所有可能输入区域（可能大于输入的实际尺寸）叫做x的感受野。

我们可以通过更深的卷积神经网络使特征图中单个元素的感受野变得更加广阔，从而捕捉输入上更大尺寸的特征。

5.填充和步幅

一般来说，假设输入形状是n_h×n_w，卷积核窗口形状是k_h×k_w

那么输出形状将会是(n_h−k_h+1)×(n_w−k_w+1).

所以卷积层的输出形状由输入形状和卷积核窗口形状决定。

（1）填充

填充是指在输入高和宽的两侧填充元素（通常是0元素）

一般来说，如果在高的两侧一共填充p_h行，在宽的两侧一共填充p_w列，那么输出形状将会是

(n_h−k_h+p_h+1)×(n_w−k_w+p_w+1),也就是说，输出的高和宽会分别增加p_h和p_w

在很多情况下，我们会设置p_h=k_h−1和p_w=k_w−1来使输入和输出具有相同的高和宽。这样会方便在构造网络时推测每个层的输出形状。

（2）步幅

卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。我们将每次滑动的行数和列数称为步幅;

一般来说，当高上步幅为s_h，宽上步幅为s_w，输出形状为[(n_h−k_h+p_h+s_h)/s_h]×[(n_w−k_w+p_w+s_w)/s_w].

如果设置p_h=k_h−1和p_w=k_w−1，那么输出形状将简化为[(n_h-1+s_h )/s_h]×[(n_w−1+s_w)/s_w].。更进一步，如果输入的高和宽能分别被高和宽上的步幅整除，那么输出形状将是(n_h/s_h)×(n_w/s_w)

6.多输入通道&多输出通道

（1）多输入通道

当输入数据含多个通道时，需要构造一个输入通道数与输入数据的通道数相同的卷积核，从而能够与含多通道的输入数据做互相关运算。、

由于输入和卷积核各有c_i个通道，我们可以在各个通道上对输入的二维数组和卷积核的二维核数组做互相关运算，再将这c_i个互相关运算的二维输出按通道相加，得到一个二维数组。这就是含多个通道的输入数据与多输入通道的卷积核做二维互相关运算的输出 。

（2）多输出通道

当输入通道有多个时，因为我们对各个通道的结果做了累加，所以不论输入通道数是多少，输出通道数总是为1。设卷积核输入通道数和输出通道数分别为c_i和c_o，高和宽分别为k_h和k_w。如果希望得到含多个通道的输出，我们可以为每个输出通道分别创建形状为c_i×k_h×k_w的核数组。将它们在输出通道维上连结，卷积核的形状即c_o×c_i×k_h×k_w。在做互相关运算时，每个输出通道上的结果由卷积核在该输出通道上的核数组与整个输入数组计算而来。