当前位置：首页 > news >正文

动手学深度学习13.10. 转置卷积 -笔记练习（PyTorch）

news 2025/8/8 8:24:27

以下内容为结合李沐老师的课程和教材补充的学习笔记，以及对课后练习的一些思考，自留回顾，也供同学之人交流参考。

本节课程地址：47 转置卷积【动手学深度学习v2】_哔哩哔哩_bilibili

47.2 转置卷积是一种卷积【动手学深度学习v2】_哔哩哔哩_bilibili

本节教材地址：13.10. 转置卷积 — 动手学深度学习 2.0.0 documentation

本节开源代码：…>d2l-zh>pytorch>chapter_optimization>transposed-conv.ipynb

转置卷积

到目前为止，我们所见到的卷积神经网络层，例如卷积层（6.2节）和汇聚层（6.5节），通常会减少下采样输入图像的空间维度（高和宽）。然而如果输入和输出图像的空间维度相同，在以像素级分类的语义分割中将会很方便。例如，输出像素所处的通道维可以保有输入像素在同一位置上的分类结果。

为了实现这一点，尤其是在空间维度被卷积神经网络层缩小后，我们可以使用另一种类型的卷积神经网络层，它可以增加上采样中间层特征图的空间维度。
本节将介绍转置卷积（transposed convolution） (Dumoulin and Visin, 2016)，
用于逆转下采样导致的空间尺寸减小。

import torch
from torch import nn
from d2l import torch as d2l

基本操作

让我们暂时忽略通道，从基本的转置卷积开始，设步幅为1且没有填充。
假设我们有一个 $nh×nwn_h \times n_w$ 的输入张量和一个 $kh×kwk_h \times k_w$ 的卷积核。
以步幅为1滑动卷积核窗口，每行 $n_w$ 次，每列 $n_h$ 次，共产生 $n_h n_w$ 个中间结果。
每个中间结果都是一个 $(nh+kh−1)×(nw+kw−1)(n_h + k_h - 1) \times (n_w + k_w - 1)$ 的张量，初始化为0。
为了计算每个中间张量，输入张量中的每个元素都要乘以卷积核，从而使所得的 $kh×kwk_h \times k_w$ 张量替换中间张量的一部分。
请注意，每个中间张量被替换部分的位置与输入张量中元素的位置相对应。
最后，所有中间结果相加以获得最终结果。

例如，图13.10.1 解释了如何为 $2×22\times 2$ 的输入张量计算卷积核为 $2×22\times 2$ 的转置卷积。

在这里插入图片描述

我们可以对输入矩阵X和卷积核矩阵K(实现基本的转置卷积运算)trans_conv。

def trans_conv(X, K):h, w = K.shapeY = torch.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))for i in range(X.shape[0]):for j in range(X.shape[1]):Y[i: i + h, j: j + w] += X[i, j] * Kreturn Y

与通过卷积核“减少”输入元素的常规卷积（在 6.2节中）相比，转置卷积通过卷积核“广播”输入元素，从而产生大于输入的输出。我们可以通过图13.10.1 来构建输入张量X和卷积核张量K从而[验证上述实现输出]。
此实现是基本的二维转置卷积运算。

X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)

tensor([[ 0.,  0.,  1.],[ 0.,  4.,  6.],[ 4., 12.,  9.]])

或者，当输入X和卷积核K都是四维张量时，我们可以[使用高级API获得相同的结果]。

# 增加批量大小和通道数，均为1
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)

tensor([[[[ 0.,  0.,  1.],[ 0.,  4.,  6.],[ 4., 12.,  9.]]]], grad_fn=<ConvolutionBackward0>)

[填充、步幅和多通道]

与常规卷积不同，在转置卷积中，填充被应用于的输出（常规卷积将填充应用于输入）。例如，当将高和宽两侧的填充数指定为1时，转置卷积的输出中将删除第一和最后的行与列。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)

tensor([[[[4.]]]], grad_fn=<ConvolutionBackward0>)

在转置卷积中，步幅被指定为中间结果（输出），而不是输入。使用图13.10.1 中相同输入和卷积核张量，将步幅从1更改为2会增加中间张量的高和权重，因此输出张量在图13.10.2 中。

在这里插入图片描述

以下代码可以验证图13.10.2 中步幅为2的转置卷积的输出。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, stride=2, bias=False)
tconv.weight.data = K
tconv(X)

tensor([[[[0., 0., 0., 1.],[0., 0., 2., 3.],[0., 2., 0., 3.],[4., 6., 6., 9.]]]], grad_fn=<ConvolutionBackward0>)

对于多个输入和输出通道，转置卷积与常规卷积以相同方式运作。假设输入有 $c_i$ 个通道，且转置卷积为每个输入通道分配了一个 $kh×kwk_h\times k_w$ 的卷积核张量。当指定多个输出通道时，每个输出通道将有一个 $ci×kh×kwc_i\times k_h\times k_w$ 的卷积核。

同样，如果我们将 $X\mathsf{X}$ 代入卷积层 $f$ 来输出 $Y=f(X)\mathsf{Y}=f(\mathsf{X})$ ，并创建一个与 $f$ 具有相同的超参数、但输出通道数量是 $X\mathsf{X}$ 中通道数的转置卷积层 $g$ ，那么 $g (Y)$ 的形状将与 $X\mathsf{X}$ 相同。下面的示例可以解释这一点。

X = torch.rand(size=(1, 10, 16, 16))
conv = nn.Conv2d(10, 20, kernel_size=5, padding=2, stride=3)
tconv = nn.ConvTranspose2d(20, 10, kernel_size=5, padding=2, stride=3)
tconv(conv(X)).shape == X.shape

True

[与矩阵变换的联系]

转置卷积为何以矩阵变换命名呢？让我们首先看看如何使用矩阵乘法来实现卷积。
在下面的示例中，我们定义了一个 $3×33\times 3$ 的输入X和 $2×22\times 2$ 卷积核K，然后使用corr2d函数计算卷积输出Y。

X = torch.arange(9.0).reshape(3, 3)
K = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
Y = d2l.corr2d(X, K)
Y

tensor([[27., 37.],[57., 67.]])

接下来，我们将卷积核K重写为包含大量0的稀疏权重矩阵W。权重矩阵的形状是（ $4$ ， $9$ ），其中非0元素来自卷积核K。

# 用矩阵乘法的话，Y=WX，其中Y的形状是4×1，W的形状是4×9，X的形状是9×1
def kernel2matrix(K):k, W = torch.zeros(5), torch.zeros((4, 9))# 原始卷积核K为2×2矩阵，将其展开为长度为5的向量# 中间位置k[2]置0可以视为卷积中的换行，避免加到卷积核之外的元素k[:2], k[3:5] = K[0, :], K[1, :]# 每行向右平移一位也是模拟了卷积核在输入上的滑动过程W[0, :5], W[1, 1:6], W[2, 3:8], W[3, 4:] = k, k, k, kreturn WW = kernel2matrix(K)
W

tensor([[1., 2., 0., 3., 4., 0., 0., 0., 0.],[0., 1., 2., 0., 3., 4., 0., 0., 0.],[0., 0., 0., 1., 2., 0., 3., 4., 0.],[0., 0., 0., 0., 1., 2., 0., 3., 4.]])

逐行连结输入X，获得了一个长度为9的矢量。然后，W的矩阵乘法和向量化的X给出了一个长度为4的向量。重塑它之后，可以获得与上面的原始卷积操作所得相同的结果Y：我们刚刚使用矩阵乘法实现了卷积。

Y == torch.matmul(W, X.reshape(-1)).reshape(2, 2)

tensor([[True, True],[True, True]])

同样，我们可以使用矩阵乘法来实现转置卷积。在下面的示例中，我们将上面的常规卷积 $\times 2$ 的输出Y作为转置卷积的输入。想要通过矩阵相乘来实现它，我们只需要将权重矩阵W的形状转置为 $(9, 4)$ 。

Z = trans_conv(Y, K)
Z == torch.matmul(W.T, Y.reshape(-1)).reshape(3, 3)

tensor([[True, True, True],[True, True, True],[True, True, True]])

抽象来看，给定输入向量 $x\mathbf{x}$ 和权重矩阵 $W\mathbf{W}$ ，卷积的前向传播函数可以通过将其输入与权重矩阵相乘并输出向量 $y=Wx\mathbf{y}=\mathbf{W}\mathbf{x}$ 来实现。由于反向传播遵循链式法则和 $∇xy=W⊤\nabla_{\mathbf{x}}\mathbf{y}=\mathbf{W}^\top$ ，卷积的反向传播函数可以通过将其输入与转置的权重矩阵 $W⊤\mathbf{W}^\top$ 相乘来实现。因此，转置卷积层能够交换卷积层的正向传播函数和反向传播函数：它的正向传播和反向传播函数将输入向量分别与 $W⊤\mathbf{W}^\top$ 和 $W\mathbf{W}$ 相乘。

补充：

转置卷积是一种卷积：

它将输入和核进行了重新排列
卷积一般是做下采样（即把输入的高和宽缩小），转置卷积通常是做上采样
如果卷积将输入从(h, w)变成了(h’, w’)，那么同样的超参数下，转置卷积可以再将(h’, w’)变成(h, w)
不同于数学上的反卷积（卷积的逆运算）：如果Y=conv(X,K)，那么X=conv(Y,K)

对2×2输入进行转置卷积，等价于对该输入进行转置卷积规则下padding与stride的0填充操作后，与行与列完全翻转的卷积核进行卷积。

在这里插入图片描述

转置卷积中的padding操作：将输入进行k-p-1圈的0填充（k=2为卷积核大小，p=1为步幅），k-p-1=0，所以输入未填充，再与行与列完全翻转的卷积核进行卷积。

在这里插入图片描述

转置卷积中的步幅stride操作：除了padding之外，将输入的行与列之间插入s-1的行或列（s为步幅），再与行与列完全翻转的卷积核进行卷积。

在这里插入图片描述

小结

与通过卷积核减少输入元素的常规卷积相反，转置卷积通过卷积核广播输入元素，从而产生形状大于输入的输出。
如果我们将 $X\mathsf{X}$ 输入卷积层 $f$ 来获得输出 $Y=f(X)\mathsf{Y}=f(\mathsf{X})$ 并创造一个与 $f$ 有相同的超参数、但输出通道数是 $X\mathsf{X}$ 中通道数的转置卷积层 $g$ ，那么 $g (Y)$ 的形状将与 $X\mathsf{X}$ 相同。
我们可以使用矩阵乘法来实现卷积。转置卷积层能够交换卷积层的正向传播函数和反向传播函数。

练习

在 13.10.3节中，卷积输入X和转置的卷积输出Z具有相同的形状。他们的数值也相同吗？为什么？

解：
卷积输入X和转置的卷积输出Z的数值不相同。因为转置卷积的核心目标是上采样，而非精确还原输入数值。其输出是输入特征的“近似展开”，数值差异反映了卷积过程中非线性激活、步长或池化等操作的信息损失。
从矩阵乘法的角度看，卷积可以表示为稀疏矩阵 $W\mathbf{W}$ 与输入向量 $X\mathbf{X}$ 的乘法（ $Y=WX\mathbf{Y} = \mathbf{W}\mathbf{X}$ ），而转置卷积通过 $WT\mathbf{W}^T$ 实现反向传播（ $Z=WTY\mathbf{Z} = \mathbf{W}^T\mathbf{Y}$ ）。虽然 $WT\mathbf{W}^T$ 是 $W\mathbf{W}$ 的转置，但 $WTW\mathbf{W}^T\mathbf{W}$ 并非单位矩阵，因此 $Z\mathbf{Z}$ 不等于原始 $X\mathbf{X}$ ，仅恢复形状而非数值。

X == Z

tensor([[False, False, False],[False, False, False],[False, False, False]])

使用矩阵乘法来实现卷积是否有效率？为什么？

解：
卷积运算的核心是输入数据与卷积核的滑动窗口乘积求和。以二维卷积为例，假设输入是 $\times W$ 的特征图，卷积核是 $\times K$ ，步长为1， padding为0，则输出特征图尺寸为 $\times (W-K+1)$ 。
矩阵化方法的核心是将输入数据转化为一个“滑动窗口矩阵”，再与卷积核展开的矩阵进行乘法：

输入矩阵化：将输入特征图中所有可能的滑动窗口（共 $\times (W-K+1)$ 个）按行展开，形成一个 $\times K^2$ 的矩阵（ $N$ 为窗口总数）。
卷积核矩阵化：将 $\times K$ 的卷积核展开为 $K2×1K^2 \times 1$ 的列向量。
矩阵乘法：两个矩阵相乘的结果即为卷积输出（需reshape为特征图尺寸）。

通过这种方式，卷积运算被转化为一次矩阵乘法（ $\times K^2$ 与 $K2×1K^2 \times 1$ 相乘）。因此矩阵乘法来实现卷积有如下优劣势：

优势场景

计算大卷积核或多通道卷积：
当卷积核较大（如 $\times 7$ 及以上）或输入通道数较多时，矩阵化后单次矩阵乘法可覆盖大量运算，减少滑动窗口的循环开销（传统卷积需逐窗口计算）。
当硬件支持矩阵乘法的深度优化时：
现代CPU（如Intel MKL）和GPU（如NVIDIA CUDA）对矩阵乘法（如GEMM函数）有极致优化（利用SIMD指令、线程并行、内存预取等）。将卷积转化为矩阵乘法后，可直接复用这些成熟的优化库，提升效率。例如，深度学习框架（TensorFlow、PyTorch）中的卷积层默认使用“im2col + GEMM”（输入矩阵化+矩阵乘法）实现，正是基于此原理。
批处理或多任务场景：
当输入为批量数据（如多幅图像）时，矩阵化可将多批次的卷积运算合并为一次更大的矩阵乘法，进一步提升并行效率。

劣势场景

计算小卷积核时（如 $\times 3$ 、 $\times 1$ ）：
小卷积核的矩阵化会导致输入矩阵的行数 $N$ 远大于列数 $K^2$ ，此时矩阵乘法的计算密度（浮点运算量/内存访问量）较低，硬件利用率不高。
内存开销受限时：
输入矩阵化会产生大量冗余数据（滑动窗口重叠区域被重复存储），例如 $224 \times 224$ 输入与 $\times 3$ 卷积核的矩阵化后，输入矩阵尺寸为 $222 \times 222 \times 9 \approx 44$ 万元素，是原输入的 $\times (222/224)^2 \approx 8.8$ 倍。对于高分辨率图像或大批次数据，可能导致内存溢出或带宽瓶颈。
实时性要求高的场景：
矩阵化的预处理步骤（如im2col）需要额外的内存拷贝和数据重组时间，对于实时性要求高的任务（如视频流处理），可能抵消矩阵乘法的效率优势。