【动手学深度学习】4.7. 前向传播、反向传播和计算图

---

---

.

4.7. 前向传播、反向传播和计算图

1）前向传播

前向传播（forward propagation或forward pass） 指的是：按顺序从输入层到输出层，计算和存储神经网络中每层的结果。

我们将一步步研究单隐藏层神经网络的机制。为了简单起见，我们假设输入样本是 $\mathbf{x}\in {\mathbb{R}}^d$，并且我们的隐藏层不包括偏置项。这里的中间变量是：

$$\mathbf{z}={\mathbf{W}}^{(1)}\mathbf{x},\text{\hspace{1em}(4.7.1)}$$

其中 ${\mathbf{W}}^{(1)}\in {\mathbb{R}}^{h\times d}$ 是隐藏层的权重参数。将中间变量 $\mathbf{z}\in {\mathbb{R}}^h$ 通过激活函数 $\varphi$ 后，我们得到长度为 $h$ 的隐藏激活向量：

$$\mathbf{h}=\varphi (\mathbf{z}).\text{\hspace{1em}(4.7.2)}$$

隐藏变量 $\mathbf{h}$ 也是一个中间变量。假设输出层的参数只有权重 ${\mathbf{W}}^{(2)}\in {\mathbb{R}}^{q\times h}$，我们可以得到输出层变量，它是一个长度为 $q$ 的向量：

$$\mathbf{o}={\mathbf{W}}^{(2)}\mathbf{h}.\text{\hspace{1em}(4.7.3)}$$

假设损失函数为 $l$，样本标签为 $y$，我们可以计算单个数据样本的损失项：

$$L=l(\mathbf{o},y).\text{\hspace{1em}(4.7.4)}$$

根据 $L_2$ 正则化的定义，给定超参数 $\lambda$，正则化项为

$$s=\frac{\lambda }{2}\left(\Vert {\mathbf{W}}^{(1)}{\Vert }_F^2+\Vert {\mathbf{W}}^{(2)}{\Vert }_F^2\right),\text{\hspace{1em}(4.7.5)}$$

其中矩阵的 Frobenius 范数是将矩阵展平为向量后应用的 $L_2$ 范数。最后，模型在给定数据样本上的正则化损失为：

$$J=L+s.\text{\hspace{1em}(4.7.6)}$$

在下面的讨论中，我们将 $J$ 称为目标函数（objective function）。

.

2）前向传播计算图

绘制计算图有助于我们可视化计算中操作符和变量的依赖关系。

下图，是与上述简单网络相对应的计算图， 其中正方形表示变量，圆圈表示操作符。 左下角表示输入，右上角表示输出。 注意显示数据流的箭头方向主要是向右和向上的。

图4.7.1 前向传播的计算图

.

3）反向传播

反向传播（backward propagation 或 backpropagation）指的是计算神经网络参数梯度的方法。简言之，该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络。

该算法存储了计算某些参数梯度时所需的任何中间变量（偏导数）。假设我们有函数 Y = f(X) 和 Z = g(Y)，其中输入和输出 X, Y, Z 是任意形状的张量。利用链式法则，我们可以计算关于 $X$ 的导数：

$$\frac{\partial Z}{\partial X}=\text{prod}\left(\frac{\partial Z}{\partial Y},\frac{\partial Y}{\partial X}\right)$$

在这里，我们使用 prod 运算符在执行必要的操作（如换位和交换输入位置）后将其参数相乘。对于向量，这很简单，它只是矩阵-矩阵乘法。对于高维张量，我们使用适当的对应项。运算符 prod 指代了所有的这些符号。

在前面计算图中的单隐藏层简单网络的参数是 $W^{(1)}$ 和 $W^{(2)}$。反向传播的目的是计算梯度 $\partial J/\partial W^{(1)}$ 和 $\partial J/\partial W^{(2)}$。为此，我们应用链式法则，依次计算每个中间变量和参数的梯度。计算的顺序与前向传播中执行的顺序相反，因为我们需要从计算图的结果开始，并朝着参数的方向工作。第一步是计算目标函数 $J=L+s$ 相对于损失项 $L$ 和正则项 $s$ 的梯度：

$$\frac{\partial J}{\partial L}=1\text{and}\frac{\partial J}{\partial s}=1$$

接下来，我们根据链式法则计算目标函数关于输出层变量的梯度：

$$\frac{\partial J}{\partial \mathbf{o}}=\text{prod}\left(\frac{\partial J}{\partial L},\frac{\partial L}{\partial \mathbf{o}}\right)=\frac{\partial L}{\partial \mathbf{o}}\in {\mathbb{R}}^q$$

接着，计算正则化项相对于两个参数的梯度：

$$\frac{\partial s}{\partial {\mathbf{W}}^{(1)}}=\lambda {\mathbf{W}}^{(1)}\text{and}\frac{\partial s}{\partial {\mathbf{W}}^{(2)}}=\lambda {\mathbf{W}}^{(2)}$$

现在我们可以计算最接近输出层的模型参数的梯度 $\partial J/\partial W^{(2)}\in {\mathbb{R}}^{q\times h}$。使用链式法则得出：

$$\frac{\partial J}{\partial {\mathbf{W}}^{(2)}}=\text{prod}\left(\frac{\partial J}{\partial \mathbf{o}},\frac{\partial \mathbf{o}}{\partial {\mathbf{W}}^{(2)}}\right)+\text{prod}\left(\frac{\partial J}{\partial s},\frac{\partial s}{\partial {\mathbf{W}}^{(2)}}\right)=\frac{\partial J}{\partial \mathbf{o}}{\mathbf{h}}^{\top }+\lambda {\mathbf{W}}^{(2)}$$

为了获得关于 $W^{(1)}$ 的梯度，需要继续沿输出层到隐藏层反向传播。关于隐藏层输出的梯度 $\partial J/\partial \mathbf{h}\in {\mathbb{R}}^h$ 由下式给出：

$$\frac{\partial J}{\partial \mathbf{h}}=\text{prod}\left(\frac{\partial J}{\partial \mathbf{o}},\frac{\partial \mathbf{o}}{\partial \mathbf{h}}\right)={{\mathbf{W}}^{(2)}}^{\top }\frac{\partial J}{\partial \mathbf{o}}$$

由于激活函数 $\varphi$ 是按元素计算的，计算中间变量的梯度 $\partial J/\partial \mathbf{z}\in {\mathbb{R}}^h$ 需要使用按元素乘法运算符（用 $\odot$ 表示）：

$$\frac{\partial J}{\partial \mathbf{z}}=\text{prod}\left(\frac{\partial J}{\partial \mathbf{h}},\frac{\partial \mathbf{h}}{\partial \mathbf{z}}\right)=\frac{\partial J}{\partial \mathbf{h}}\odot {\varphi }^{\prime }\left(\mathbf{z}\right)$$

最后，我们可以得到最接近输入层的模型参数的梯度 $\partial J/\partial W^{(1)}\in {\mathbb{R}}^{h\times d}$。根据链式法则：

$$\frac{\partial J}{\partial {\mathbf{W}}^{(1)}}=\text{prod}\left(\frac{\partial J}{\partial \mathbf{z}},\frac{\partial \mathbf{z}}{\partial {\mathbf{W}}^{(1)}}\right)+\text{prod}\left(\frac{\partial J}{\partial s},\frac{\partial s}{\partial {\mathbf{W}}^{(1)}}\right)=\frac{\partial J}{\partial \mathbf{z}}{\mathbf{x}}^{\top }+\lambda {\mathbf{W}}^{(1)}$$

.

4）训练神经网络

在训练神经网络时，前向传播和反向传播相互依赖。 对于前向传播，我们沿着依赖的方向遍历计算图并计算其路径上的所有变量。 然后将这些用于反向传播，其中计算顺序与计算图的相反。

以上述简单网络为例：

• 一方面，在前向传播期间计算正则项取决于模型参数和的当前值。 它们是由优化算法根据最近迭代的反向传播给出的。

• 另一方面，反向传播期间参数的梯度计算， 取决于由前向传播给出的隐藏变量的当前值。

因此，在训练神经网络时，在初始化模型参数后， 我们交替使用前向传播和反向传播，利用反向传播给出的梯度来更新模型参数。

注意，反向传播重复利用前向传播中存储的中间值，以避免重复计算。带来的影响之一是我们需要保留中间值，直到反向传播完成。 这也是训练比单纯的预测需要更多的内存（显存）的原因之一。 此外，这些中间值的大小与网络层的数量和批量的大小大致成正比。 因此，使用更大的批量来训练更深层次的网络更容易导致内存不足（out of memory）错误。

.

5）小结

• 前向传播在神经网络定义的计算图中按顺序计算和存储中间变量，它的顺序是从输入层到输出层。

• 反向传播按相反的顺序（从输出层到输入层）计算和存储神经网络的中间变量和参数的梯度。

• 在训练深度学习模型时，前向传播和反向传播是相互依赖的。

• 训练比预测需要更多的内存。

.

---

声明：资源可能存在第三方来源，若有侵权请联系删除！