反向传播算法——矩阵形式递推公式——ReLU传递函数

总结反向传播算法。

来源于https://udlbook.github.io/udlbook/，我不明白初始不从${\mathbf{x}}_0$开始，而是从${\mathbf{z}}_0$开始，不知道怎么想的。

---

考虑一个深度神经网络$g[{\mathbf{x}}_i,\mathbf{\varphi }]$，它接受输入${\mathbf{x}}_i$，具有$N$个隐藏层和 ReLU 激活函数，并且有单独的损失项$L_i=\mathrm{loss}[g[{\mathbf{x}}_i,\mathbf{\varphi }],{\mathbf{y}}_i]$。反向传播的目标是计算关于偏差${\mathbf{b}}_{\iota }$和权重${\mathbf{W}}_{\iota }$的导数$\frac{\partial L_i}{\partial {\mathbf{b}}_{\iota }}$和$\frac{\partial L_i}{\partial {\mathbf{W}}_{\iota }}$。

前向传递： 计算并存储以下量：

z 0 = b 0 + W 0 x i x ι = f [ z ι − 1 ] ι ∈ { 1 , 2 , … , M } z ι = b ι + W ι x ι . ι ∈ { 1 , 2 , … , M } \begin{aligned} \boldsymbol{z}_0 &= \boldsymbol{b}_0 + \boldsymbol{W}_0 \boldsymbol{x}_i \\ \boldsymbol{x}_\iota &=f[\boldsymbol{z}_{\iota-1}] & \iota \in \{1, 2, \ldots, M\} \\ \boldsymbol{z}_\iota &= \boldsymbol{b}_\iota + \boldsymbol{W}_\iota \boldsymbol{x}_\iota. & \iota \in \{1, 2, \ldots, M\} \end{aligned} z0​xι​zι​​=b0​+W0​xi​=f[zι−1​]=bι​+Wι​xι​.​ι∈{1,2,…,M}ι∈{1,2,…,M}​

反向传递： 从损失函数$L_i$关于网络输出${\mathbf{z}}_M$的导数$\frac{\partial L_i}{\partial {\mathbf{z}}_M}$开始，并在网络中反向工作：

∂ L i ∂ b ι = ∂ L i ∂ z ι ι ∈ { M , M − 1 , … , 1 } ∂ L i ∂ W ι = ∂ L i ∂ z ι x ι T ι ∈ { M , M − 1 , … , 1 } ∂ L i ∂ z ι − 1 = I [ z ι − 1 > 0 ] ⊙ ( W ι T ∂ L i ∂ z ι ) , ι ∈ { M , M − 1 , … , 1 } \begin{aligned} \frac{\partial L_i}{\partial \boldsymbol{b}_\iota} &= \frac{\partial L_i}{\partial \boldsymbol{z}_\iota} & \iota \in \{M, M-1, \ldots, 1\} \\ \frac{\partial L_i}{\partial \boldsymbol{W}_\iota} &= \frac{\partial L_i}{\partial \boldsymbol{z}_\iota} \boldsymbol{x}_\iota^{\mathsf T} & \iota \in \{M, M-1, \ldots, 1\} \\ \frac{\partial L_i}{\partial \boldsymbol{z}_{\iota-1}} &= \mathbb{I}[\boldsymbol{z}_{\iota-1} > 0] \odot \left( \boldsymbol{W}_\iota^{\mathsf T} \frac{\partial L_i}{\partial \boldsymbol{z}_\iota} \right), & \iota \in \{M, M-1, \ldots, 1\} \end{aligned} ∂bι​∂Li​​∂Wι​∂Li​​∂zι−1​∂Li​​​=∂zι​∂Li​​=∂zι​∂Li​​xιT​=I[zι−1​>0]⊙(WιT​∂zι​∂Li​​),​ι∈{M,M−1,…,1}ι∈{M,M−1,…,1}ι∈{M,M−1,…,1}​

其中$\odot$表示逐点乘法，而$\mathbb{I}[{\mathbf{z}}_{\iota -1}>0]$是一个向量，其中在${\mathbf{z}}_{\iota -1}$大于零的位置包含一，在其他位置包含零。

最后，计算关于第一组偏差和权重的导数：

$$\begin{array}{rl}\frac{\partial L_i}{\partial {\mathbf{b}}_0}& =\frac{\partial L_i}{\partial {\mathbf{z}}_0}\\ \frac{\partial L_i}{\partial {\mathbf{W}}_0}& =\frac{\partial L_i}{\partial {\mathbf{z}}_0}{\mathbf{x}}_i^{\mathsf{T}}.\end{array}$$

为批次中的每个训练样本计算这些导数，并将它们相加以获取用于 SGD 更新的梯度。

请注意，反向传播算法非常高效；前向和反向传递中最耗计算的步骤是矩阵乘法（分别由$\mathbf{W}$和${\mathbf{W}}^{\mathsf{T}}$进行），这只需要加法和乘法。然而，它不是内存高效的；前向传递中的中间值必须全部存储，这可能会限制可以训练的模型的大小。