深度学习_三层神经网络传播案例（L0-＞L1-＞L2）

🌟 三层神经网络传播案例（$L_0\to L_1\to L_2$）

为了简化计算，我们将网络简化为：输入层 (2个神经元) → 隐藏层 1 (2个神经元) → 输出层 (1个神经元)。

约定：

• 激活函数: Sigmoid ($\sigma (z)=\frac{1}{1+e^{-z}}$)，其导数 ${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$。
• 损失函数: 均方误差 (MSE): $C=\frac{1}{2}(\hat{y}-y{)}^2$。
• 学习率 $\eta$: $0.1$。

初始参数和输入值：

参数	值
输入 $x$ (即 $a^{(0)}$)	$[0.05,0.10]$
真实标签 $y$	$[0.01]$
$L_0\to L_1$ 权重 $W^{(1)}$	$\left(\begin{array}{cc}0.15& 0.20\\ 0.25& 0.30\end{array}\right)$
$L_1$ 偏置 $b^{(1)}$	$[0.35,0.35]$
$L_1\to L_2$ 权重 $W^{(2)}$	$\left(\begin{array}{c}0.40\\ 0.45\end{array}\right)$ (转置后为 $1\times 2$)
$L_2$ 偏置 $b^{(2)}$	$[0.60]$

---

🚀 阶段一：前向传播 (Forward Pass)

1. 从 $L_0$ 到 $L_1$ (隐藏层)

• 计算 $L_1$ 的加权输入 $z^{(1)}$：
  $$\begin{array}{rl}{z}_1^{(1)}& =w_{11}^{(1)}{x}_1+w_{21}^{(1)}{x}_2+b_1^{(1)}\\ & =(0.15)(0.05)+(0.25)(0.10)+0.35\\ & =0.0075+0.025+0.35=0.3825\end{array}$$
  $$\begin{array}{rl}{z}_2^{(1)}& =w_{12}^{(1)}{x}_1+w_{22}^{(1)}{x}_2+b_2^{(1)}\\ & =(0.20)(0.05)+(0.30)(0.10)+0.35\\ & =0.01+0.03+0.35=0.39\end{array}$$

• 计算 $L_1$ 的激活输出 $a^{(1)}$：
  $$a_1^{(1)}=\sigma (0.3825)\approx 0.594(\text{使用 }\frac{1}{1+e^{-0.3825}})$$
  $$a_2^{(1)}=\sigma (0.39)\approx 0.596(\text{使用 }\frac{1}{1+e^{-0.39}})$$

2. 从 $L_1$ 到 $L_2$ (输出层)

• 计算 $L_2$ 的加权输入 $z^{(2)}$：
  $$\begin{array}{rl}{z}_1^{(2)}& =w_{11}^{(2)}{a}_1^{(1)}+w_{21}^{(2)}{a}_2^{(1)}+b_1^{(2)}\\ & =(0.40)(0.594)+(0.45)(0.596)+0.60\\ & =0.2376+0.2682+0.60=1.1058\end{array}$$

• 计算 $L_2$ 的最终输出 $\hat{y}$ (即 $a^{(2)}$)：
  $$\hat{y}=a_1^{(2)}=\sigma (1.1058)\approx 0.751$$

3. 计算总损失 $C$

• 均方误差损失：
  $$C=\frac{1}{2}(\hat{y}-y{)}^2=\frac{1}{2}(0.751-0.01{)}^2$$
  $$C=\frac{1}{2}(0.741{)}^2\approx 0.2745$$

---

📉 阶段二：反向传播 (Backward Pass)

1. 计算输出层 $L_2$ 的误差项 ${\delta }^{(2)}$

$${\delta }^{(2)}=\frac{\partial C}{\partial a^{(2)}}\odot {\sigma }^{\prime }(z^{(2)})$$

• 损失对输出的导数 $\frac{\partial C}{\partial a^{(2)}}$： $\hat{y}-y=0.751-0.01=0.741$
• Sigmoid 导数 ${\sigma }^{\prime }(z^{(2)})$： $\hat{y}(1-\hat{y})=0.751(1-0.751)\approx 0.187$
• 误差项 ${\delta }^{(2)}$：
  $${\delta }^{(2)}=0.741\times 0.187\approx 0.1384$$

2. 计算 $L_2$ 的梯度并更新 $W^{(2)},b^{(2)}$

• 偏置梯度 $\frac{\partial C}{\partial b^{(2)}}$： ${\delta }^{(2)}=0.1384$

• 权重梯度 $\frac{\partial C}{\partial W^{(2)}}$： ${\delta }^{(2)}\cdot (a^{(1)}{)}^T$
  $$\begin{array}{rl}\frac{\partial C}{\partial w_{11}^{(2)}}& ={\delta }^{(2)}{a}_1^{(1)}=0.1384\times 0.594\approx 0.0822\\ \frac{\partial C}{\partial w_{21}^{(2)}}& ={\delta }^{(2)}{a}_2^{(1)}=0.1384\times 0.596\approx 0.0825\end{array}$$

• 梯度优化 (更新 $W^{(2)}$)： ($\eta =0.1$)
  $$\begin{array}{rl}{w}_{11,\text{new}}^{(2)}& =0.40-0.1\times 0.0822\approx 0.3918\\ w_{21,\text{new}}^{(2)}& =0.45-0.1\times 0.0825\approx 0.4418\\ b_{\text{new}}^{(2)}& =0.60-0.1\times 0.1384\approx 0.5862\end{array}$$

3. 计算隐藏层 $L_1$ 的误差项 ${\delta }^{(1)}$

$${\delta }^{(1)}=\left((W^{(2)}{)}^T{\delta }^{(2)}\right)\odot {\sigma }^{\prime }(z^{(1)})$$

• 传播误差 $E_{\text{prop}}$： (使用旧权重 $W^{(2)}$)
  $$E_{\text{prop},1}=w_{11}^{(2)}{\delta }^{(2)}=0.40\times 0.1384\approx 0.05536$$
  $$E_{\text{prop},2}=w_{21}^{(2)}{\delta }^{(2)}=0.45\times 0.1384\approx 0.06228$$

• Sigmoid 导数 ${\sigma }^{\prime }(z^{(1)})$：
  $${\sigma }^{\prime }(z_1^{(1)})=a_1^{(1)}(1-a_1^{(1)})=0.594(1-0.594)\approx 0.2414$$
  $${\sigma }^{\prime }(z_2^{(1)})=a_2^{(1)}(1-a_2^{(1)})=0.596(1-0.596)\approx 0.2416$$

• 误差项 ${\delta }^{(1)}$：
  $${\delta }_1^{(1)}=E_{\text{prop},1}\times 0.2414=0.05536\times 0.2414\approx 0.01338$$
  $${\delta }_2^{(1)}=E_{\text{prop},2}\times 0.2416=0.06228\times 0.2416\approx 0.01503$$

4. 计算 $L_1$ 的梯度并更新 $W^{(1)},b^{(1)}$

• 偏置梯度 $\frac{\partial C}{\partial b^{(1)}}$：
  $$\frac{\partial C}{\partial b_1^{(1)}}={\delta }_1^{(1)}=0.01338$$
  $$\frac{\partial C}{\partial b_2^{(1)}}={\delta }_2^{(1)}=0.01503$$

• 权重梯度 $\frac{\partial C}{\partial W^{(1)}}$： ${\delta }^{(1)}\cdot (a^{(0)}{)}^T$
  $$\begin{array}{rl}\frac{\partial C}{\partial w_{11}^{(1)}}& ={\delta }_1^{(1)}{x}_1=0.01338\times 0.05\approx 0.00067\\ \frac{\partial C}{\partial w_{21}^{(1)}}& ={\delta }_1^{(1)}{x}_2=0.01338\times 0.10\approx 0.00134\end{array}$$
  $$\begin{array}{rl}\frac{\partial C}{\partial w_{12}^{(1)}}& ={\delta }_2^{(1)}{x}_1=0.01503\times 0.05\approx 0.00075\\ \frac{\partial C}{\partial w_{22}^{(1)}}& ={\delta }_2^{(1)}{x}_2=0.01503\times 0.10\approx 0.00150\end{array}$$

• 梯度优化 (更新 $W^{(1)}$)： ($\eta =0.1$)
  $$\begin{array}{rl}{w}_{11,\text{new}}^{(1)}& =0.15-0.1\times 0.00067\approx 0.1499\\ w_{21,\text{new}}^{(1)}& =0.25-0.1\times 0.00134\approx 0.2499\\ w_{12,\text{new}}^{(1)}& =0.20-0.1\times 0.00075\approx 0.1999\\ w_{22,\text{new}}^{(1)}& =0.30-0.1\times 0.00150\approx 0.2998\end{array}$$

总结

经过一个完整的训练周期（前向传播和反向传播），所有的权重 $W$ 和偏置 $b$ 都向着降低总损失 $C$ 的方向进行了微小的更新。在下一次迭代中，网络将使用这些新的参数进行计算，理论上会得到一个更接近 $0.01$ 的输出 $\hat{y}$。