神经网络之链式法则

一、什么是链式法则？

链式法则是微积分中用于处理复合函数求导的基本规则。

🧠 基本思想：

当一个变量依赖另一个变量，而另一个变量又依赖另一个变量时，总的变化率是每一步变化率的乘积。

---

🎯 经典形式（单变量）：

设：

$$z=f(y),y=g(x)\Rightarrow z=f(g(x))$$

那么链式法则是：

$$\frac{dz}{dx}=\frac{dz}{dy}\cdot \frac{dy}{dx}$$

即：

“总导数 = 每层局部导数的乘积”

---

二、链式法则中：何时是乘法？何时是加法？

链式法则的核心操作是乘法，但在计算图（如神经网络）中，有些情况却需要加法。这两种形式其实不是矛盾，而是出现在不同的结构中。

我们来分别说明：

---

✅ 1. 使用乘法的场景：函数嵌套

📌 结构：

$$x\to y=g(x)\to z=f(y)\Rightarrow z=f(g(x))$$

🧮 梯度计算：

$$\frac{dz}{dx}=\frac{dz}{dy}\cdot \frac{dy}{dx}$$

✅ 特点：

• 每个函数的输出作为下一个函数的输入
• 形成一条链
• 每一步都“放大”或“缩小”输入的变化
• 所以梯度乘起来

📎 举例：

$$z=\sin (x^2)\Rightarrow \frac{dz}{dx}=\cos (x^2)\cdot 2x$$

---

✅ 2. 使用加法的场景：分支结构（多路径传播）

📌 结构：

$$x\to f(x)=a,x\to g(x)=b,L=a+b\Rightarrow L=f(x)+g(x)$$

🧮 梯度计算：

$$\frac{dL}{dx}=\frac{da}{dx}+\frac{db}{dx}$$

✅ 特点：

• 一个变量 $x$ 同时用于多个地方（有多个“输出”分支）
• 每条路径都有独立的影响
• 梯度在反向传播时合流，进行加法

📎 举例：

$$L=x^2+\sin (x)\Rightarrow \frac{dL}{dx}=2x+\cos (x)$$

---

三、为什么是乘法？为什么是加法？

🔷 为什么是乘法（链式结构）？

源于导数的定义：

$$\frac{df}{dx}=\underset{\Delta x\to 0}{\lim }\frac{\Delta f}{\Delta x}$$

如果：

$$x\to y\to z$$

则：

$$\Delta z=\frac{dz}{dy}\cdot \Delta y=\frac{dz}{dy}\cdot \frac{dy}{dx}\cdot \Delta x$$

所以：

$$\frac{dz}{dx}=\frac{dz}{dy}\cdot \frac{dy}{dx}$$

变化被层层放大/缩小 → 所以是乘法

---

🔶 为什么是加法（分支结构）？

当一个变量影响多个路径时，每条路径都会对最终输出产生一部分影响。

例如：

$$L=f(x)+g(x)$$

那么：

$$\Delta L=\Delta f+\Delta g=f^{\prime }(x)\Delta x+g^{\prime }(x)\Delta x=(f^{\prime }(x)+g^{\prime }(x))\Delta x$$

所以：

$$\frac{dL}{dx}=f^{\prime }(x)+g^{\prime }(x)$$

多个路径独立贡献 → 所以是加法

---

✅ 总结表格：链式法则中的乘法 vs 加法

项目	使用场景	结构形式	导数公式	原因
🔗 乘法	函数嵌套	$z=f(g(x))$	$\frac{dz}{dx}=f^{\prime }(g(x))\cdot g^{\prime }(x)$	变化层层放大
➕ 加法	分支结构	$L=f(x)+g(x)$	$\frac{dL}{dx}=f^{\prime }(x)+g^{\prime }(x)$	多路径贡献叠加

---

✅ 一句话总结

链式法则的本质是“乘法”传播，但当一个变量影响多个路径时，每条路径的梯度会在反向传播时加和** —— 所以在分支结构中使用“加法”。**