神经网络之链式法则的推导

🧠 一、直观理解

设有复合函数：

$$y=f(g(x))$$

我们想知道当 $x$ 发生微小变化时，$y$ 是如何变化的。

• $x\to x+\Delta x$ 会引起
• $u=g(x)\to g(x+\Delta x)$，再导致
• $y=f(u)\to f(g(x+\Delta x))$

所以：

$$\Delta y=f(g(x+\Delta x))-f(g(x))\approx f^{\prime }(g(x))\cdot \Delta u$$

其中：

$$\Delta u=g(x+\Delta x)-g(x)\approx g^{\prime }(x)\cdot \Delta x$$

代入上面得到：

$$\Delta y\approx f^{\prime }(g(x))\cdot g^{\prime }(x)\cdot \Delta x$$

两边同时除以 $\Delta x$，并取极限：

$$\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}=f^{\prime }(g(x))\cdot g^{\prime }(x)$$

这就得到了链式法则的结论。

---

📐 二、从导数定义严格推导

我们回到导数的定义：

设：

$$F(x)=f(g(x))$$

那么导数定义为：

$$F^{\prime }(x)=\underset{h\to 0}{\lim }\frac{f(g(x+h))-f(g(x))}{h}$$

这里我们做一个技巧性的处理：

设

$$\Delta u=g(x+h)-g(x)$$

如果 $g$ 在 $x$ 点可导，那么 $\Delta u\to 0$ 当 $h\to 0$。

于是分式可以写成两部分：

$$\frac{f(g(x+h))-f(g(x))}{h}=\frac{f(g(x+h))-f(g(x))}{g(x+h)-g(x)}\cdot \frac{g(x+h)-g(x)}{h}$$

也就是：

$$F^{\prime }(x)=\underset{h\to 0}{\lim }\left[\frac{f(g(x+h))-f(g(x))}{g(x+h)-g(x)}\cdot \frac{g(x+h)-g(x)}{h}\right]$$

这两个极限分别是：

• 第一个是 $f^{\prime }(g(x))$
• 第二个是 $g^{\prime }(x)$

所以：

$$F^{\prime }(x)=f^{\prime }(g(x))\cdot g^{\prime }(x)$$

✅ 这就是链式法则从导数定义的严谨推导。

---

✍️ 三、微分符号直观记法（非正式）

有时候用微分记号可以更快速地理解链式法则，虽然它不严谨，但很直观：

设：

• $u=g(x)$
• $y=f(u)$

那么：

$$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$$

这就像“dy”与“du”互相抵消一样，帮助我们记住和理解链式法则。

---

✅ 总结

链式法则的核心思想是：

复合函数的导数 = 外层函数对“内层变量”的导数 × 内层函数对“x”的导数。

推导方式包括：

方法	特点
直观法	易懂，便于形成直觉
极限定义法	严谨，数学证明
微分记法	快速记忆和应用，但不够严谨