微分与积分（前言）

导数

导数是一个非常重要的概念，先来看一个引例：速度问题。历史上速度问题与倒数概念的形成有着密切的关系。
平均速度$$v=\frac{s}{t}$$那么如何表示瞬时速度呢？
瞬时经过路程：$$\Delta s=s(t_0+\Delta t)-s(t_0)$$
这一小段的平均速度：$$\bar{v}=\frac{\Delta s}{\Delta t}=\frac{s(t_0+\Delta t)-s(t_0)}{\Delta t}$$
当$\Delta t\to 0$时，对应的$v_{平}$就是瞬时速度。在时刻$t_0$的瞬时速度为
$$v=\underset{\Delta t\to 0}{\lim }\overline{v}=\underset{\Delta t\to 0}{\lim }\frac{s(t_0+\Delta t)-s(t_0)}{\Delta t}$$
从公式可以看出，瞬时速度就是变化率的问题。

导数的定义

设$f(x)$在$x_0$的某个邻域有意义，当$x$的增量为$\Delta x$时，$y$的增量$\Delta y$为$f(x_0+\Delta x)-f(x_0)$。当$\Delta x\to 0$时，$\frac{\Delta y}{\Delta x}$的极限存在，则称函数f(x)在$x_0$处可导。此极限值为函数f(x)在点$x_0$处的导数，记作$f^{\prime }(x_0)$。即：
$$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
可记作：
$${y^{\prime }|}_{x=x_0}、$$ $${\frac{df}{dx}|}_{x=a}或$$$${\frac{df(x)}{dx}|}_{x=x_0}$$

导数的几何意义

从几何意义上讲，函数在某一点$x_0$的变化率等于这一点的切线的斜率。

函数的基本求导法则

如果函数$$u=u(x)、v=v(x)$$都在点x有导数，那么它们的和、差、积、商（除分母为0的点外）都在点x具有导数，且满足以下法则:
(1)$$[u(x)\pm v(x)]=u^{\prime }(x)\pm v^{\prime }(x)$$
(2)$$[u(x).v(x)]=u^{\prime }(x).v(x)+u(x).v^{\prime }(x)$$
(3)$$[\frac{u(x)}{v(x)}{]}^{\prime }=\frac{u^{\prime }(x)v(x)-u(x)v^{\prime }(x)}{v(x{)}^2}$$

反函数的求导法则

设函数$x=f(y)$在区间$D_y$内单调可导，且$f^{\prime }(y)\ne 0$，那么它的反函数$y=f^{-1}(x)$在区间 D x = { x = f ( y ) , y ∈ D y } D_x =\{x=f(y),y∈D_y\} Dx​={x=f(y),y∈Dy​}内也可导，且满足下式：
$$[f^{-1}(x){]}^{\prime }=\frac{1}{f^{\prime }(y)}或\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}$$

复合函数的求导法则

如果u=g(x)在点x处可导，y=f(u)在点u=g(x)处可导，那么复合函数y=f[g(x)]在点x处可导，且其导数为$$\frac{dy}{dx}=f^{\prime }(u)g^{\prime }(x)或\frac{dy}{dx}=\frac{dy}{du}.\frac{du}{dx}$$

常用的求导公式

from sympy import *
# diff 求导函数，arcsin函数表示形式为asin
x = sp.symbols('x')
print(diff(sin(x)))
print(diff(cos(x)))
print(diff(tan(x)))
print(diff(asin(x)))
print(diff(acos(x)))
print(diff(atan(x)))

偏导数

如果涉及的函数都只有一个自变量，那么这种函数被称为一元函数。但在很多研究领域中，经常需要研究多个变量间的关系，在数学上，这就表现为一个变量与另外多个变量的相互依赖关系。
二元函数是函数值z随着两个自变量的变化而变化，记为$z=f(x,y)$，其图形是一个x,y轴展开的曲面，如下图所示：

一元函数的导数反映了函数相对于自变量的变化率。但多元函数的自变量有两个或者两个以上，函数对于自变量的变化率问题更为复杂，但有规律可循。一般来说，对于多元函数，在研究某一个自变量的变化率时，往往会把其余的自变量暂时固定下来，即视为常数，使其成为一元函数，然后再对其进行求导，这就是偏导数的概念。

偏导数的定义

设函数$z=f(x,y)$在点(x_0,y_0)的某一邻域内有定义，当y固定在y_0，而x在x_0处有增量Δx时，函数有增量$f(x_0＋\Delta x,y_0)-f(x_0,y_0)$，如果极限$$\underset{\Delta x\to 0}{\lim }\frac{f(x_0＋\Delta x,y_0)-f(x_0,y_0)}{\Delta x}$$存在，则称此极限为函数$z=f(x,y)$在点$(x_0,y_0)$处对x的偏导数记为$f_x(x_0,y_0)$，即
$$f_x(x_0,y_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0＋\Delta x,y_0)-f(x_0,y_0)}{\Delta x}$$
函数$z=f(x,y)$在点$(x_0,y_0)$处对$y$的偏导数记为$f_y(x_0,y_0)$，可类似定义，即
$$f_y(x_0,y_0)=\underset{\Delta y\to 0}{\lim }\frac{f(x_0,y_0+\Delta y-f(x_0,y_0)}{\Delta y}$$
对$f_x(x_0,y_0)$，还可以使用以下记号：${\frac{\partial f}{\partial x}|}_{\genfrac{}{}{0ex}{}{x=x_0}{y=y_0}}$，$z_x(x_0,y_0)$

偏导数的几何意义

偏导数的几何意义可直接由一元函数导数的几何意义得出，
例1 求$f(x,y)=x^2+3xy+y^2$在点$（1，2）$处的偏导数，并用python编程实现。
解：$$f_x(x,y)=2x+3y$$
$$f_y(x,y)=3x+2y$$
$$f_x(1,2)=8$$
$$f_y(1,2)=7$$

偏导数的几何意义可直接由一元函数导数的几何意义得出，由于$f_x(x_0,y_0)$就是$z=f(x,y_0)$在$x=x_0$处的导数，而$z=f(x,y_0)$在几何上可以看作是平面$y=y_0$截曲面$z=f(x,y)$得到的曲线$C_x$。因此$f_x(x_0,y_0)$的几何意义：曲线$C_x$在点$M_0(x_0,y_0,z_0)$处切线$M_0{T}_x$对$x$轴的斜率。
同理，若$C_y$是平面$x=x_0$截曲面$z=f(x,y)$得到的曲线，则偏导数$f_y(x_0,y_0)$的几何意义就是曲线$C_y$在点$M_0(x_0,y_0,z_0)的切线M_0{T}_y$对$y$轴的斜率。

方向导数

偏导数反映的是函数沿坐标轴方向的变化率，方向导数本质上研究的是函数在某点处沿某特定方向的变化率问题。比如$z=f(x,y)$在点$p(x_0,y_0)$沿方向$l$的变化率。假设方向如下图所示，$l$为$xOy$平面上以$p$为起始点的一条射线，$p^{\prime }$为方向$l$上的另一点。

由上图可知：$p$与$p^{\prime }$之间的距离$|p{p}^{\prime }|=\rho =\sqrt{\Delta x^2+\Delta y^2}$。考虑函数的增量与这两点的距离的比值，当p’沿着方向l趋于p时，如果这个比的极限存在，则称这个极限为函数f(x,y)在点p沿方向l的方向导数，记作$\frac{\partial f}{\partial l}$，即：
$$\frac{\partial f}{\partial f}=\underset{\rho \to 0}{\lim }\frac{f(x_0+\Delta x,y_0+\Delta y)-f(x_0,y_0)}{\rho }$$
从定义可知，当函数$f(x,y)$在点$p(x_0,y_0)$的偏导数$f_x(x_0,y_0)、f_y(x_0,y_0)$存在时，函数$f(x,y)$在$p$点沿着$x$轴正向单位向量 e 1 = { 1 , 0 } e_1=\{1,0\} e1​={1,0}，y轴正向单位向量 e 2 = { 0 , 1 } e_2=\{0,1\} e2​={0,1}的方向导数存在，且其值依次为$f_x(x_0,y_0)、f_y(x_0,y_0)$;函数f(x,y)在p点沿着x轴负向单位向量 e 1 ′ = { − 1 , 0 } e'_1=\{-1,0\} e1′​={−1,0}，y轴负向单位向量 e 2 ′ = { 0 , − 1 } e'_2=\{0,-1\} e2′​={0,−1}的方向导数存在，且其值依次为$-f_x(x_0,y_0)、-f_y(x_0,y_0)$。
方向导数$\frac{\partial f}{\partial l}$的存在及计算定理如下：
定理：如果函数$z=f(x,y)$在点$p(x_0,y_0)$是可微分的，那么函数在该点沿任意方向$l$的方向导数都存在，且有$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}cos\phi +\frac{\partial f}{\partial y}sin\phi$，其中$\phi 为x轴到l$方向的转角。

梯度

综合实例——梯度下降法求函数的最小值

梯度下降法，是寻找函数极小值最常用的优化方法。当目标函数是凸函数时，梯度下降法的解是全局解。但在一般情况下，其解不保证是全局最优解。最普遍的做法是，在已知参数当前值时，按当前点对应的梯度向量的反方向及事先定好的步长大小对参数进行调整。按上述方法对参数做出多次调整之后，函数就会逼近一个极小值。