常见激活函数的Lipschitz连续证明

1. ReLU

定义

$f(x)=\text{max}(0,x)$。

证明

对任意$x,y\in \mathbb{R}$：

• 若$x,y\ge 0$，则$|f(x)-f(y)|=|x-y|\le |x-y|$;
• 若$x,y\le 0$，则$|f(x)-f(y)|=0\le |x-y|$;
• 若$x\ge 0\ge y$，则$|f(x)-f(y)|=x\le x-y\le |x-y|$.

综上讨论，有$|f(x)-f(y)|\le |x-y|$。故，ReLU 为 1-Lipschitz，最优常数 $L=1$。

2. LeakyReLU

定义

$f(x)=\text{max}(\alpha x,x)$，其中$\alpha \in (0,1)$，通常采用下面表达：
$$f(x)=\{\begin{array}{ll}x& \text{if }x\ge 0\\ \alpha x& \text{if }x<0\end{array}$$

证明

对任意$x,y\in \mathbb{R}$，有

• 若$x,y\ge 0$，则$|f(x)-f(y)|=|x-y|\le |x-y|$;
• 若$x,y<0$，则$|f(x)-f(y)|=\alpha |x-y|\le |x-y|$;
• 若$x\ge 0>y$，则$|f(x)-f(y)|=|x-\alpha y|\le |x-y|$. 注：由于$\alpha <1$，所以$\alpha y\ge y\to x-\alpha y\le x-y\to |x-\alpha y|\le |x-y|$

综上讨论，有$|f(x)-f(y)|\le |x-y|$。故，LeakyReLU为 1-Lipschitz，最优常数 $L=1$。

3.Tanh

定义

$$f(x)=\text{tanh}(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

证明

tanh在$\mathbb{R}$上连续且可导，$f^{\prime }(x)=1-{\tanh }^2(x)\in (0,1]$，因此${\text{sup}}_{x\in \mathbb{R}}|f^{\prime }(x)|=1$。根据平均值定理
$$|f(x)-f(y)|=|f^{\prime }(c)(x-y)|\le |f^{\prime }(c)|\cdot |x-y|\le {\text{sup}}_t|f^{\prime }(t)|\cdot |x-y|=1\cdot |x-y|$$
故，$L=1$（上界在$x=0$处取到）。

4. Sigmoid

定义

$$f(x)=\sigma (x)=\frac{1}{1+e^{-x}}$$

证明

计算导数$f^{\prime }(x)=\sigma (x)(1-\sigma (x))$，令$h(p)=p(1-p)$，其$p\in (0,1)$，当$p=0.5$时，$h(p)$取最大值0.25，即$f^{\prime }(x)\in (0,0.25]$，${\text{sup}}_{x\in \mathbb{R}}|f^{\prime }(x)|=0.25$。

因为$\sigma (x)$在$\mathbb{R}$连续且可导，由平均值定理可得，存在一个常数$c$使得
$$f(x)-f(y)=f^{\prime }(c)(x-y)$$

等式两边取绝对值
$$|f(x)-f(y)|=|f^{\prime }(c)(x-y)|\le |f^{\prime }(c)|\cdot |x-y|\le {\text{sup}}_t|f^{\prime }(t)|\cdot |x-y|=0.25\cdot |x-y|$$
因此， $L=0.25$（上界在$x=0$处取到）。

5. 补充

拉格朗日中值定理（均值定理）

如果函数$f(x)$满足：

• 在闭区间$[a,b]$上连续；
• 在开区间$(a,b)$内可导。

则$\exists \xi \in (a,b)$，使得
$$f^{\prime }(\xi )=\frac{f(b)-f(a)}{b-a}$$