琴生不等式 (Jensen‘s Inequality)

我们常能发现一些有趣的曲线形态：向上隆起的抛物线弧、饱满的椭圆轮廓，这些曲线都有一个共同特征 —— 任意两点连成的弦始终位于曲线的上方或下方。1906 年，丹麦数学家 Johan Jensen 正是从这种几何直观出发，首次系统阐述了凸函数的性质，并建立了以他名字命名的 Jensen 不等式。

In mathematics, Jensen’s inequality, named after the Danish mathematician Johan Jensen, relates the value of a convex function of an integral to the integral of the convex function. [1]

Jensen 不等式的强大之处在于它建立了 “函数值的平均” 与 “平均值的函数” 之间的序关系，这种关系本质上是凸性的量化表达。它不仅是一个数学定理，更是一种思维范式 —— 当我们需要比较复杂表达式的大小关系时，寻找合适的凸函数映射往往能化繁为简。

1. 凸函数

直观理解

如下图，直观对比convex function，concave function, Non-convex function这三者的区别。

定义

设函数$f:X\to \mathbb{R}$，对任意$x_1,x_2\in X$和$0\le t\le 1$，恒有
$$\boxed{f(t{x}_1+(1-t)x_2)\le tf(x_1)+(1-t)f(x_2)}$$
则称$f$为$X$上的凸函数。

证明

证明1：

已知$A(x_1,y_1)$和$B(x_2,y_2)$，采用设直线的方程为$y=kx+b$，即可推导出上述公式成立。（证明略）

证明2：

采用物理中的质心证明，设$A(x_1,y_1)$的质量$m_1$，$B(x_2,y_2)$的质量$m_2$，线段直线AB的质心坐标$C(x_c,y_c)$，则有
$$\begin{array}{rl}& x_c=\frac{m_1{x}_1+m_2{x}_2}{m_1+m_2}\\ & y_c=\frac{m_1{y}_1+m_2{y}_2}{m_1+m_2}=\frac{m_{1}f(x_1)+m_{2}f(x_2)}{m_1+m_2}\end{array}$$
又因为$y_c\ge f(x_c)$，则有
$$\frac{m_{1}f(x_1)+m_{2}f(x_2)}{m_1+m_2}\ge f(\frac{m_1{x}_1+m_2{x}_2}{m_1+m_2})$$
定义$t_i=m_i/(m_1+m_2)$，带入上式：
$$t_{1}f(x_1)+t_{2}f(x_2)\ge f(t_1{x}_1+t_2{x}_2)$$
又$t_2=1-t_1$，则：
$$f(t_1{x}_1+(1-t_1)x_2)\le t_{1}f(x_1)+(1-t_1)f(x_2)$$

2. Jensen’s Inequality不等式

直观理解

Quora上有个提问“What is an intuitive explanation of Jensen’s Inequality?”，看了前两名高赞的回答，我觉得还是不够Intuitive，暂且搬运过来辅助理解[2]。(翻了很多资料，确实没看到很amazing的解释)

高赞第一名：

这句话的意思其实是对维基百科[Jensen’s Inequality]中这句话"relates the value of a convex function of an integral to the integral of the convex function"的等价说法。

即，将“先变换数据，在平均”和“先平均，在变换数据”这两句话建立起了联系，这里的变换数据是采用凸函数进行变换。

Jensen’s inequality comes up when you are combining transformation with averaging. You usually have a choice between (a) transforming your data and then averaging the transformed values; or (b) averaging your data and then transforming the average.

If your transformation is linear, then (a) and (b) are the same, and it doesn’t matter which you do. If it’s not linear, they’re different. Jensen’s inequality says that if the transformation is convex, then (a) always gives you a bigger answer than (b).

这个高赞下有个评论“How is this answer intuitive?”，感觉很intuitive。

高赞第二名：

我认为算不上是直观的解释，作者引入质心来推导琴生不等式。

Many years ago someone showed me a very interesting and visual explanation of Jensen’s inequality. If you are aware of the notion of centre of mass, this is going to be a cakewalk.

…

定义

在理解了convex function之后，就很容易理解琴生不等式。因为convex function针对的是二维函数（两个点），而琴生不等式将这一概率推广到了更高的维度（大于两个点）。

离散型 Jensen 不等式

对于一个凸函数$f$，其域中有$x_1,x_2,\cdots ,x_n$，则有：
$$f(t_1{x}_1+t_2{x}_2+\cdots +t_n{x}_n)\le t_{1}f(x_1)+t_{2}f(x_2)+\cdots +t_{n}f(x_n)$$
式中，$t_i\in [0,1]$，且$t_1+t_2+\cdots +t_n=1$。

连续型 Jensen 不等式

定义$t_i=P(X=x_i)$，则$t_1{x}_1+t_2{x}_2+\cdots +t_n{x}_n=E[X]$，上式可以写成
$$\boxed{f(E[X])\le E[f(X)]}$$

证明

证明1：

仍然采用质心证明，这里考虑四个点$A(x_1,y_1)$，$B(x_2,y_2)$，$C(x_3,y_3)$，$D(x_4,y_4)$，线段四边形ABCD的质心坐标$O(x_c,y_c)$，则有
$$\begin{array}{rl}& x_c=\frac{m_1{x}_1+m_2{x}_2+m_3{x}_3+m_4{x}_4}{m_1+m_2+m_3+m_4}\\ & y_c=\frac{m_1{y}_1+m_2{y}_2+m_3{y}_3+m_4{y}_4}{m_1+m_2+m_3+m_4}=\frac{m_{1}f(x_1)+m_{2}f(x_2)+m_{3}f(x_3)+m_{4}f(x_4)}{m_1+m_2+m_3+m_4}\end{array}$$
又因为$y_c\ge f(x_c)$，则有…（证明同凸函数）。

3. 应用

在写这篇文章和查阅资料的过程中，大学期间的《线性代数》和《高等数学》反复萦绕在我脑海中，为什么就不能扩展介绍一下这条定理是怎么服务实际的？所谓学者/教授，肯定是知识渊博、见多识广、阅历丰富，如果能将枯燥的引理应用于解决实际问题，我想大家都愿意且有兴趣学习这个知识点。

我认为的理想教材应该是，在正式介绍数学定义之前需要做好足够多的铺垫，充分阐述其背景和问题来源；然后，不失一般性的给出数学证明（注意，不是"由此可得"，“显然”，“限于版面限制”等等这类毫无分量的词把核心过程全部省略的谜之操作）。最后，应该是根据教授们大半辈子的教学经验总结我们这个定理有哪些推广和应用场景。

现实的一般流程却是：先给出假设条件-下定义-证明定义-做习题巩固定义。

下面引用马云的一句话表达我的感受：

不是让AI取代人类，而是让AI更懂人类、更好地服务人类。

① 证明AM-GM inequality

算数-几何均值不等式（inequality of arithmetic and geometric means，AM–GM inequality）表明非负的算数均值大于或等于其几何均值，即$(a+b)/2\ge \sqrt{ab}$，如下图所示：

通俗来说，“把数加起来求平均” 永远不会比 “把数相乘开$n$次方根” 得到的结果小。只有当所有数都一样时，这两种平均才完全相同。

Theorem：

给定正数$x_1,x_2,\cdots ，x_n$，它们的算数平均数为：
$$AM=\frac{x_1+x_2\cdots +x_n}{n}$$
对应的几何平均值为：
$$GM=\sqrt[n]{x_1\cdot x_2\cdots \cdot x_n}$$
则有：
$$\boxed{\frac{x_1+x_2\cdots +x_n}{n}\ge \sqrt[n]{x_1\cdot x_2\cdots \cdot x_n}}$$
当$x_1=x_2=\cdots =x_n$时，等式成立。

Proof:

引入琴生不等式，令$f(x)=\ln (x)$，因为$f(x)$是偶函数，所以$f(E[X])\ge E[f(X)]$，则有
$$f(\frac{1}{n}{x}_1+\frac{1}{n}{x}_2+\cdots +\frac{1}{n}{x}_n)\ge \frac{1}{n}f(x_1)+\frac{1}{n}f(x_2)+\cdots +\frac{1}{n}f(x_n)$$
代入$\ln (x)$，
$$\ln \frac{x_1+x_2+\cdots +x_n}{n}\ge \frac{1}{n}\ln (x_1\cdot x_2\cdots \cdot x_n)=\ln \sqrt[n]{x_1\cdot x_2\cdots \cdot x_n}$$
对上式不等式两边取指数$e$，而$e^{\ln x}=x$，所以
$$\frac{x_1+x_2+\cdots +x_n}{n}\ge \sqrt[n]{x_1\cdot x_2\cdots \cdot x_n}$$
得证。

② 证明KL散度的非负性（信息论）

Theorem：
$$\boxed{D_{KL}(P||Q)=\sum _{x\sim P}P(x)\log \frac{P(x)}{Q(x)}={\mathbb{E}}_{x\sim P}[\log \frac{P(x)}{Q(x)}]\ge 0}$$
Proof:

，令$f(x)=\log (x),X=\frac{Q(x)}{P(x)},x\sim P$，推导过程如下：
$$\begin{array}{rl}-D_{KL}(P||Q)& ={\mathbb{E}}_{x\sim P}[\log \frac{Q(x)}{P(x)}]\\ & ={\mathbb{E}}_{x\sim P}[f(X)]\\ & \le f({\mathbb{E}}_{x\sim P}[X])\\ & =f({\mathbb{E}}_{x\sim P}[\frac{Q(x)}{P(x)}])\\ & =f(\sum _{x}P(x)\cdot \frac{Q(x)}{P(x)})\\ & =f(\sum _{x}Q(x))\\ & =\log (1)=0\end{array}$$
得证。

注：$f(x)是凹函数$，引入琴生不等式则有$E[f(X)]\le f(E[X])$。

③ 证明EM算法的证据下界ELBO（机器学习）

EM算法的目标：在存在未知信息（隐变量$Z$）的情况下，找到最优的模型$\theta$使得观测数据的似然函数最大：
$${\theta }^{\ast }=\arg \underset{\theta }{\max }\log P(X|\theta )=\arg \underset{\theta }{\max }\log \sum _{Z}P(X,Z|\theta )$$
式中，$X$是观测数据，$\theta$是模型的参数，$Z$是隐变量。

为了构造优化下界，引入变分分布$Q(Z)$，
$$\begin{array}{rl}\log P(X|\theta )& =\log \sum _Z\frac{Q(Z)}{Q(Z)}P(X,Z|\theta )\\ & =\log \sum _{Z}Q(Z)\frac{P(X,Z|\theta )}{Q(Z)}\\ & \ge \sum _{Z}Q(Z)\log \frac{P(X,Z|\theta )}{Q(Z)}(凹函数，琴生不等式)\end{array}$$
因此，$\log P(X|\theta )$的证据下界（Evidence Lower Bound, ELBO）为
$$\begin{array}{rl}\text{BELO}& =\sum _{Z}Q(Z)\log \frac{P(X,Z|\theta )}{Q(Z)}\\ & =\sum _{Z}Q(Z)\log P(X,Z|\theta )-\sum _{Z}Q(Z)\log Q(Z)\\ & ={\mathbb{E}}_{Q(Z)}[\log P(X,Z|\theta )]-{\mathbb{E}}_{Q(Z)}[\log Q(Z)]\end{array}$$
即证据下界：
$$\boxed{\text{BELO}(Q,\theta )=\sum _{Z}Q(Z)\log P(X,Z|\theta )-\sum _{Z}Q(Z)\log Q(Z)}$$
又因为：
$$\begin{array}{rl}\log P(X|\theta )-\text{BELO}& =\log P(X|\theta )-\sum _{Z}Q(Z)\log \frac{P(X,Z|\theta )}{Q(Z)}\\ & =\sum _{Z}Q(Z)\log P(X|\theta )-\sum _{Z}Q(Z)\log \frac{P(X,Z|\theta )}{Q(Z)}(\sum _{Z}Q(Z)=1与\log P(X|\theta )无关)\\ & =\sum _{Z}Q(Z)\left(\log P(X|\theta )-\log \frac{P(X,Z|\theta )}{Q(Z)}\right)\\ & =\sum _{Z}Q(Z)\log \frac{P(X|\theta )Q(Z)}{P(X,Z|\theta )}\\ & =\sum _{Z}Q(Z)\log \frac{P(X|\theta )Q(Z)}{P(X|\theta )P(Z|\theta ,X)}联合概率：P(B,C|A)=P(B|A)P(C|A,B)\\ & =\sum _{Z}Q(Z)\log \frac{Q(Z)}{P(Z|\theta ,X)}\\ & =D_{KL}(Q(Z)||P(Z|\theta ,X))\end{array}$$
所以，
$$\boxed{\log P(X|\theta )=\text{ELBO}(Q,\theta )+D_{KL}(Q(Z)||P(Z|\theta ,X))}$$
为了让证据下界EBLO尽可能逼近最大似然$\log P(X|\theta )$，以提升模型的准确率，即：

• 最小化KL散度：$D_{KL}(Q(Z)||P(Z|\theta ,X))$
• 最大化EBLO：${\sum }_{Z}Q(Z)\log P(X,Z|\theta )$

最后

一直想系统的写一篇关于琴生不等式的介绍，拖了一年的时间，正好在五一假期前一天，手稿投出去了，花费两天时间形成此文。

以上每一节内容本该单独成为一篇，但考虑到内容的整体性，故放在一起。如前文所述，琴生不等式在VAE、EM、扩散模型等算法的推导中广泛应用，希望后面有深入的应用体会之后，可以将此文扩展，写一个系列。

欢迎批评指正！

参考

[1] Jensen’s inequality - Wikipedia

[2] https://www.quora.com/What-is-an-intuitive-explanation-of-Jensens-Inequality

[3] https://en.wikipedia.org/wiki/Convex_function

[4] https://maitbayev.github.io/posts/jensens-inequality/

[5] 6.2.5 Jensen’s Inequality