机器学习 [白板推导]（八）[EM算法]

10. EM期望最大算法（Expectation Maximization）

10.1 算法简介

  概率模型求解时，很多时候数据只有观测变量，因为缺少隐变量而无法求得解析解，也很难通过极大似然估计法对完整的模型参数进行估计。

  EM算法即为含有隐变量的极大似然估计法（或含有隐变量的极大后验概率估计法）。

  举例：

• 有并不均匀的 $A$，$B$ 和 $C$ 三个硬币，正面朝上的概率分别为 $o$，$p$ 和 $q$ ，首先抛掷 $A$，若正面朝上就抛掷 $B$，若反面朝上就抛掷 $C$，记录最终的抛掷结果为 $x_i=1\text{or}0$，但硬币 $A$ 的抛掷结果作为隐变量未能观测，使得模型参数 $o$，$p$，$q$ 不能精准求解。
• 若使用极大似然估计法，则为
  $\theta =\underset{\theta }{\mathrm{argmax}}\log P(X|\theta )$，忽略了隐变量，但由于 $$\begin{array}{rl}P(X|\theta )& ={\int }_{Z}P(X,Z|\theta )dZ\\ & ={\int }_{Z}P(X|Z,\theta )\cdot P(Z|\theta )dZ\\ & =E_{Z|\theta }[P(X|Z,\theta )],\end{array}\text{\hspace{1em}(10.1)}$$
  因此可以使用生成式概率模型的思想，认为 $X$ 是由 $Z$ 生成的，来对模型参数进行求解

  EM算法分为两步，E步是对 $P(X|\theta )$ 求期望，M步是迭代模型参数 $\theta$ 使得期望最大。

10.2 算法收敛性证明

  首先直接看公式
$$\begin{array}{rl}{\theta }^{(t+1)}& =\underset{\theta }{\mathrm{argmax}}{E}_{z|x,{\theta }^{(t)}}\left[\log P(x,z|\theta )\right]\\ & =\underset{\theta }{\mathrm{argmax}}{\int }_z\left[\log P(x,z|\theta )\cdot P(z|x,{\theta }^{(t)})\right]dz,\end{array}\text{\hspace{1em}(10.2)}$$
其中：

• $x$ 是样本数据，$z$ 是隐变量，$\theta$ 是模型参数；
• $\log P(x,z|\theta )$被称为完备数据概率，因为其包含了 $x$ 和 $z$ 的联合概率分布；
• $p(z|x,{\theta }^{(t)})$ 是后验概率。

  这个公式是通过调整参数 $\theta$，使得 $x,z$ 的完备数据的联合概率密度期望最大，因此被称为期望最大算法，核心思路类似于最大似然估计。

  具体来看，参数是逐步更新的，也就是每次给定当前的参数 ${\theta }^{(t)}$，调整 $\theta$ 使得完备数据概率的期望最大，并将其赋值给 ${\theta }^{(t+1)}$，即完成了参数更新，直至收敛。

  接下来看收敛性证明：

• 根据极大似然估计思想，若保证 $\log P(x|{\theta }^{(t)})⩽\log P(x|{\theta }^{(t+1)})$，则可以保证EM算法的有效性和收敛性。
• 已知 $\log P(x|\theta )=\log \frac{P(x,z|\theta )}{P(z|x,\theta )}=\log P(x,z|\theta )-\log P(z|x,\theta )$，将两边对 $z$ 积分：
  • 等号左边因为所有变量都与 $z$ 无关，所以积分值为 $\log P(x|\theta )\cdot 1=\log P(x|\theta )$。
  • 等号右边为 ${\int }_{z}P(z|x,{\theta }^{(t)})\cdot \log P(x,z|\theta )dz-{\int }_{z}P(z|x,{\theta }^{(t)})\cdot \log P(z|x,\theta )dz$，分别记作 $Q(\theta ,{\theta }^{(t)})$ 和 $H(\theta ,{\theta }^{(t)})$，因此等号右边为 $Q(\theta ,{\theta }^{(t)})-Q(\theta ,{\theta }^{(t)})$。
  • 若能保证 $Q({\theta }^{(t+1)},{\theta }^{(t)})⩾Q(\theta ,{\theta }^{(t)})$，$H({\theta }^{(t+1)},{\theta }^{(t)})⩽H(\theta ,{\theta }^{(t)})$，则可以保证 $\log P(x|{\theta }^{(t)})⩽\log P(x|{\theta }^{(t+1)})$，从而保证期望上升。
    • $Q(\theta ,{\theta }^{(t)})$ 即为定义（第一行的公式），因此 $Q({\theta }^{(t+1)},{\theta }^{(t)})$ 即为 $Q(\theta ,{\theta }^{(t)})$ 的最大值，因此 $Q({\theta }^{(t+1)},{\theta }^{(t)})⩾Q(\theta ,{\theta }^{(t)})$ 恒成立。
    • 另外有
      $$\begin{array}{rl}& H({\theta }^{(t+1)},{\theta }^{(t)})-H({\theta }^{(t)},{\theta }^{(t)})\\ =& {\int }_{z}P(z|x,{\theta }^{(t)})\cdot \log P(z|x,{\theta }^{(t+1)})dz-{\int }_{z}P(z|x,{\theta }^{(t)})\cdot \log P(z|x,{\theta }^{(t)})dz\\ =& {\int }_{z}P(z|x,{\theta }^{(t)})\cdot \log \frac{P(z|x,{\theta }^{(t+1)})dz}{P(z|x,{\theta }^{(t)})dz}=-KL\left(P(z|x,{\theta }^{(t)})\Vert P(z|x,{\theta }^{(t)})\right)⩽0,\end{array}\text{\hspace{1em}(10.3)}$$
      （或者不从KL散度的角度，也可以用 $E[\log x]⩽\log E[x]$ 证明），因此 $H({\theta }^{(t+1)},{\theta }^{(t)})⩽H({\theta }^{(t)},{\theta }^{(t)})$ 得证。

10.3 ELBO+KL散度导出公式

  已知 $\log P(x|\theta )=\log \frac{P(x,z|\theta )}{P(z|x,\theta )}=\log P(x,z|\theta )-\log P(z|x,\theta )$，设隐变量 $z$ 的先验概率分布为 $q(z)$，则：
$$\begin{array}{rl}\log P(x|\theta )& =\log P(x,z|\theta )-\log P(z|x,\theta )\\ & =\log P(x,z|\theta )-\log q(z)-\left[\log P(z|x,\theta )-\log q(z)\right]\\ & =\log \frac{P(x,z|\theta )}{q(z)}-\log \frac{P(z|x,\theta )}{q(z)},\end{array}\text{\hspace{1em}(10.4)}$$

  将上式两边对 $z$ 积分：

• 左边 $={\int }_z\log P(x|\theta )\cdot q(z)dz=\log P(x|\theta )$。
• 右边 $={\int }_z\log \frac{P(x,z|\theta )}{q(z)}\cdot q(z)dz-{\int }_z\log \frac{P(z|x,\theta )}{q(z)}\cdot q(z)dz=ELBO-KL\left[q(z)||P(z|x,\theta )\right]$，其中$\text{ELBO}$ 为证据下界evidence lower bound；

  因此当且仅当 $q(z)==P(z|x,\theta )$ 时，$KL\left[q(z)||P(z|x,\theta )\right]=0$，$\log P(x|\theta )=ELBO$，此时优化 $\text{ELBO}$ 即为优化 $\log P(x|\theta )$，但这种方法并不保证可以找到 $\log P(x|\theta )$ 的全局最大值；

10.4 Jensen不等式导出公式

  根据Jensen不等式，$f(E(x))⩾E[f(x)]$，
$$\begin{array}{rl}\log P(x|\theta )& =\log \left[{\int }_{z}P(x,z|\theta )dz\right]=\log \left[{\int }_z\frac{P(x,z|\theta )}{q(z)}\cdot q(z)dz\right]\\ & =\log E_{q(z)}\left[\frac{P(x,z|\theta )}{q(z)}\right]⩾E_{q(z)}\left[\log \frac{P(x,z|\theta )}{q(z)}\right],\end{array}\text{\hspace{1em}(10.5)}$$
当且仅当 $\frac{P(x,z|\theta )}{q(z)}=C$ 时等号成立。

  左右变换得$\begin{array}{r}\frac{P(x,z|\theta )}{C}=q(z)\end{array}$，两边对 $z$ 积分，得 $\frac{1}{C}{\int }_{z}P(x,z|\theta )dz=\frac{1}{C}P(x|\theta )={\int }_{z}q(z)dz=1$，即 $P(x|\theta )=C$，因此 $q(z)=\frac{P(x,z|\theta )}{P(x|\theta )}=P(z|x,\theta )$，与ELBO+KL散度得到相同结论。

10.5 广义EM

  根据上面的推导，EM算法的目标函数 $\log P(X|\theta )$ 等效为 $\text{ELBO: }{E}_{q(z)}[\log \frac{P(X,Z|\theta )}{q(z)}]=E_{q(z)}[\log P(X,Z|\theta )]-{\int }_z\log q(z)dz$，当且仅当 $q(z)==P(z|x,\theta )$ 时，$\text{ELBO}$ 达到最大值 $\text{ELBO}=\log P(x|\theta )$。

  但在某些场景中，后验概率 $P(z|x,\theta )$ 无法直接求解，因此可以对 $q(z)==P(z|x,\theta )$ 进行同步迭代，即为广义EM算法：

• E步：$q^{(t+1)}(z)=\underset{q}{\mathrm{argmax}}\text{ELBO}$；
• M步：${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}\text{ELBO}$；