论文阅读笔记：Generative Modeling by Estimating Gradients of the Data Distribution

1、参考来源

论文《Generative Modeling by Estimating Gradients of the Data Distribution》
来源：NeurIPS 2019
论文链接：https://arxiv.org/abs/1907.05600
参考链接：
【AI知识分享】真正搞懂扩散模型Score Matching一定要理解的三大核心问题

2、布朗运动

布朗运动是描述花粉微粒在水中的运动情况的。可以看出，花粉微粒在水中的受力情况如下所示。因此根据牛顿第二定律，
$$\begin{array}{c}\begin{array}{rl}F& =ma\\ m\cdot \frac{d{v}_t}{dt}& =F_{合力}\\ & =F_{摩擦力}+F_{碰撞力}\\ & =-\gamma \cdot v_t+\eta \end{array}\end{array}$$
其中，$\gamma$是摩擦力因子。$\eta$是碰撞力，也是一个随机的力，满足高斯分布，$\eta \sim N(0,{\sigma }^2)$。

花粉微粒包含的总能量$E_{\omega }$包含动能$E$和势能$U$。在合力的作用下，动能和势能相互转化，且总能量保持不变。动能定理，可以得到
$$\begin{array}{c}\begin{array}{rl}{F}_{合力}\cdot \Delta x& =\Delta E\\ & \Updownarrow \\ F_{合力}& =\frac{\Delta E}{\Delta x}\\ & =\frac{\Delta E_{\omega }-\Delta U}{\Delta x}\\ & =\frac{-\Delta U}{\Delta x}\end{array}\end{array}$$

其中， $x$为位移。由于花粉微粒的总能力$E_{\omega }$保持不变，因此$\frac{\Delta E_{\omega }}{\Delta x}=0$。
另一方面，花粉微粒在水中的分布，服从波尔兹曼分布。
$$\begin{array}{c}\begin{array}{r}P(x)=\frac{e^{-U(x)}}{z}\end{array}\end{array}$$
其中$U(x)$表示在位置$x$处的花粉微粒所具有的势能。$z$ 是一个归一化因子。也就是说，具有势能越大的花粉，其对应的概率密度越小。波尔兹曼分布是描述粒子的热运动的。玻尔兹曼分布体现了系统的稳定性倾向。系统中的粒子总是趋向于占据能量较低的状态，因为低能量状态更稳定。但由于热运动的存在，粒子也有一定的概率处于较高能量的状态，不过这种概率会随着能量的升高而迅速减小。探秘玻尔兹曼分布：解锁微观粒子能量分布的神奇密码

对公式（3）的两边分别取对数且求导
$$\begin{array}{c}\begin{array}{rl}{\nabla }_{x}log(P(x))& ={\nabla }_{x}log\frac{e^{-U(x)}}{z}\\ & ={\nabla }_x-U(x)\\ & =F_{合力}\\ & =-\gamma \cdot v_t+\eta \\ & =-\gamma \cdot \frac{dx}{dt}+\eta \\ & \Updownarrow \\ dx& =-\frac{dt}{\gamma }{\nabla }_{x}log(P(x))+\frac{\eta }{\gamma }\cdot dt\\ & \Updownarrow \\ x_{t+\Delta t}& =x_t-\frac{\Delta t}{\gamma }{\nabla }_{x}log(P(x))+\frac{\Delta t}{\gamma }\cdot \eta \\ & =x_t-\frac{\Delta t}{\gamma }{\nabla }_{x}log(P(x))+\frac{\Delta t}{\gamma }\cdot \sigma \cdot z\end{array}\end{array}$$
其中，$z\sim N(0,1)$。如果分别令$\frac{\Delta t}{\gamma }=\frac{ϵ}{2}$，$\frac{\Delta t}{\gamma }\cdot \sigma =\sqrt{ϵ}$。公式(4)则变为
$$\begin{array}{c}\begin{array}{r}{x}_{t+\Delta t}=x_t-\frac{ϵ}{2}{\nabla }_{x}log(P(x))+\sqrt{ϵ}\cdot z\end{array}\end{array}$$
对于下图中的概率分布来说，对于在$x_0$处的花粉微粒来说，其对应的斜率是负数，对应于公式(4)中的${\nabla }_{x}log(P(x))$是负数。因此，相对于$x_t$，$x_{t+\Delta t}$大概率会增大，因为是存在一个随机高斯分布$\eta$；对于在$x_1$处的花粉微粒来说，其对应的斜率是正数，对应于公式(4)中的${\nabla }_{x}log(P(x))$是正数。因此，相对于$x_t$，$x_{t+\Delta t}$大概率会减小。综上所述，花粉微粒大概率会朝向密度低的位置移动。这是符合墨水滴入水中的运动常识的。

论文《Generative Modeling by Estimating Gradients of the Data Distribution》中的公式如公式（6）所示。可以看出，论文中的公式（6）是花粉扩散过程的逆过程
$$\begin{array}{c}\begin{array}{r}{x}_{t+\Delta t}=x_t+\frac{ϵ}{2}{\nabla }_{x}log(P(x))+\sqrt{ϵ}\cdot z\end{array}\end{array}$$