DDPM(Diffusion）个人总结

注：这是笔者自己的笔记，主要供复习使用，因此比较粗糙，详细过程请移步其余优秀博客

最终目的：得到$p(x_0|x_T)$。其中$T$是加噪的步数，是预先定义的；注意，这里学习的是$x_0$的分布，而不是$x_0$！

为了实现这个目的，我们的模型真正学习的是：$p(x_{t-1}|x_t)$，有了这样的模型，我们就可以一步步，由$x_T$一直推理到$x_0$了。

而前向（加噪）过程是已经被定下来的：$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{{\beta }_t}{\epsilon }_t$，其中${\epsilon }_t\sim N(0,I)$，于是$x_t\sim N(\sqrt{{\alpha }_t}{x}_{t-1},{\beta }_t)$，于是$x_t=\sqrt{{\tilde{\alpha }}_t}{x}_0+\sqrt{{\tilde{\beta }}_t}\epsilon$，其中$\epsilon \sim N(0,I)$。

现在，求$p(x_{t-1}|x_t)$。根据贝叶斯公式，推导出$x_{t-1}=\bar{\mu }(x_0,x_t)+\sqrt{{\tilde{\beta }}_t}\epsilon$，其中$\epsilon \sim N(0,I)$，$\bar{\mu }(x_0,x_t)=\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{x}_0+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t$。注意，在训练时，$x_0$是已知的原图，可以直接使用。但推理时，$x_0$是未知的，就需要进行预测。（以下为推理时的公式）

如何预测呢？由于$x_t=\sqrt{{\tilde{\alpha }}_t}{x}_0+\sqrt{{\tilde{\beta }}_t}\epsilon$，可以得到$x_0=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}ϵ}{\sqrt{{\bar{\alpha }}_t}}$。注意，这里可不是直接可以推理得到最终生成图片$x_0$了。公式上当然是的，但效果会很差。这里的$x_0$只是用来推理$x_{t-1}$的一个小零件。我们的U-net输出的噪声就是此处公式中的噪声$\epsilon$，即当初生成$x_t$时的噪声。

将$x_0$带入$\bar{\mu }(x_0,x_t)$，有$\bar{\mu }(x_0,x_t)=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}})$。

于是，现在：$x_{t-1}=\bar{\mu }(x_0,x_t)+\sqrt{{\tilde{\beta }}_t}\epsilon$，我们对这里的$\epsilon$随机采样，就可以得到预测的$x_{t-1}$了。