生成模型 | DDPM -＞ Imrpoved DDPM -＞ DDIM

DDPM: Denoising Diffusion Probabilistic Models

采样过程中的迭代计算为：

• $x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-\bar{\alpha }}}{ϵ}_{\theta }(x_t,t))+\sqrt{{\tilde{\beta }}_t}z$
• $z\sim N(0,I)\text{ if }t>1\text{ else }z=0$

对应于前面的介绍：

• ${\tilde{\mu }}_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-\bar{\alpha }}}{ϵ}_{\theta }(x_t,t))$：由于训练过程中 $x_t$ 是已知的，所以直接使用模型预测其中的噪声即可。
• ${\tilde{\beta }}_{\theta }(x_t,t)={\tilde{\beta }}_{t}I$：而这里的方差既可以学习获得，也可以手工设置。DDPM使用后者，因为发现训练一个对角方差${\beta }_{\theta }$会导致训练不稳定且采样质量较差。不考虑其训练的话，可以通过移除常数项从而简化损失函数中间项 ($1\le t<T$) 为$L_{\text{simple}}$，通常设置采样中的方案 ${\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}\cdot {\beta }_t$（fixedsmall，即前述推导所得的形式）或者直接设置为前向方差 ${\beta }_t$（fixedlarge，要大于fixedsmall，${\bar{\alpha }}_t<{\bar{\alpha }}_{t-1}$）。

所以损失函数为：
$$L^{\text{simple}}={\mathbb{E}}_{q(x_{0:T})}[\Vert {\mathbf{ϵ}}_t-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t){\Vert }^2]={\mathbb{E}}_{q(x_{0:T})}[\Vert {\mathbf{ϵ}}_t-{\mathbf{ϵ}}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}{\mathbf{ϵ}}_t,t){\Vert }^2]$$

• $T=1000$：预设的步数。
• ${\alpha }_t=1-\frac{0.02t}{T}\Rightarrow \log {\bar{\alpha }}_t={\sum }_{t=1}^T\log (1-\frac{0.02t}{T})<{\sum }_{t=1}^T-\frac{0.02t}{T}=-\frac{0.02}{T}\frac{T(T+1)}{2}=-0.01(T+1)=-10.01\Rightarrow {\bar{\alpha }}_t\le e^{-10.01}\approx 0$，从而可以将数据抑制为仅剩噪声。注意这里使用了不等式关系$\frac{x}{1+x}\le \log (1+x)\le x,\forall x>-1$。
• 对应的${\beta }_1=2\times 10^{-5}\to {\beta }_T=0.02$的线性插值。

按照反向扩散过程的马尔可夫链从DDPM生成样本是非常慢的，因为这里的$T$可能上达数千步。所以后续许多方法对其采样过程进行了优化与调整，来实现更快的图像生成。

Improved DDPM: Improved Denoising Diffusion Probabilistic Models

• ${\beta }_t$：相较于DDPM中使用的线性常量增加的序列，使用了基于余弦形式的调整策略。调度函数的选择可以是任意的，只要它在训练过程的中间提供一个近似线性的下降，并在$t=0$和$t=T$附近有微小的变化。这里使用的是：${\beta }_t=\text{clip}(1-\frac{{\bar{\alpha }}_t}{{\bar{\alpha }}_{t-1}},0.999),{\bar{\alpha }}_t=\frac{f(t)}{f(0)},\text{where }f(t)=\cos (\frac{t/T+s}{1+s}\cdot \frac{\pi }{2}{)}^2$，这里的$s$是一个超参数，用于控制$t=0$时的噪声尺度。
• ${\tilde{\beta }}_{\theta }(x_t,t)=\exp (v\log {\beta }_t+(1-v)\log {\tilde{\beta }}_t)$：利用模型预测两个边界值${\beta }_t$和${\tilde{\beta }}_t$之间的混合向量$v$。相应的，DDPM中使用的简单版本的损失函数就没法使用了。所以使用了$L_{\text{hybrid}}=L_{\text{simple}}+\lambda L_{VLB},\lambda =0.001$，这里的第二项中会截止${\tilde{\mu }}_{\theta }$的梯度，从而仅仅引导方差项的学习。经验观察到，由于有噪声梯度，优化起来很有挑战性，所以建议对第二项使用配合重要性采样的时间平均平滑版本。

为了加快采样过程，本文直接对原本完整的$T$步，使用$\lceil T/S\rceil$作为采样步间隔得到新的采样步{τ1,…,τS}\{\tau_1, \dots, \tau_S\}{τ1​,…,τS​}，从而将整体步数缩减为$S$步。

DDIM: Denoising Diffusion Implicit Models

DDPM 的损失函数尽管在推导中依赖马尔可夫性，但是最终形式却只依赖边际分布$q(x_t|x_0)$，所有出现的 $q(\cdot |x_0)$ 都是由 ${\bar{\alpha }}_t$ 定义的边际高斯分布，而这些边际分布的形式在任何满足相同边际的前向过程（无论是马尔可夫还是非马尔可夫）下都保持不变。DDIM 中通过延续这些边际分布，但是将原来 DDPM 的马尔可夫链换成一条非马尔可夫链，从而设计为更有效的迭代隐式概率模型。其本身由于边际分布不变，所以损失形式可以沿用DDPM的形式，具有相同的训练目标。但其反向过程（去噪生成过程）却因为忽略了马尔可夫性，使其避免了相邻步之间的依赖，从而可以更快地采样。

非马尔科夫链采样

DDPM依据马尔可夫链性质，对反向转移分布$q(x_{t-1}|x_t,x_0)$进行了简化和拆解，最终得到了如下形式：
$$\begin{array}{r}q(x_{t-1}|x_t,x_0)=\mathcal{N}({\tilde{\mu }}_t(x_t,x_0),{\tilde{\beta }}_{t}I)=\mathcal{N}(\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{x}_0,\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_{t}I)\end{array}$$

这份工作直接假定了非马尔可夫链条件下的情况：
$$\begin{array}{rlr}q(x_{t-1}|x_t,x_0)& =\mathcal{N}(k{x}_0+m{x}_t,{\hat{\beta }}_{t}I)& \text{自定义了均值和方差}\\ q(x_{t-1}|x_0)& =\mathcal{N}(\sqrt{{\bar{\alpha }}_{t-1}}{x}_0,(1-{\bar{\alpha }}_{t-1})\mathbf{I})& \\ x_{t-1}& =k{x}_0+m{x}_t+\sqrt{{\hat{\beta }}_t}ϵ& ϵ\sim \mathcal{N}(0,I)\\ & =k{x}_0+m(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_t)+\sqrt{{\hat{\beta }}_t}ϵ& {\overline{ϵ}}_t\sim \mathcal{N}(0,I)\\ & =(k+m\sqrt{{\bar{\alpha }}_t})x_0+m\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_t+\sqrt{{\hat{\beta }}_t}ϵ& \\ & =(k+m\sqrt{{\bar{\alpha }}_t})x_0+\sqrt{m^2(1-{\bar{\alpha }}_t)+{\hat{\beta }}_t}{ϵ}^{\prime }& {ϵ}^{\prime }\sim \mathcal{N}(0,I)\\ \Downarrow & & \\ \text{结合前述分布形式}\Rightarrow & \{\begin{array}{l}k+m\sqrt{{\bar{\alpha }}_t}=\sqrt{{\bar{\alpha }}_{t-1}}\\ m^2(1-{\bar{\alpha }}_t)+{\hat{\beta }}_t=1-{\bar{\alpha }}_{t-1}\end{array}\Rightarrow \{\begin{array}{l}k=\sqrt{{\bar{\alpha }}_{t-1}}-\sqrt{{\bar{\alpha }}_t}\sqrt{\frac{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}{1-{\bar{\alpha }}_t}}\\ m=\sqrt{\frac{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}{1-{\bar{\alpha }}_t}}\end{array}& \\ \Downarrow & & \\ q(x_{t-1}|x_t,x_0)& =\mathcal{N}((\sqrt{{\bar{\alpha }}_{t-1}}-\sqrt{{\bar{\alpha }}_t}\sqrt{\frac{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}{1-{\bar{\alpha }}_t}})x_0+(\sqrt{\frac{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}{1-{\bar{\alpha }}_t}})x_t,{\hat{\beta }}_{t}I)& \\ & =\mathcal{N}(\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}},{\hat{\beta }}_{t}I)& \\ x_{t-1}& =\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}}+\sqrt{{\hat{\beta }}_t}{ϵ}^{\prime }& \\ & =\sqrt{{\bar{\alpha }}_{t-1}}\left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}\right)+\sqrt{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}\frac{x_t-(x_t-\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_{\theta }(x_t,t))}{\sqrt{1-{\bar{\alpha }}_t}}+\sqrt{{\hat{\beta }}_t}{ϵ}^{\prime }& \\ & =\sqrt{{\bar{\alpha }}_{t-1}}\underset{\text{predicted }{x}_0}{\underbrace{\left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}\right)}}+\underset{\text{direction pointing to }{x}_t}{\underbrace{\sqrt{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}{\overline{ϵ}}_{\theta }(x_t,t)}}+\underset{\text{random noise}}{\underbrace{\sqrt{{\hat{\beta }}_t}{ϵ}^{\prime }}}& \end{array}$$

本文设置了一个特殊的方差：${\hat{\beta }}_t$，这里的$\eta \in {\mathbb{R}}^{+}$是一个超参数用于控制采样过程中的方差，从而调整过程的随机性。
$$\begin{array}{r}{\hat{\beta }}_t={\eta }^2{\tilde{\beta }}_t={\eta }^2\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t={\eta }^2\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}(1-{\alpha }_t)\end{array}$$

由于推导过程中，并未使用马尔科夫链的特性，所以DDIM的$q(x_{t-1}|x_t,x_0)$实际上可以扩展为$q(x_{{\tau }_{i-1}}|x_{{\tau }_t},x_0)$，从而再生成过程中，只需要$S$个扩散步，即{τ1,…,τS}\{\tau_1, \dots, \tau_S\}{τ1​,…,τS​}：
$$\begin{array}{rl}q(x_{{\tau }_{i-1}}|x_{{\tau }_t},x_0)& =\mathcal{N}(\sqrt{{\bar{\alpha }}_{{\tau }_i-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{{\tau }_i-1}-{\hat{\beta }}_{{\tau }_i}}\frac{x_{{\tau }_i}-\sqrt{{\bar{\alpha }}_{{\tau }_i}}{x}_0}{\sqrt{1-{\bar{\alpha }}_{{\tau }_i}}},{\hat{\beta }}_{{\tau }_i}\mathbf{I})\end{array}$$

这实际上也证明了，如过想要准确的估计出来$q(x_{t-1}|x_t,x_0)$，实际上不是必须要计算$q(x_t|x_{t+1},x_0)$，而DDPM中的马尔科夫性质对相邻时间步是存在约束的。因此，模型只要在训练中能够学会如何估计出每步积累的噪声就好了，而没有必要在采样中每步一一执行。当然，这也进一步对模型的噪声估计提出了要求。步数越且步数分布比较合理时，效果越好。因为对于距离更近的步骤，通过网络预测出对应的噪声会更容易。

在设置$T=1000$时：

• 当选定的步数$S$很少时，例如$\eta =0$的DDIM可以获得最好的生成质量，而$\eta =1$时则差得多。
• 当选定的步数$S=T$时，使用更大的方差能够获得更好的效果。

方差构造

方差参数的三种特殊版本：

• $\eta =1$：等价于DDPM的fixedsmall版本。
• $\eta =0$：采样过程不再具有随机性。
• ${\hat{\beta }}_t={\tilde{\beta }}_t={\beta }_t$：等价于DDPM的fixedlarge版本。

在生成过程中，这里的方差参数越小，最终生成图像的噪声和多样性反而相对来说越大；整体步数（跨步）越少，生成的图片更加平滑，多样性也会有所降低；所以在整体扩散部署减少的时候，可以适当缩小${\hat{\beta }}_t$，以保持生成图片质量大致不变，这跟DDIM原论文的实验结论是一致的。总体来说不带噪声的生成过程的生成效果不如带噪声的生成过程，不带噪声时生成效果受模型架构影响较大。

$\eta =1$ 等价于DDPM

此时DDPM和DDIM的优化目标$q(x_{t-1}|x_t,x_0)$就一样了，此时二者的方差是一样的，对于均值，可以进行如下推导：
$$\begin{array}{rl}\sqrt{{\bar{\alpha }}_{t-1}}\left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}\right)& +\sqrt{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}{\overline{ϵ}}_{\theta }(x_t,t)\\ & =\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{\sqrt{{\bar{\alpha }}_t}}(x_t-\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_{\theta }(x_t,t))+\sqrt{1-{\bar{\alpha }}_{t-1}-\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}(1-{\alpha }_t)}{\overline{ϵ}}_{\theta }(x_t,t)\\ & =\frac{1}{\sqrt{{\alpha }_t}}{x}_t-\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\alpha }_t}}{\overline{ϵ}}_{\theta }(x_t,t)+\sqrt{\frac{({\alpha }_t-{\bar{\alpha }}_t)(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t)\\ & =\frac{1}{\sqrt{{\alpha }_t}}{x}_t-\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\alpha }_t}}{\overline{ϵ}}_{\theta }(x_t,t)+\sqrt{\frac{{\alpha }_t(1-{\bar{\alpha }}_{t-1}{)}^2}{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t)\\ & =\frac{1}{\sqrt{{\alpha }_t}}{x}_t-\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\alpha }_t}}{\overline{ϵ}}_{\theta }(x_t,t)+(1-{\bar{\alpha }}_{t-1})\sqrt{\frac{{\alpha }_t}{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t)\\ & =\frac{1}{\sqrt{{\alpha }_t}}{x}_t+((1-{\bar{\alpha }}_{t-1})\frac{\sqrt{{\alpha }_t}}{\sqrt{1-{\bar{\alpha }}_t}}-\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\alpha }_t}}){\overline{ϵ}}_{\theta }(x_t,t)\\ & =\frac{1}{\sqrt{{\alpha }_t}}(x_t+\frac{(1-{\bar{\alpha }}_{t-1}){\alpha }_t-(1-{\bar{\alpha }}_t)}{\sqrt{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t))\\ & =\frac{1}{\sqrt{{\alpha }_t}}(x_t+\frac{{\alpha }_t-{\bar{\alpha }}_t-1+{\bar{\alpha }}_t}{\sqrt{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t))\\ & =\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t))\\ & =\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t))\end{array}$$

微分方程视角

$$\begin{array}{rl}\sqrt{{\alpha }_t}{x}_{t-1}& =x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t)+\sqrt{{\alpha }_t}\sqrt{\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}}(1-{\alpha }_t){ϵ}^{\prime }\\ \frac{x_{t-1}}{\sqrt{{\bar{\alpha }}_{t-1}}}& =\frac{x_t}{\sqrt{{\bar{\alpha }}_t}}-\frac{1-{\alpha }_t}{\sqrt{{\bar{\alpha }}_t}\sqrt{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t)+\frac{\sqrt{1-{\bar{\alpha }}_{t-1}}}{\sqrt{{\bar{\alpha }}_{t-1}}\sqrt{1-{\bar{\alpha }}_t}}\sqrt{(1-{\alpha }_t)}{ϵ}^{\prime }\\ \frac{x_t}{\sqrt{{\bar{\alpha }}_t}}-\frac{x_{t-1}}{\sqrt{{\bar{\alpha }}_{t-1}}}& =\frac{1-{\alpha }_t}{\sqrt{{\bar{\alpha }}_t}\sqrt{1-{\bar{\alpha }}_t}}{\overline{ϵ}}_{\theta }(x_t,t)-\frac{\sqrt{1-{\bar{\alpha }}_{t-1}}}{\sqrt{{\bar{\alpha }}_{t-1}}\sqrt{1-{\bar{\alpha }}_t}}\sqrt{(1-{\alpha }_t)}{ϵ}^{\prime }\\ & \Downarrow 当T足够大，或两个\alpha 差异足够小（差异也小）\\ \Delta \left(\frac{x(s)}{\sqrt{\bar{\alpha }(s)}}\right)& =\frac{\stackrel{\approx {\Delta }_s}{\overbrace{1-\alpha (s)}}}{\sqrt{{\bar{\alpha }}_s}\sqrt{1-\bar{\alpha }(s)}}{\overline{ϵ}}_{\theta }(x(s),s)-\frac{\sqrt{1-\bar{\alpha }(s-1)}}{\sqrt{\bar{\alpha }(s-1)}\sqrt{1-\bar{\alpha }(s)}}\stackrel{\approx \sqrt{{\Delta }_s}}{\overbrace{\sqrt{1-\alpha (s)}}}{ϵ}^{\prime }\\ & \approx \underset{\text{drift item}}{\underbrace{\frac{1}{\sqrt{{\bar{\alpha }}_s}\sqrt{1-\bar{\alpha }(s)}}{\overline{ϵ}}_{\theta }(x(s),s)}}{\Delta }_s\underset{\text{diffusion item}}{\underbrace{-\frac{1}{\sqrt{\bar{\alpha }(s)}}}}{\Delta }_{W_s}\end{array}$$

这里的$W_s$表示维纳过程，其增量服从高斯分布${\Delta }_{W_s}=W_{s+{\Delta }_s}-W_s\sim \mathcal{N}(0,{\Delta }_s)$

$\eta =0$ 此时为确定性采样

此时${\hat{\beta }}_t=0$：
$$\begin{array}{rl}{x}_{t-1}& =\sqrt{{\bar{\alpha }}_{t-1}}\underset{\text{predicted }{x}_0}{\underbrace{\left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}\right)}}+\underset{\text{direction pointing to }{x}_t}{\underbrace{\sqrt{1-{\bar{\alpha }}_{t-1}-{\hat{\beta }}_t}{\overline{ϵ}}_{\theta }(x_t,t)}}+\underset{\text{random noise}}{\underbrace{\sqrt{{\hat{\beta }}_t}{ϵ}^{\prime }}}\\ & =\sqrt{{\bar{\alpha }}_{t-1}}\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}+\sqrt{1-{\bar{\alpha }}_{t-1}}{\overline{ϵ}}_{\theta }(x_t,t)\\ & =\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{\overline{ϵ}}_{\theta }(x_t,t)}{\sqrt{{\alpha }_t}}+\sqrt{1-{\bar{\alpha }}_{t-1}}{\overline{ϵ}}_{\theta }(x_t,t)\\ & =\frac{1}{\sqrt{{\alpha }_t}}{x}_t+(\sqrt{1-{\bar{\alpha }}_{t-1}}-\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\alpha }_t}}){\overline{ϵ}}_{\theta }(x_t,t)\end{array}$$

此时采样过程不再依赖于外部新添加的噪声，而是仅仅依赖于模型预测的“确定”噪声。所以整体的预测过程就是完全确定的，意味着给定$x_t$，得到的$x_{t-1}$就是唯一确定的。

微分方程视角

对前述公式进行进一步变换：
$$\begin{array}{rl}{x}_t& =\sqrt{{\alpha }_t}{x}_{t-1}-(\sqrt{{\alpha }_t}\sqrt{1-{\bar{\alpha }}_{t-1}}-\sqrt{1-{\bar{\alpha }}_t}){\overline{ϵ}}_{\theta }(x_t,t)\\ \frac{x_t}{\sqrt{{\bar{\alpha }}_t}}& =\frac{\sqrt{{\alpha }_t}}{\sqrt{{\bar{\alpha }}_t}}{x}_{t-1}-(\frac{\sqrt{{\alpha }_t}}{\sqrt{{\bar{\alpha }}_t}}\sqrt{1-{\bar{\alpha }}_{t-1}}-\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\bar{\alpha }}_t}}){\overline{ϵ}}_{\theta }(x_t,t)\\ \frac{x_t}{\sqrt{{\bar{\alpha }}_t}}& =\frac{x_{t-1}}{\sqrt{{\bar{\alpha }}_{t-1}}}-(\frac{\sqrt{1-{\bar{\alpha }}_{t-1}}}{\sqrt{{\bar{\alpha }}_{t-1}}}-\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\bar{\alpha }}_t}}){\overline{ϵ}}_{\theta }(x_t,t)\\ \frac{x_t}{\sqrt{{\bar{\alpha }}_t}}-\frac{x_{t-1}}{\sqrt{{\bar{\alpha }}_{t-1}}}& =(\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\bar{\alpha }}_t}}-\frac{\sqrt{1-{\bar{\alpha }}_{t-1}}}{\sqrt{{\bar{\alpha }}_{t-1}}}){\overline{ϵ}}_{\theta }(x_t,t)\\ & \Downarrow 当T足够大，或两个\alpha 足够小（差异也小）\\ \frac{d}{ds}\left(\frac{x(s)}{\sqrt{\bar{\alpha }(s)}}\right)& ={\overline{ϵ}}_{\theta }(x(s),t(s))\frac{d}{ds}\left(\frac{\sqrt{1-\bar{\alpha }(s)}}{\sqrt{\bar{\alpha }(s)}}\right)\end{array}$$

基于这个常微分方程的视角，整体的采样过程就是从$s=1(t=T)$求解$s=0(t=0)$时的$x(0)$。而DDIM的这种确定性迭代过程，实际上对应了该常微分方程的欧拉解法。同样可以应用其他更有效的求解方案，例如R-K方案等。在这个视角下，生成过程等同于求解常微分方程，也因此可以进一步借助常微分方程的数值解法，为生成过程的加速提供更丰富多样的手段。

参考资料

• 万字长文【Diffusion Model-DDIM数学原理推导】与【源码详解】 - Dezeming的文章 - 知乎 https://zhuanlan.zhihu.com/p/1927489312892629561
• 生成扩散模型漫谈（四）：DDIM = 高观点DDPM https://spaces.ac.cn/archives/9181