DDIM(Diffusion)个人总结
DDPM请看这里
为了解决降噪时,DDPM一次只能预测一个时间步,提出了DDIM,达到一次跨越多个时间步的目的。
即从 p ( x t − 1 ∣ x t ) p(x_{t-1}|x_t) p(xt−1∣xt)到 p ( x s ∣ x k ) p(x_{s}|x_k) p(xs∣xk),其中 s ≤ k − 1 s≤k-1 s≤k−1。这里使用了待定系数法,但会有一个方差作为待定系数:
x s = α ˉ s ( x k − 1 − α ˉ k ϵ θ ( x k , k ) α ˉ k ) + 1 − α ˉ s ϵ θ ( x k , k ) + σ s ∣ k z , z ∼ N ( 0 , I ) . x_s = \sqrt{\bar\alpha_s}\,\left(\frac{x_k - \sqrt{1-\bar\alpha_k}\,\epsilon_\theta(x_k,k)}{\sqrt{\bar\alpha_k}}\right) + \sqrt{1-\bar\alpha_s}\,\epsilon_\theta(x_k,k) + \sigma_{s|k}\,z,\quad z\sim\mathcal N(0,I). xs=αˉs(αˉkxk−1−αˉkϵθ(xk,k))+1−αˉsϵθ(xk,k)+σs∣kz,z∼N(0,I).
其中, z ∼ N ( 0 , I ) z\sim\mathcal N(0,I) z∼N(0,I) , σ s ∣ k \sigma_{s|k} σs∣k是待定的方差系数
- σ s ∣ k = 0 \sigma_{s|k}=0 σs∣k=0:确定性(无噪声)采样路径;
- σ s ∣ k = β ˜ t \sigma_{s|k}=\~β_t σs∣k=β˜t:随机性(与 DDPM 一致)采样路径
DDIM 通过控制该方差项 σ s ∣ k \sigma_{s|k} σs∣k的取值,在二者之间自由切换,从而实现少步数采样、速度更快且图像质量接近 DDPM的效果
