扩散模型的数学基础 —— 贝叶斯

贝叶斯定理基础

给定两个事件 $A$ 和 $B$，条件概率定义为：

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)},P(B\mid A)=\frac{P(A\cap B)}{P(A)}$$

由此得：

$$P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A)$$

移项得贝叶斯定理：

$$\boxed{P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}}$$

贝叶斯定理在条件扩散模型中的应用

在扩散模型中，设想我们希望生成满足某个条件 $y$ 的样本 $x_0$。我们研究的是在某一时刻 $t$，扩散模型下的 条件分布的梯度（得分）：

$${\nabla }_{x_t}\log p_t(x_t\mid y)$$

这是生成满足条件 $y$ 的样本所需的梯度方向。

利用贝叶斯定理分解

对数形式的贝叶斯定理：

$$\log p_t(x_t\mid y)=\log p_t(x_t)+\log p_t(y\mid x_t)-\log p_t(y)$$

对 $x_t$ 求梯度时，注意 $\log p_t(y)$ 与 $x_t$ 无关，因此它的梯度为 0：

$$\boxed{{\nabla }_{x_t}\log p_t(x_t\mid y)={\nabla }_{x_t}\log p_t(x_t)+{\nabla }_{x_t}\log p_t(y\mid x_t)}$$

第一项：无条件得分项（prior score）

$${\nabla }_{x_t}\log p_t(x_t)$$

• 表示当前时刻 $x_t$ 下的 无条件得分函数；
• 通常由训练好的扩散模型（如噪声预测网络）直接提供；
• 是去噪方向的重要组成部分。

第二项：条件得分项（guidance term）

$${\nabla }_{x_t}\log p_t(y\mid x_t)$$

• 是使生成样本满足条件 $y$ 的“引导项”；
• 可以使用不同策略近似或显式计算：

分类器引导（Classifier Guidance）

• 训练一个分类器 $C_{\varphi }(x_t)\approx p_t(y\mid x_t)$
• 然后使用分类器对数输出的梯度作为引导：

$${\nabla }_{x_t}\log p_t(y\mid x_t)\approx {\nabla }_{x_t}\log C_{\varphi }(x_t)$$

DPS（Diffusion Posterior Sampling）

• 不需要配对数据训练分类器；
• 假设已知无噪声数据下的条件概率 $p(y\mid x_0)$
• 使用扩散模型的 MMSE 估计 ${\hat{x}}_t\approx \mathbb{E}[x_0\mid x_t]$
• 将梯度近似为：

$$\boxed{{\nabla }_{x_t}\log p_t(y\mid x_t)\approx {\nabla }_{x_t}\log p(y\mid {\hat{x}}_t)}$$

• 只要 $p(y\mid x_0)$ 对 $x_0$ 可微，这一项就对 $x_t$ 可导。

重建引导（Reconstruction Guidance）

DPS 的特例：假设 $p(y\mid x_0)$ 为高斯分布，如：

$$p(y\mid x_0)=\mathcal{N}(y;x_0,{\sigma }^{2}I)$$

则：
$${\nabla }_{x_t}\log p_t(y\mid x_t)\approx \frac{{\hat{x}}_t-y}{{\sigma }^2}\cdot \frac{\partial {\hat{x}}_t}{\partial x_t}$$

总结：贝叶斯得分引导公式的作用

最终，通过贝叶斯定理将 条件得分 分解为：

$${\nabla }_{x_t}\log p_t(x_t\mid y)=\underset{\text{模型本身}}{\underbrace{{\nabla }_{x_t}\log p_t(x_t)}}+\underset{\text{外部引导}}{\underbrace{{\nabla }_{x_t}\log p_t(y\mid x_t)}}$$

• 第一项由扩散模型训练得到；
• 第二项可以 用分类器、DPS 或其他方法近似；
• 总体目标是指导模型采样路径向着满足 $y$ 的方向前进。