Diffusion Model VS TSDiff

1.深入理解Diffusion Model的算法原理和公式推导
（1）前向过程
前向过程是一个确定的马尔可夫过程，它通过逐步加噪将原始和干净数据破坏成完全的噪声。假设它的分布为q(xt∣xt−1)。它可以通过形如xt=αtxt−1+1−αtϵt−1,ϵ∼N(0,1)的重参数化公式进行迭代推导，得到xt=αtx0+1−αtϵ,ϵ∼N(0,1)，这表明扩散模型的任意时间步t的数据xt都可以由x0一步推出，这使得训练过程可以高效地进行随机梯度下降。
（2）反向过程
前向过程的每步加噪规则是固定的，它是一个确定的过程。但是直接将其进行反转后得到的真实反向过程具有随机性，对同一个噪声数据进行去噪会得到很多不同的结果。后验分布的定义是：获得观测数据后，未知参数的条件概率分布。而真实反向过程的后验分布q(xt−1∣xt)是未知的，它难以直接求解，需要学习和近似。
但在前向过程中，x0是已知的，前向过程的后验分布为：
q(xt−1∣xt,x0)=q(xt∣xt−1,x0)q(xt−1∣x0)q(xt∣x0)
它分子分母的每一项都是已知的高斯分布，进而可以利用高斯分布的概率密度函数进行化简，根据对应项系数相等推导出这个前向过程的后验分布的均值和方差：
μq(xt,x0)=αt(1−αt−1)xt+αt−1(1−αt)x01−αt
Σq(t)=(1−αt)(1−αt−1)1−αt
我们以q(xt−1∣xt,x0)作为桥梁，在反向过程中通过训练一个神经网络（通常为U-Net），学习分布pθ(xt−1∣xt)，训练目标是让pθ(xt−1∣xt)和q(xt−1∣xt,x0)的分布尽可能接近。反向去噪过程的方向由均值决定，方差仅影响去噪步骤的随机性。故将两者的方差设定为一致，训练目标进一步简化为让两者的均值尽可能接近。假设pθ的均值函数表达式形式和q一致，而仅将x0替换为了预测值：
μθ(xt,t)=αt(1−αt−1)xt+αt−1(1−αt)xθ(xt,t)1−αt
Σθ(t)=(1−αt)(1−αt−1)1−αt
（3）训练目标
扩散模型的训练目标源于最大似然估计思想，即希望模型生成的数据分布pθ(x0)尽可能接近真实数据分布q(x0)。这一目标通常通过最大化模型生成真实数据的对数似然来实现，即max Eq(x0)logpθ(x0)。将最大化正对数似然转换为最小化负对数似然：
min−logpθ(x0) ≤−logpθ(x0)+DKL(q(x1:T|x0)‖pθ(x1:T|x0))
=Eqlogq(x1:T|x0)pθ(x0:T)
不等式右边的项是这个负对数似然的上界，即为-ELBO。最小化负对数似然被转化为最小化-ELBO，即最大化ELBO。
将ELBO分解成L0、Lt和LT三项，其中Lt是t∈[2,T]上，模型学习的反向分布pθ(xt−1∣xt)与真实后验分布q(xt−1∣xt,x0)之间的KL散度。训练目标可以被简化为：最小化Lt。当两个分布均为高斯分布且方差固定时，KL散度表达式可化为DKL=12σq2(t)‖μq−μθ‖22。其最小化等价于让二者均值尽可能接近。
在扩散模型反向过程前期，x0和xt的差异极小，直接预测x0难度较高，容易导致训练不稳定、收敛速度慢。由前向过程中xt的重参数化表达式以及后验分布中μq(xt,t)的表达式，得：
μq(xt,t)=1αtxt−1−αtαtϵq(xt,t)
同理，得：
μθ(xt,t)=1αtxt−1−αtαtϵθ(xt,t)
将这两项代入DKL中，忽略权重系数，得到简化的最终目标函数：
argminθ‖ϵ0−ϵθ(xt,t)‖22
损失函数最终转化为噪声预测的均方误差，避免了计算复杂的高斯分布参数，扩散模型的核心训练转化为训练一个噪声预测网络，稳定性显著提升。
（4）训练和采样过程
扩散模型的训练过程旨在优化一个去噪神经网络，使其能够准确预测在前向过程中添加到图像上的噪声。首先，从训练数据集中随机采样一张干净图像x0；然后，从1到总步数T之间均匀采样一个时间步 t；接着，从标准高斯分布采样一个噪声ϵ；利用前向过程的闭式解直接计算得到带噪图像xt；将 xt和时间步t输入噪声预测网络ϵθ，得到预测的噪声ϵθ(xt,t)；最终，通过最小化预测噪声ϵθ与实际添加噪声 ϵ之间的均方误差来更新网络参数，即优化目标为∇θϵ−ϵθ(xt,t)2。这个过程使网络学会在任何噪声水平下准确预测噪声。
在训练好模型的基础上，采样（或推理）过程利用训练好的模型从纯高斯噪声中生成新图像。首先，从标准高斯分布 N(0,I)中采样一个初始噪声 xT；接着，从t=T开始循环至 t=1：在每一步 t中，将当前噪声图像xt和时间步t输入训练好的噪声预测网络ϵθ，得到预测的噪声ϵθ(xt,t)；然后，利用反向去噪公式计算
xt−1：
xt−1=1αt(xt−1−αt1−αtϵθ(xt,t))+σtz
其中ϵθ(xt,t)的含义是神经网络通过接收xt和t，预测出当时添加到原始图像上的的噪声。这个相减的操作就是从当前的噪声图像中减去预测出的噪声。当 t>1时，z是从标准高斯分布采样的随机噪声，用于增加生成多样性；当 t=1时，z=0。循环结束后，得到的 x0即为最终生成的图像。
2. TSDiff与传统扩散模型的对比
（1）TSDiff 核心逻辑与技术细节拆解
①核心创新
传统扩散模型在进行条件生成时，往往将输入条件和网络结构耦合，通常仅针对特定任务进行条件训练。而TSDiff将模型训练与具体任务解耦，其训练过程不依赖于条件，通过自引导机制在推理时实现条件化，无需修改训练过程，只需修改引导的机制，即可使同一模型灵活适用于预测、插补等多种下游任务。
②模型架构细节
采用SSSD网络结构，它由S4层和一维卷积层组成，分别用来处理时间维度和通道维度。其中S4层代替了传统RNN和Transformer，用来捕捉时间序列中的长期依赖关系。一维卷积层则负责融合滞后的通道信息，它的输入为L×C，其中L为序列长度，C-1为滞后序列数量。输出维度与输入一致，支持单变量时间序列生成。
③自引导机制
传统扩散模型在进行条件生成时，需要指定一个外部条件c，学习条件分布p(xt∣c)，最终从这个分布中进行采样生成新的数据。根据贝叶斯公式，可以得到p(xt∣c)=p(c|xt)p(xt)p(c)，将求p(xt∣c)转化为求p(c∣xt)。这需要构建一个判别器，估计给定噪声数据xt属于条件c的概率。
对等式两边求对数，得：
logp(xt∣c)=log(c∣xt)+log(xt)−log(c)
由于优化的目标是如何调整xt才能使得其更接近真实值，而不是重新训练模型优化参数，故对xt而不是θ求梯度，得：
∇xtp(xt∣c)=∇xtp(c∣xt)+∇xtp(xt)
这就是得分函数。它由两部分组成，∇xtp(c∣xt)是条件分数，它指导模型微调数据使其符合条件c，∇xtp(xt)是无条件分数，它是扩散模型学习到的先验数据分布。
在传统的扩散模型反向过程中，每一步都要从一个高斯分布pθ(xt−1|xt,c)=Nxt−1;μθ(xt,t),σt2I中进行采样。分布的均值影响扩散方向，而方差只影响随机性。条件得分函数比无条件得分函数多了∇xtp(c∣xt)，因为∇xtp(c∣xt)的量纲是1xt，和xt的量纲不同，所以乘以σt2作为尺度因子来消除量纲差异，并使用s来控制知道强度，最终得到公式：
pθ(xt−1|xt,c)=Nxt−1;μθ(xt,t)+sσt2∇xtlogp(c|xt),σt2I
该研究在推理阶段将完整的时间序列y划分为yobs和yta两部分。其中yobs是已知的观测序列，yta是它的补集。构建模型p(yta∣yobs)。当yta是yobs所处时间步之前时间步的数据时，下游任务是预测；当yta是原始时间序列中缺失的数据时，下游任务是插补。它摒弃了传统条件扩散模型使用外部条件进行引导的机制，认为模型在扩散过程中已经具备了去噪能力，将条件c替换成时间序列中的真实数据yobs，利用模型在去噪过程中产生的中间预测成果来构建引导信号，参考传统扩散模型，得到下面的公式：
∇xtlogpθ(xt|yobs)=∇xtlogpθ(yobs|xt)+∇xtlogpθ(xt)
这就是它自引导机制的得来。