当前位置：首页 > news >正文

《Hiding Images in Diffusion Models by Editing Learned Score Functions》论文阅读

news 2025/10/23 7:44:38

《Hiding Images in Diffusion Models by Editing Learned Score Functions》

CVPR 2025

Github：https://github.com/haoychen3/DMIH/

论文总览

研究背景与动机

随着扩散模型（Diffusion Models）**在生成式人工智能领域的迅速崛起，研究者开始探索其在安全通信与隐写（steganography）领域的潜力。传统的神经网络隐写主要基于**自编码器结构或GANs，在图像与视频等媒介中嵌入秘密信息，但存在三大难题：

解码器安全性问题 —— 接收方需要安全传输解码网络，存在被截获风险；
可检测性高 —— 传统隐写会被先进的隐写分析（steganalysis）轻易检测；
多接收者场景复杂 —— 钥匙管理与多用户隐写难度大。

作者指出，将秘密数据嵌入生成模型参数本身（即神经网络权重）是一个新的方向。这一思路可避开传统隐写分析工具，因为攻击者无法直接从模型输出中辨识出隐写痕迹。
然而，以往在扩散模型上的隐写研究（如TrojDiff, BadDiffusion等）存在严重不足：

重建图像精度不足（PSNR≤25dB）；
模型生成质量显著下降（FID劣化超过100%）；
训练成本高昂（需全模型微调或重新训练）。

因此，本研究的动机在于：能否在不破坏扩散模型生成质量的前提下，实现高精度、高效率、低干扰的隐写嵌入？

核心方法与工作流程

论文核心创新在于一种**基于得分函数编辑（Score Function Editing）**的图像隐写方法。整体流程如图1（第3页图示）所示。

1 方法思想

以往方法需在整个反向扩散过程的每个时间步注入触发信号，而作者发现只需在一个特定时间步ts对**得分函数（score function）**进行编辑，即可嵌入秘密图像。

秘钥 Ks = {ks, ts}：ks为随机噪声种子，ts为选择的隐藏时间步。
嵌入函数定义为： $fθ~(zs,ts)=1αˉts(zs−1−αˉtsϵθ~(zs,ts))f_{\tilde{\theta}}(z_s, t_s) = \frac{1}{\sqrt{\bar{\alpha}_{t_s}}} (z_s - \sqrt{1-\bar{\alpha}_{t_s}} \epsilon_{\tilde{\theta}}(z_s, t_s))$ 该函数可在一次“去噪”中重建秘密图像。

这种局部干预的优势是：

几乎不破坏模型原有生成分布；
仅需单步操作，极大提高嵌入效率；
可自然扩展至多接收者场景，每位接收者对应不同秘钥与提取路径。

2 双重损失函数设计

模型通过联合优化两个目标函数：

提取精度损失（确保还原图像准确）：
$ℓa=∣∣fθ(zs,ts)−xs∣∣22\ell_a = ||f_\theta(z_s, t_s) - x_s||_2^2$
模型保真度损失（保持生成能力不变）：
$ℓf=Et∣∣ϵθ(xt,t)−ϵθˉ(xt,t)∣∣22\ell_f = E_t||\epsilon_\theta(x_t,t) - \epsilon_{\bar{\theta}}(x_t,t)||_2^2$

总损失为：
$ℓ=ℓa+λℓf\ell = \ell_a + \lambda \ell_f$

参数高效微调（Hybrid PEFT）

为了进一步减少训练代价，论文提出一种混合式参数高效微调机制：

参数敏感性计算（Eq.11）：
通过梯度平方和度量每个参数对隐写任务的影响；
敏感层选择（Eq.12）：
通过阈值τ筛选并选取最关键的层；
在敏感层中应用LoRA低秩适配（rank r=64或128）：
将权重分解为可训练低秩矩阵A、B，极大减少参数量（减少86.3%）。

实验设计与结果分析

1 实验设置

模型：DDPM (CIFAR10 32×32, LSUN 256×256)。
对比方法：包括Baluja17、HiDDeN、PRIS、TrojDiff、BadDiffusion、WDM等9种。
评价指标：PSNR、SSIM、LPIPS、DISTS、FID、GPU时耗。

2 主要结果（见表2–3）

提取精度：PSNR达52.9 dB (32×32) 与39.33 dB (256×256)，显著领先。
模型保真度：FID几乎未变（原始4.79→4.77），生成样本与原模型几乎一致（见图3）。
隐藏效率：嵌入时间仅需0.04 GPU小时（32×32）和0.18 GPU小时（256×256），比现有方法快50倍。
多图像隐藏（表4）：可同时为多接收者嵌入图像，保持高精度与合理的保真度。

3 消融实验（表5–9）

论文进行了系统性验证：

**敏感参数迭代次数（N=50）**能平衡性能与成本；
**敏感层数量（η=15）**最优；
**隐藏步选择（ts）**具有鲁棒性（见图4）；
PEFT vs 全微调：PEFT仅耗时一半，且FID更优；
噪声鲁棒性与跨模型泛化性：在不同扩散架构（DDPM、DDIM、EDM等）上均稳定。

六、论文优缺点总结

优点

创新性强 —— 提出了基于得分函数编辑的扩散隐写框架，突破了以往的全链干预模式。
高效且保真 —— 嵌入过程快速，生成质量几乎不变。
理论与实践兼具 —— 结合PEFT与LoRA的梯度敏感分析框架，有明确的数学定义与实验验证。
可扩展性高 —— 支持多用户独立提取通道，具备安全通信潜力。

局限性

实验规模有限 —— 主要在CIFAR10与LSUN上验证，缺乏更复杂数据（如ImageNet）实验；
仅针对图像域 —— 未验证在语音、文本或跨模态隐写任务中的通用性；
隐写安全性分析不足 —— 缺少对抗检测、模型反编译或参数攻击下的鲁棒性研究。

七、未来展望与改进方向

论文最后提出了三个值得深入研究的方向：

自适应隐写策略：依据数据复杂度与安全等级动态选择嵌入参数；
理论化可检测性分析：建立隐写在扩散动力学下的可检测性边界；
抗扰动鲁棒性提升：对模型剪枝、压缩或加噪下的鲁棒隐写，拓展至版权保护与水印认证等场景。

核心方法详解

论文的创新方法为：

在扩散模型的反向扩散过程的单一时间步（tₛ）上，通过编辑已学习的得分函数 εθ(xₜ, t) 实现图像隐写。

基本思想（Basic Idea）

如图1（第3页）所示：
传统方法在整个反向扩散链中不断插入触发信号，而本文仅在单一时间步 tₛ嵌入秘密图像，局部编辑模型的得分函数。

隐写密钥 $K_s = \{k_s, t_s\}$ ：
- $k_s$ ：用于生成噪声 $z_s$ 的随机种子；
- $t_s$ ：隐写发生的时间步。
仅持有该密钥的接收者能在 $t_s$ 处一键提取图像。

图像重建函数定义为：
$fθ~(zs,ts)=1αˉts(zs−1−αˉtsϵθ~(zs,ts))f_{\tilde{\theta}}(z_s, t_s) = \frac{1}{\sqrt{\bar{\alpha}_{t_s}}}\left(z_s - \sqrt{1 - \bar{\alpha}_{t_s}} \, \epsilon_{\tilde{\theta}}(z_s, t_s)\right)$
其中 $ϵθ~\epsilon_{\tilde{\theta}}$ 是被编辑后的得分函数。

损失函数设计

包含两个核心部分：

提取精度损失（Accuracy Loss）
确保生成结果与秘密图像接近：
$ℓa(θ)=∥fθ(zs,ts)−xs∥2\ell_a(\theta) = \|f_\theta(z_s, t_s) - x_s\|^2$
模型保真度损失（Fidelity Loss）
保持原模型生成分布：
$ℓf(θ)=Et,x0,ϵ[∥ϵθ(xt,t)−ϵθˉ(xt,t)∥2]\ell_f(\theta) = \mathbb{E}_{t,x_0,\epsilon}[\|\epsilon_\theta(x_t, t) - \epsilon_{\bar{\theta}}(x_t, t)\|^2]$
联合优化目标
$ℓ(θ)=ℓa+λℓf\ell(\theta) = \ell_a + \lambda \ell_f$
其中 λ 为权衡系数。

多图像/多接收方扩展

支持多接收方场景：
$ℓ(θ;Ks,Xs)=1M∑i=1Mℓa(θ;zs(i),ts(i),xs(i))+λℓf(θ)\ell(\theta; \mathcal{K}_s, \mathcal{X}_s) = \frac{1}{M} \sum_{i=1}^{M} \ell_a(\theta; z_s^{(i)}, t_s^{(i)}, x_s^{(i)}) + \lambda \ell_f(\theta)$
每位接收方持有独立密钥 $K_s^{(i)}$ ，能独立提取自己的隐写图像。

参数高效微调（Hybrid PEFT）

为进一步提高效率与保真度，作者提出混合型参数高效微调策略（Hybrid PEFT）：

梯度敏感性分析
计算各参数对隐写任务的敏感度： $gi=∑j=1N(∂ℓ(θ)∂θi(j))2g_i = \sum_{j=1}^{N}\left(\frac{\partial \ell(\theta)}{\partial \theta_i^{(j)}}\right)^2$
筛选敏感层
仅对最敏感的前 η 层进行更新。
LoRA 低秩重参数化
对敏感层权重施加低秩调整： $ΔW=AB,A∈Rm×r,B∈Rr×n\Delta W = A B, \quad A \in \mathbb{R}^{m \times r}, B \in \mathbb{R}^{r \times n}$ → 训练参数减少 86.3%，FID 几乎不变（4.79→4.77）。

嵌入阶段（把秘密图像刻进扩散模型）

目标：在不破坏原模型生成分布的前提下，让模型在一个私密时间步 $t_s$ 上、给定由密钥生成的高斯噪声 $z_s$ ，能单步还原目标图像 $x_s$ ；编辑后的模型公开发布，别人拿不到密钥就提不出图像。

步骤 1｜选择密钥与秘密时间步

为每个秘密图像设定密钥 $K_s=\{k_s,t_s\}$ ：
$k_s$ 作为随机种子确定性地生成高斯噪声 $z_s$ ， $t_s$ 是嵌入/提取所在的单一时间步。
之所以只在一个时间步动手脚，是为了本地化干预、保留整条反扩散链的完整性与保真度。

步骤 2｜定义单步提取映射（训练时的“目标函数”）

在 DDPM 公式下，定义单步“去噪—还原”的映射： $fθ~(zs,ts)=1αˉts(zs−1−αˉtsϵθ~(zs,ts))f_{\tilde\theta}(z_s,t_s)=\frac{1}{\sqrt{\bar\alpha_{t_s}}}\Big(z_s-\sqrt{1-\bar\alpha_{t_s}}\,\epsilon_{\tilde\theta}(z_s,t_s)\Big)$ 要求它逼近秘密图像 $x_s$ 。这一定义就是后续训练要实现的“单步可还原性”。

步骤 3｜构造双目标损失

提取精度损失（只管点上精度）
$ℓa(θ;zs,ts,xs)=∥fθ(zs,ts)−xs∥22\ell_a(\theta;z_s,t_s,x_s)=\|f_\theta(z_s,t_s)-x_s\|_2^2$ 。驱动模型在 $z_s,t_s)$ 这个“点”上把图像还原到位。
模型保真损失（约束全局分布）
$ℓf(θ)=Et,x0,ϵ[∥ϵθ(xt,t)−ϵθˉ(xt,t)∥22]\ell_f(\theta)=\mathbb{E}_{t,x_0,\epsilon}\big[\|\epsilon_\theta(x_t,t)-\epsilon_{\bar\theta}(x_t,t)\|_2^2\big]$ 。对所有时间步、真实数据分布与高斯噪声取期望，迫使编辑后的噪声预测器与原模型一致，从而无需访问原训练集或重训原模型也能守住保真。
总损失： $ℓ=ℓa+λℓf\ell=\ell_a+\lambda\ell_f$ 。 $λ\lambda$ 控制“可提取性 ↔ 保真”的权衡。

小注：式(4)-(5)给出标准 DDPM 的训练与推理更新式，用来说明我们只在 $t_s$ 处改动、其余步骤仍遵循原始反扩散链。

步骤 4｜混合式 PEFT：先“找关键层”，再“低秩适配”

为高效、低扰动地实现上面的目标，论文采用三步式混合 PEFT：

4.1 参数敏感度累计（找“最该改”的参数）

以总损失 $ℓ(θ)\ell(\theta)$ 为目标，累计 $N$ 次反向梯度的平方得到每个参数的敏感度： $gi=∑j=1N(∂ℓ(θ)∂θi(j))2g_i=\sum_{j=1}^{N}\Big(\frac{\partial \ell(\theta)}{\partial \theta^{(j)}_i}\Big)^2$ 值越大，说明该参数对“在 $t_s$ 处单步还原+全局保真”的目标更关键。

4.2 按“敏感参数个数”筛选关键层（避免大层偏置）

先把每个参数的敏感度二值化 $bi=1[gi≥τ]b_i=\mathbf{1}[g_i\ge\tau]$ ，再**按每层内的“敏感参数计数”**排序，选出最敏感的前若干层用于后续微调。这比直接按“敏感度总和”更能避免“大层因为参数多而被偏好”的偏置。

4.3 在选中层上应用 LoRA（重参数化微调）

在这些关键层上挂接低秩增量（LoRA），仅训练极少量新增参数，以最小改动把“单步还原”能力写入模型，同时保留原模型其余功能（文中将其与上面的“选择性微调”组合称为混合 PEFT）。

步骤 5｜优化超参与默认设定（论文给的“可抄作业”）

默认时间步： $t_s=500$ ；敏感度累计： $N = 50$ ；敏感度稀疏度约为 0.01（32×32）/0.1（256×256），对应入选层数 $η=15/45\eta=15/45$ ；LoRA 迭代数：2000；LoRA 秩：32×32 用 $r = 64$ ，256×256 用 $r = 128$ 。
消融建议：N 从 1→50 提升显著，再往上收益趋缓；选层过少还原不够，过多则保真受损；迭代数过大也会牺牲保真，2000 步是折中。

（可选）步骤 6｜多接收者扩展

若要为 $M$ 个接收者同时隐藏 $M$ 张图，各自分配 $k_s^{(i)},t_s^{(i)})$ ，把 $ℓa\ell_a$ 对 $i$ 做平均即可： $ℓ(θ;Ks,Xs)=1M∑i=1Mℓa(θ;zs(i),ts(i),xs(i))+λℓf(θ).\ell(\theta;\mathcal{K}_s,\mathcal{X}_s)=\frac{1}{M}\sum_{i=1}^{M}\ell_a(\theta;z_s^{(i)},t_s^{(i)},x_s^{(i)})+\lambda\ell_f(\theta).$ 每人只能凭自己的密钥取回对应图像，互不干扰。

产物：得到已编辑的“隐写模型” $θ~\tilde\theta$ ，可以公开发布；它在常规生成上表现与原模型近似一致，但仅在持密钥者给定的 $z_s,t_s)$ 处暴露“单步还原通道”。

提取阶段（单步还原秘密图像）

输入：公开的隐写模型 $θ~\tilde\theta$ 、与发送方私下共享的密钥 $K_s=\{k_s,t_s\}$ 。

步骤 A｜由密钥复现噪声
用 $k_s$ 作为种子确定性生成高斯噪声 $z_s$ 。

步骤 B｜在时间步 $t_s$ 进行“单步去噪”
把 $z_s,t_s)$ 喂入隐写模型，按步骤 2 的公式一次计算 $fθ~(zs,ts)f_{\tilde\theta}(z_s,t_s)$ ，得到秘密图像的高保真重建 $x^s≈xs\hat x_s\approx x_s$ 。

与“沿整条链回溯”的以往方法相比，这里没有后续多步，因此既快又不破坏模型的常规采样行为。

嵌入阶段的六步骤整合为四步骤

嵌入阶段

步骤一：密钥与秘密时间步的设定

目的： 生成唯一的“入口点”用于隐藏图像。

发送者为每个秘密图像 $x_s$ 选择一组密钥 $K_s = \{k_s, t_s\}$ 。
其中， $k_s$ 作为随机种子用于生成确定性的高斯噪声 $z_s$ ，而 $t_s$ 是模型反扩散过程中的私有时间步（secret timestep）。
这意味着隐藏操作只在这一时刻进行，从而避免对整个反扩散链造成扰动，保持模型的生成保真度。

论文指出：“我们在特定的时间步 $t_s$ 上编辑得分函数，以实现精确图像嵌入，同时不破坏原始反扩散过程的完整性。”

步骤二：定义单步还原目标与双目标损失

目的： 通过数学约束让模型在单步就能“还原”秘密图像。

定义单步反扩散映射（即单步去噪）：
$fθ~(zs,ts)=1αˉts(zs−1−αˉtsϵθ~(zs,ts))f_{\tilde\theta}(z_s, t_s) = \frac{1}{\sqrt{\bar\alpha_{t_s}}}\Big(z_s - \sqrt{1-\bar\alpha_{t_s}}\,\epsilon_{\tilde\theta}(z_s, t_s)\Big)$
该函数让模型在一次“去噪”后即可得到图像 $x_s$ 。
训练目标采用双重损失函数结构：
- 提取精度损失：
  $ℓa=∥fθ(zs,ts)−xs∥22\ell_a = \| f_\theta(z_s, t_s) - x_s \|_2^2$ ，确保在密钥对应的噪声点上可准确还原目标图像。
- 模型保真损失：
  $ℓf=Et,x0,ϵ[∥ϵθ(xt,t)−ϵθˉ(xt,t)∥22]\ell_f = \mathbb{E}_{t, x_0, \epsilon} [\| \epsilon_\theta(x_t,t) - \epsilon_{\bar\theta}(x_t,t) \|_2^2]$ ，确保整体分布不偏离原模型。
- 总损失： $ℓ=ℓa+λℓf\ell = \ell_a + \lambda \ell_f$ 。

通过这种“点状校正 + 全局约束”，模型能在不破坏生成能力的情况下，记住特定的隐写映射关系。

步骤三：参数敏感度分析与关键层选择

目的： 找出最适合进行微调的层，实现参数高效编辑。

计算参数敏感度：
对所有参数进行多次反向传播累积梯度平方，得到每个参数的敏感度：
$gi=∑j=1N(∂ℓ(θ)∂θi(j))2g_i = \sum_{j=1}^N \left(\frac{\partial \ell(\theta)}{\partial \theta_i^{(j)}}\right)^2$
用于判断哪些参数对任务（隐写还原）最关键。
二值化与层级筛选：
将敏感度二值化 $bi=1[gi≥τ]b_i = 1[g_i \ge \tau]$ ，再根据每层内“敏感参数数量”而非“总敏感度和”排序，选出前 η 层作为关键层。
这种方法避免了“大层因参数多而被误选”的偏差（作者称为“反琐碎法则”）。

步骤四：LoRA 低秩重参数化微调（Hybrid PEFT）

目的： 在最小参数改动下写入隐写映射。

在选中的敏感层上使用 LoRA（Low-Rank Adaptation） 结构：
- 对线性层添加低秩矩阵 $ΔW=AB\Delta W = AB$ ，其中 $\in \mathbb{R}^{m\times r}, B \in \mathbb{R}^{r\times n}$ ，且 $\ll \min(m,n)$ 。
- 对卷积层先展平再应用同样操作。
为稳定收敛，引入秩稳定化缩放（1/√r） 与 学习率解耦技巧，分别为 $A$ 、 $B$ 设定不同学习率。
仅训练这些 LoRA 参数即可完成嵌入，整个微调过程参数减少 86.3%，时间成本降低两个数量级。

四步法总结表

阶段	名称	核心任务	关键公式或概念
①	密钥与时间步设定	生成噪声种子和私有嵌入时刻	$Ks={ks,ts},zs=Noise(ks)K_s=\{k_s,t_s\}, z_s=\text{Noise}(k_s)$
②	定义单步还原目标与双损失	建立“单步取出”机制并保持模型保真	$fθ~(zs,ts)f_{\tilde\theta}(z_s,t_s)$ , $ℓ=ℓa+λℓf\ell=\ell_a+\lambda\ell_f$
③	敏感度分析与层筛选	找到最有影响力的微调层	$gi=∑j(∂ℓ/∂θi(j))2g_i=\sum_j (\partial \ell/\partial\theta_i^{(j)})^2$
④	LoRA低秩微调	在少量层中写入隐写信息	$ΔW=AB\Delta W=AB$ , rank稳定化 + 学习率解耦