【2025CVPR-目标检测方向】FIRE:通过频率引导重建误差对扩散生成的图像进行鲁棒检测
1. 引言和背景
扩散模型的快速发展显著提高了图像生成质量,使生成内容难以与真实图像区分,引发了误用风险(如虚假信息)。现有检测方法主要基于重建误差:扩散模型生成的图像在重建过程中(通过预训练模型)误差较小,而真实图像误差较大。但这些方法(如DIRE)面临泛化性问题,无法有效处理未见过的数据集或模型。核心洞察来自频率分析:扩散模型在重建真实图像时,难以准确捕捉中频信息(包含纹理和边缘细节),而生成图像则缺乏这种固有信息。这导致了关键问题:如何定位和利用这些难重建的频率成分来提升检测?
通过实验观察(如Figure 2),作者发现真实图像的中频成分(band-pass filtered)与重建误差图高度相似,而生成图像的重建误差更低。这表明中频信息可作为区分真实和生成图像的关键线索。
2. 方法概述:FIRE框架
FIRE的核心思想是:通过移除真实图像中的难重建中频成分,生成“伪生成图像”,并比较移除前后的重建误差变化。真实图像的误差变化更大,而生成图像的误差变化较小,从而提供鲁棒检测信号。FIRE包括两个主要组件:
- 频率掩码细化模块(FMRE):识别并隔离中频区域(扩散模型难以重建的部分)。
- 后端分类器