TII-2024《AGP-Net: Adaptive Graph Prior Network for Image Denoising》

推荐深蓝学院的《深度神经网络加速：cuDNN 与 TensorRT》，课程面向就业，细致讲解CUDA运算的理论支撑与实践，学完可以系统化掌握CUDA基础编程知识以及TensorRT实战，并且能够利用GPU开发高性能、高并发的软件系统，感兴趣可以直接看看链接：深蓝学院《深度神经网络加速：cuDNN 与 TensorRT》

核心思想分析

该论文提出了一种名为AGP-Net（Adaptive Graph Prior Network）的图像去噪框架，旨在解决传统图像去噪方法在捕捉长距离依赖性、特征重建以及泛化能力方面的不足。其核心思想包括以下几个方面：

1. 多尺度长距离依赖建模：通过一种新颖的图构造方法，AGP-Net能够在像素级和补丁级（patch-level）捕捉图像的长距离依赖关系，克服了传统卷积神经网络（CNN）和Transformer结构在建模全局特征时的局限性。
2. 自适应特征补充：提出**图补充先验（Graph Supplementary Prior, GSP）**机制，通过嵌入特征生成自适应的图先验信息，增强图像重建所需的特征表达，解决训练数据不足导致的特征缺失问题。
3. 动态正则化噪声：引入**图噪声先验（Graph Noise Prior, GNP）**机制，生成动态的正则化噪声，通过混合正态分布和均匀分布的噪声增强模型的泛化能力，缓解过拟合问题。
4. 端到端去噪框架：AGP-Net基于编码器-解码器结构，结合GSP和GNP模块，形成一个即插即用的去噪网络，能够高效处理多样化和复杂的噪声。

---

目标函数分析

AGP-Net的目标函数采用Charbonnier损失函数，其定义为：
$$\mathcal{L}=\frac{1}{N_{\ell }}\sum \sqrt{\left(|{\mathbf{I}}_d-{\mathbf{I}}_{\text{target}}{|}^2+{ϵ}^2\right)}$$
其中：

• ${\mathbf{I}}_d$：去噪后的图像。
• ${\mathbf{I}}_{\text{target}}$：对应的真实无噪图像（ground-truth）。
• $N_{\ell }$：训练样本数量。
• ${ϵ}^2$：一个经验常数，通常设为$1\times 10^{-6}$。

选择Charbonnier损失的原因：

1. 可微性：相比L1损失（最小绝对误差），Charbonnier损失在零点处是连续可微的，有利于梯度优化方法的稳定性。
2. 对异常值的鲁棒性：相比L2损失（均方误差），Charbonnier损失对大误差的权重较低，能够有效处理噪声图像中的异常值，避免过平滑。
3. 细节保留：Charbonnier损失在L1和L2损失之间取得平衡，通过平滑过渡（从二次区域到线性区域）保留图像的锐利边缘和细微结构。

---

目标函数的优化过程

优化过程基于深度学习的标准梯度下降方法，具体步骤如下：

1. 优化器：采用Adam优化器，参数设置为${\beta }_1=0.9$，${\beta }_2=0.999$，学习率设为$1\times 10^{-4}$。
2. 训练数据：每批次包含128个256×256像素的图像补丁，训练数据由噪声/干净图像对组成。
3. 损失计算：通过Charbonnier损失函数计算去噪图像${\mathbf{I}}_d$与真实图像${\mathbf{I}}_{\text{target}}$之间的差异。
4. 参数更新：利用反向传播算法计算梯度，更新网络参数，包括卷积层权重、GSP模块中的可学习节点特征值${\lambda }_n$以及GNP模块中的噪声分布参数（$\mu ,\sigma ,\alpha$）。
5. 正则化噪声生成：GNP模块通过可学习的混合噪声分布（正态分布$N(\mu ,{\sigma }^2)$和均匀分布$U(-\alpha ,\alpha )$）生成动态正则化噪声，增强模型泛化能力。
6. 迭代训练：通过多次迭代优化，网络逐步学习到从噪声图像到干净图像的映射。

优化过程中，GSP和GNP模块的参数通过端到端的训练过程与整个网络共同优化，确保生成的图先验信息和正则化噪声能够适应不同的噪声分布和图像内容。

---

主要贡献点

1. 新颖的图构造方法：提出了一种基于K近邻（KNN）的图构造方法，将特征图分为补丁并构建图结构，同时在像素级和补丁级捕捉长距离依赖，显著提升去噪性能。
2. GSP机制：通过嵌入像素级和补丁级的特征生成自适应图先验信息，补充图像重建所需的特征，解决训练数据不足的问题。
3. GNP机制：提出动态正则化噪声生成方法，通过混合正态和均匀分布的噪声增强模型泛化能力，有效缓解过拟合。
4. 高性能去噪：在多个基准数据集（CBSD68、SIDD、DND）上，AGP-Net取得了最先进的去噪性能，特别是在噪声水平较高的场景中表现出色。
5. 实际应用验证：在车辆计数检测等实际任务中，AGP-Net展示了在复杂噪声和不同天气条件下的鲁棒性。

---

实验结果分析

1. 数据集与评估指标：

   • CBSD68：包含彩色图像，噪声水平为50，AGP-Net取得了$28.69\text{dB}$的峰值信噪比（PSNR）。
   • SIDD和DND（真实噪声数据集）：AGP-Net分别取得了$40.18\text{dB}$和$40.25\text{dB}$的PSNR，优于SCUNet、EFFNet和CFPNet等方法。
   • 其他指标包括结构相似性（SSIM），例如在CBSD68噪声水平25时，AGP-Net达到$31.83\text{dB}$ PSNR和$0.895$ SSIM。

2. 消融实验：

   • 移除GSP和GNP模块后，性能显著下降（PSNR从$31.83\text{dB}$降至$31.36\text{dB}$），证明两模块的互补性和必要性。
   • 图构造参数（特征向量维度$L$和邻居数量$k$）的调整显示，增大$L$和$k$（如$L=768,k=3$）能提升PSNR，表明高维特征和更多邻居有助于捕捉细节。

3. 实际应用：

   • 在车辆计数检测任务中，AGP-Net在不同天气条件（阴天、晴天、夜晚）下表现出色，相比CFPNet能更好地保留车辆细节，提高检测准确性。

---

算法实现过程详细解释

AGP-Net的实现基于编码器-解码器框架，结合图构造、GSP和GNP模块，以下是详细步骤：

1. 网络结构

• 输入投影层：将输入噪声图像${\mathbf{I}}_n\in {\mathbb{R}}^{H\times W\times 3}$通过$3\times 3$卷积层和LeakyReLU激活函数映射为低级特征${\mathbf{F}}_0\in {\mathbb{R}}^{H\times W\times C}$：
  $${\mathbf{F}}_0=\varphi (f_p^{\text{in}}({\mathbf{I}}_n))$$
  其中$f_p^{\text{in}}(\cdot )$表示卷积操作，$\varphi (\cdot )$为LeakyReLU。

• 编码器：包含4组AGP块和下采样层。每个下采样层使用$4\times 4$卷积核（步幅2，填充1），将特征图的空间分辨率减半，通道数加倍：
  $${\mathbf{F}}_d=\phi (f_1({\mathbf{F}}_1))$$
  最终生成编码特征${\mathbf{F}}_{\text{en}}\in {\mathbb{R}}^{\frac{H}{2^N}\times \frac{W}{2^N}\times C}$，$N$为下采样层数。

• 解码器：包含4组AGP块和上采样层，上采样层通过$2\times 2$卷积核（步幅2，填充1）恢复空间分辨率，通道数减半，最终生成特征${\mathbf{F}}_e$。

• 输出投影层：通过$3\times 3$卷积层将${\mathbf{F}}_e$映射为去噪图像${\mathbf{I}}_d\in {\mathbb{R}}^{H\times W\times 3}$：
  $${\mathbf{I}}_d=f_c^{\text{out}}({\mathbf{F}}_e)\stackrel{R}{\to }{\mathbb{R}}^{H\times W\times 3}+{\mathbf{I}}_n$$
  其中$\stackrel{R}{\to }$表示张量重塑操作。

2. 图构造

• 补丁划分：将特征图${\mathbf{F}}_{\text{in}}\in {\mathbb{R}}^{H\times W\times C}$划分为$S$个补丁，每个补丁转化为特征向量${\mathbf{x}}_i\in {\mathbb{R}}^L$，形成节点集$\mathbf{X}=[{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_S]$。
• KNN连接：对每个节点${\mathbf{x}}_i$，通过K近邻算法找到$k$个最近邻节点$\mathcal{K}({\mathbf{x}}_i)$，构建边集$\mathbf{E}$，生成图结构${\mathbf{F}}_g=(\mathbf{X},\mathbf{E})\in {\mathbb{R}}^{L\times S\times C}$。
• 信息聚合：通过迭代变换和学习，在像素级（节点内）和补丁级（节点间）交换和聚合信息。

3. GSP模块

• 嵌入特征生成：
  • 像素级嵌入：通过线性层压缩通道维度，生成像素级嵌入特征：
    $${\mathbf{S}}_p=\phi ({\mathcal{H}}_p({\mathbf{F}}_g)),{\mathbf{S}}_p\in {\mathbb{R}}^{L\times 1}$$
    其中${\mathcal{H}}_p(\cdot )$为线性层，$\phi (\cdot )$为GELU激活。
  • 补丁级嵌入：类似地生成补丁级嵌入特征：
    $${\mathbf{S}}_n=\phi ({\mathcal{H}}_n({\mathbf{F}}_g)),{\mathbf{S}}_n\in {\mathbb{R}}^{1\times C\times S}$$
• 图先验生成：结合可学习节点特征值${\lambda }_n$，混合像素级和补丁级嵌入，生成图先验信息：
  $${\mathbf{F}}_{\text{out}}=\left({\lambda }_n\cdot ({\mathbf{S}}_p\times {\mathbf{S}}_n)+{\mathbf{F}}_g\right)\stackrel{R}{\to }{\mathbb{R}}^{H\times W\times C}$$
  其中${\mathbf{F}}_{\text{out}}$为补充后的图特征，${\mathbf{F}}_{ag}={\lambda }_n\cdot {\mathbf{S}}_m$为图先验信息。

4. GNP模块

• 混合噪声生成：通过正态分布$N(\mu ,{\sigma }^2)$和均匀分布$U(-\alpha ,\alpha )$生成混合噪声：
  $$m=n+u,n\sim N(\mu ,{\sigma }^2),u\sim U(-\alpha ,\alpha )$$
• 可微化处理：使用重参数化技巧，从标准正态分布$N(0,1)$和标准均匀分布$U(-1,1)$采样初始噪声，通过可学习参数$\mu ,\sigma ,\alpha$投影：
  $$m=(n^{\prime }\times \sigma +\mu )+(u^{\prime }\times \alpha ),n^{\prime }\sim N(0,1),u^{\prime }\sim U(-1,1)$$
• 特征正则化：将生成噪声叠加到图特征上：
  $${\mathbf{F}}_g=m\times {\mathcal{H}}_r({\lambda }_r)+{\mathbf{F}}_{im}$$
  其中${\mathbf{F}}_{im}$为输入特征，${\mathcal{H}}_r(\cdot )$为线性层，${\mathbf{F}}_{\text{om}}$为正则化后的输出。

5. 训练与配置

• 网络配置：编码器和解码器各包含4组AGP块，具体参数见表I（例如，输入投影层通道数从3到48，AGP块特征维度$L$从48增至768）。
• 训练细节：使用Adam优化器，批次大小为128，学习率$1\times 10^{-4}$，通过Charbonnier损失函数进行端到端优化。

---

总结

AGP-Net通过图构造、GSP和GNP模块，成功解决了图像去噪中的长距离依赖、特征不足和泛化问题。其创新点在于多尺度依赖建模和自适应正则化机制，实验结果证明了其在合成和真实噪声数据集上的优越性能。算法实现过程清晰，结合编码器-解码器框架和模块化设计，具有较高的可扩展性和实用性。