当前位置：首页 > news >正文

TGRS 即插即用 | 超越传统U-Net！ASCNet融合小波变换与全局注意力，重新定义图像修复范式

news 2025/11/6 10:08:00

1. 基本信息

标题: ASCNet: Asymmetric Sampling Correction Network for Infrared Image Destriping (ASCNet: 用于红外图像去条纹的非对称采样校正网络)
论文来源:https://ieeexplore.ieee.org/document/10855453

2. 核心创新点

提出非对称采样(Asymmetric Sampling)架构：创新性地使用离散小波变换(DWT)进行下采样，并配以像素重组(Pixel Shuffle, PS)进行上采样，有效解决了传统小波U型网络中因逆小波变换(IDWT)导致的跨层级语义鸿沟问题，实现了无语义偏差的图像重建。
设计残差哈尔小波变换(RHDWT)下采样器：将模型驱动的哈尔小波变换（注入条纹方向先验）与数据驱动的残差卷积（捕捉跨通道语义）并行结合，丰富了特征表示，解决了单一采样器信息丢失的问题。
**构建列非均匀性校正模块(CNCM)**：通过融合列均匀性、空间相关性和自依赖性三个维度，精确捕捉特征的全局列上下文关系，从而有效区分条纹噪声与场景中的真实垂直结构。
提升下游任务性能：该去条纹方法作为预处理步骤，能显著改善后续高级视觉任务（如红外小目标检测）的性能，证明了其在实际应用中的价值。

➔➔➔➔点击查看原文，获取本文及其他精选即插即用模块集合https://mp.weixin.qq.com/s/eMQNYfmig3yF2bNYYFWk0g

3. 方法详解

整体结构概述

ASCNet是一个基于U型结构的深度神经网络，旨在学习从带噪红外图像到干净图像的残差映射。其核心在于将创新的非对称采样策略与列非均匀性校正模块(CNCM) 相结合。数据流首先通过一个卷积层提取浅层特征，然后进入编码器。编码器由三组残差哈尔小波变换(RHDWT) 和CNCM构成，逐步下采样并增强特征。解码器则采用像素重组(PS) 进行上采样，并通过跳跃连接融合编码器对应层级的特征。融合后的特征同样经过CNCM进行精细化校正，最终通过卷积层输出预测的条纹噪声，与原始输入相加得到去噪后的图像。

步骤分解

非对称采样策略 (Asymmetric Sampling)
- 动机: 在传统的小波U型网络中，编码器使用DWT分解特征，解码器使用IDWT重构。但由于卷积层会使条纹噪声“污染”所有特征通道，IDWT基于固定的先验假设进行重构，会破坏特征的列向语义连续性，产生“跨层级列语义鸿沟”（如图2所示）。
- 实现: ASCNet采用DWT作为下采样器，以利用其分解条纹方向性先验的能力；同时，采用不含线性计算、直接重排像素的Pixel Shuffle (PS)作为上采样器。这种“非对称”组合避免了IDWT的预设偏置，更好地保持了特征解码过程中的语义连续性，实现了更稳定的图像重建。
残差哈尔离散小波变换 (RHDWT)
- 动机: 单独的DWT只进行空间采样，缺乏通道间的语义交互；而单独的步进卷积虽能融合语义，却忽略了条纹的方向性先验。
- 实现: RHDWT (如图3(b)所示)包含两个并行分支：
  - 模型驱动分支: 使用固定的哈尔小波(HDWT)滤波器分解输入特征，注入关于条纹方向的先验知识。
  - 残差分支: 使用一个步长为2的3x3卷积，以数据驱动的方式捕捉跨通道的语义信息，作为小波分支的补充。
- 两个分支的输出相加，得到既包含结构先验又富含语义信息的下采样特征。其数学表达为：其中 \(\mathcal{H}(\cdot)\) 代表HDWT操作，\(f_{\delta}^{3 \times 3}\) 代表卷积和激活函数，\(f_{s=2}^{3 \times 3}\) 代表步长为2的卷积。
列非均匀性校正模块 (CNCM)
- 动机: 为了从全局视角建模并校正条纹噪声，需要一个能有效捕捉列向长距离依赖关系的模块。
- 实现: CNCM (如图3(c)所示)采用密集连接残差(DCR)结构，其核心是残差列空间自校正(RCSSC) 块。RCSSC块 (如图4所示)集成了三个关键分支：
  - 列注意力分支 (CAB): 通过对每列进行平均和最大池化，捕捉列的共享特征，并生成列向注意力权重，以强化列内依赖性，消除列间差异。
  - 空间注意力分支 (SAB): 沿通道维度进行全局池化，生成空间注意力图，用以增强关键区域的结构表征，帮助解耦条纹与背景。
  - 自校准分支 (SCB): 通过对特征进行下采样、卷积和上采样插值，建立灵活的长距离依赖关系，聚合全局上下文信息，对特征进行微调。
- 三个分支协同工作，其输出\(C_o\)的计算公式为：
损失函数
- 网络训练采用均方误差(MSE)损失函数进行监督，旨在最小化网络输出图像与真实干净图像之间的像素级差异。其中 \(I_O^i\) 是网络输出，\(I_C^i\) 是真实干净图像(Ground Truth)。

4. 即插即用模块作用

本文的核心技术ASCNet作为一个完整的去噪网络，为处理红外图像条纹噪声提供了高效的解决方案。

适用场景

核心任务: 红外图像去条纹，适用于处理由焦平面阵列(FPA)响应不均或读出电路问题引起的各类条纹噪声（如高斯、均匀、周期性分布）。
下游任务预处理: 可作为高级视觉任务的前端模块，用于提升输入图像质量，例如：
- 红外小目标检测 (IRSTD)
- 安防监控与海面监视
- 自动驾驶的红外感知系统
领域拓展: 技术思想可迁移至其他存在类似条纹或固定模式噪声的图像恢复任务中，如遥感图像处理、医疗影像（如CT扫描）等。

主要作用

模拟/替代能力: 替代了传统方法中复杂的手工滤波器和统计模型，通过深度学习自动、精确地分离噪声和背景。
增强性能:
- 高精度去噪: 相比现有方法，能更彻底地去除条纹噪声，同时更好地保护图像的纹理细节，避免模糊和伪影。
- 提升下游任务精度: 通过提供更干净的输入图像，显著提高了红外小目标检测的检测率(Pd)、交并比(IoU)和F-measure，同时降低了虚警率(Fa) (如表IX所示)。
- 强泛化性: 对合成噪声和真实世界中多样的条纹噪声模式均表现出优异的鲁棒性和泛化能力。
效率与部署: 提供了不同参数规模的版本（ASCNet, ASCNet-small, ASCNet-tiny），在保持高性能的同时，兼顾了计算效率，为部署在不同算力平台上提供了可能。