Rethinking Coarse-to-Fine Approach in Single Image Deblurring论文阅读

1. 论文研究目标及实际意义

研究目标：

“Conventional methods typically stack sub-networks with multi-scale input images… yielding inevitably high computational costs. Toward a fast and accurate deblurring network design, we revisit the coarse-to-fine strategy…”

本文旨在解决传统Coarse-to-Fine（粗到细）策略在单图像去模糊中的计算效率问题，同时保持高精度。核心矛盾在于：堆叠子网络（如DeepDeblur）虽有效，但计算开销大，难以部署在移动设备等资源受限场景。

实际意义：

• 产业需求：自动驾驶、安防监控等实时视觉系统需高效去模糊预处理（如消除运动模糊）。
• 技术瓶颈：现有方法（如PSS-NSC、MT-RNN）在精度与速度间难以平衡（见表1）。
• 创新定位：提出轻量级MIMO-UNet，实现PSNR提升32.68 dB的同时，推理速度快4倍于MPRNet（SOTA模型）。

---

2. 创新方法：MIMO-UNet及其技术细节

2.1 整体架构设计思想

“Instead of stacking multiple sub-networks, we present a single U-Net that handles multi-scale blur with low computational complexity.”

核心目标：通过单编码器-单解码器结构实现传统级联子网络（如DeepDeblur）的粗到细去模糊能力，同时显著降低计算开销。
关键创新：

• 多输入单编码器（Multi-Input Single Encoder, MISE）：单编码器处理多尺度输入图像（原图、1/2、1/4分辨率）。
• 多输出单解码器（Multi-Output Single Decoder, MOSD）：单解码器输出多尺度去模糊结果（原图、1/2、1/4尺度）。
• 非对称特征融合（Asymmetric Feature Fusion, AFF）：动态融合编码器多尺度特征，提升信息利用率。

图3：MIMO-UNet整体架构

2.2 多输入单编码器（MISE）

2.2.1 设计动机

传统方法（如DeepDeblur）为每个尺度分配独立子网络，导致参数冗余。MISE通过共享编码器主干处理多尺度输入，减少重复计算。

2.2.2 浅层卷积模块（SCM）

• 输入：第 $k$ 级下采样模糊图像 $B_k$（$k=1,2,3$ 对应原图、1/2、1/4尺度）。
• 结构（见图4a）：
  • 串联 $3\times 3$ 卷积 + $1\times 1$ 卷积 → 特征提取
  • 残差连接：与输入 $B_k$ 拼接 → $1\times 1$ 卷积融合
• 公式（论文式无编号，见3.1节）：
  $${\text{SCM}}_k^{\text{out}}={\text{Conv}}_{1\times 1}\left(\text{Concat}\left({\text{Conv}}_{3\times 3}(B_k),B_k\right)\right)$$

2.2.3 多尺度特征融合

• 融合操作：
  • 上一级编码器输出 $E{B}_{k-1}^{\text{out}}$ 经步长2卷积下采样 → ${\left(E{B}_{k-1}^{\text{out}}\right)}^{\downarrow }$
  • 与 ${\text{SCM}}_k^{\text{out}}$ 通过**特征注意力模块（FAM）**加权融合
• FAM结构（见图4b）：
  • 输入特征图逐元素相乘 → $3\times 3$ 卷积 → 残差连接
    FAM ( X , Y ) = Conv 3 × 3 ( X ⊙ Y )