盲超分的核心概念
一、盲超分的本质与数学建模
1. 退化过程的数学表达
低分辨率图像(LR)可看作高分辨率图像(HR)经过退化模型后的结果:
- 𝑦:观测到的低分辨率图像
- 𝑥:待恢复的高分辨率图像
- 𝑘:模糊核(Blur Kernel)
- ⊗:卷积操作
- ↓𝑠:下采样(步长为𝑠)
- 𝑛:加性噪声(如高斯噪声、泊松噪声等)
盲超分的核心问题:在未知 𝑘、𝑠、𝑛 的情况下,从 𝑦估计 𝑥。
2. 为什么传统超分方法会失效?
传统方法(如SRCNN、EDSR)假设退化是固定的(如双三次下采样),但真实场景中:
- 模糊核可能是运动模糊、高斯模糊或镜头像差的混合;
- 噪声可能是传感器噪声、JPEG压缩伪影等;
- 下采样方式未知(如非整数倍缩放、区域自适应采样)。
二、盲超分的技术路线详解
1. 显式退化建模方法:把“模糊核”显式地算出来
(1)模糊核估计
目标函数:从 LR 图像 y 估计模糊核 k,经典的最大后验(MAP)框架:
方法 | 关键思想 | 实现要点 |
KernelGAN (ICCV’19) | 用 GAN 的判别器捕获 LR 图像梯度分布 → 生成器输出 k | 判别器用 PatchGAN,损失加 TV 正则 |
Double-DIP (CVPR’18) | 两个 DIP 网络分别估计 x 和 k,交替优化 | 网络结构:U-Net;需加核范数正则防止平凡解 |
踩坑经验
- 核尺寸必须 ≥ 真实核(一般设 21×21),否则估计会“截断”高频。
- 噪声 σ>2 时,先对 y 做轻度降噪(BM3D/FFDNet),否则核估计会过拟合噪声。
(2)退化-重建联合优化(IKC 路线)
步骤:
- 初始化一个粗略的模糊核 𝑘0;
- 用当前 𝑘𝑖 训练超分网络,生成HR图像 𝑥𝑖;
- 根据重建误差反向优化 𝑘𝑖;
- 重复2-3步直至收敛。
优点:逐步修正模糊核,避免一次性估计的误差累积。
二、隐式退化学习:不估计核,让网络“自己学”
(1)退化空间搜索(Degradation Space Search)
Real-ESRGAN(2021):
- 提出高阶退化建模:模糊 → 噪声 → 下采样 → JPEG压缩 → 传感器噪声的串联。
- 训练时随机采样退化参数,迫使生成器适应多种退化组合。
- 关键改进:使用UNet判别器增强对伪影的感知能力。
(2)域适应(Domain Adaptation)
BSRGAN(2021):
- 构建更复杂的合成退化模型,模拟相机成像链路(如镜头模糊、色彩畸变)。
- 通过数据增广生成贴近真实世界的LR-HR对。
3. 基于元学习与测试时优化
MZSR(Meta-Transfer Learning for Blind SR):
- 在测试时根据输入图像动态调整网络参数(类似“快速适应”)。
- 解决训练-测试退化分布不一致问题。