9、论文阅读：无监督的感知驱动深水下图像增强

Enhancement Without Paired Supervision)

前言

当前的 UIE 算法主要通过最小化增强图像和地面真实图像之间的重建损失，在合成数据集或具有伪标签的数据集上训练深度神经网络（DNN）。但是，合成和真实的水下图像有差距，在合成图像上训练的网络在真实环境下不一定有好的表现。并且使用L1和L2损失函数，往往忽视人类感知的重要性，（L1和L2损失只关注像素级别的差异，没有考虑人类视觉系统的感知特性。人类的眼睛对边缘和纹理的变化敏感，但是对颜色变化相对不敏感。为此，可以使用感知损失或者风格迁移损失 ​），导致增强的图片不尽人意。

因此，本论文提出了一个无监督感知驱动的 DNN，称为 PDD-Net，用于泛化 UIE。我们不依赖配对图像进行训练，而是采用无监督生成对抗网络（GAN），以大量易于获得的自然图像作为目标域，这使得模型可以使用从各个领域收集的图像进行训练，避免过度拟合任何特定的数据生成领域。

此外，为了让增强的图片更加符合人类感知（纹理、边缘、颜色等），我们预训练了一个基于DNN的PQR(成对质量排序)模型，在其上制定PQR损失以逐步引导提高原始水下图像的质量方向。

此外，我们引入了全局注意力模块（GAM），它集成了调制和注意力机制，能够捕获丰富的全局和局部信息，从而提高亮度和对比度。

引言

水下成像对于与海洋相关的应用至关重要，然而，由于特殊的成像环境，水下图像的质量往往会因能见度差、对比度低、色偏等问题而受到影响，从而影响了水下研究和探索的进展。造成这种质量差的主要原因在于光波长的吸收（红光最先消失）和光的散射。水中的悬浮物也会会导致光多次散射和反射，导致水下图像的低对比度、细节模糊。

UIE 的早期尝试通常应用简单的图像处理技术来操纵原始水下图像的图像像素，包括灰度世界白平衡、伽马校正、直方图均衡和直方图拉伸。 此类方法基于自然图像处理的先验知识直接改变水下图像的像素强度，无法适应水下图像的复杂变形。

• 灰度世界白平衡：调整每个像素的像素值R,G,B，但是当图像场景颜色并不丰富时（尤其是水下环境常常呈现蓝/绿色），尤其出现大块单色物体时，该算法常会失效。 自动白平衡–灰度世界算法(Gray World Algorithm)
• 伽马校正：用于调整图像亮度和对比度的技术。人眼对亮度的感知是非线性的，即对亮度的变化不敏感于线性的亮度变化，而更敏感于暗部区域的变化。为了更好地匹配人眼的这种非线性感知，图像处理中的伽马校正会引入一个幂函数来调整亮度值。但是可能引起一些细节损失，计算量有时也比较大。
• 直方图均衡
• 直方图拉伸

为了解决这个问题，又演化出了基于图像融合的UIE算法。但是这种方法存在计算复杂度高（需要通过he、gc等算法获取图片）、参数调节复杂（多个算法）的问题，同时并不能完全解决水下图像失真的问题。

考虑到水下图像退化主要是由于波的吸收和散射引起的，因此开发了各种物理水下成像模型。

• 《Transmission estimation in underwater single images》 UDCP
• 《“GUDCP: Generalization of underwater dark channel prior for underwater image restoration》 GUDCP
• 《Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior》
• 《Underwater image enhancement with hyper-Laplacian reflectance priors》
• 《FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion》

使用这些模型开发了UIE方法，可以有效地恢复退化的水下图像。但是这些方法也存在一些问题。过后补充

为了获得准确的结果，提出了额外的先验作为约束。然而，该模型并不总是适用于水下图像，因为复杂的水下环境会干扰光传输衰减，导致最终结果中出现不必要的伪影。

近年来，由于DNN模型的非线性建模能力，使得DNN在UIE领域获得广泛应用。例如：

• 《Underwater image enhancement with global–local networks and compressed-histogram equalization》
• 《Anovel underwater image enhancement algorithm and an improved underwater biological detection pipeline》
• 《Two-branch deep neural network for underwater image enhancement in HSV color space》
• 《CURE-Net: A cascaded deep network for underwater image enhancement》

然而，由于缺乏真实的高质量水下图像给在UIE中直接应用DNN带来了巨大的挑战。

• 一种解决办法就是合成训练数据，但是真实数据和合成数据之间的差距限制了这些方法的应用和性能
• 另一种办法是使用伪标签进行训练，其中监督数据是通过现有UIE算法从不同的增强结果中手动选择的，但是这种方法可能会在不同数据集上产生异构性能，并且性能可能会受到现有 UIE 方法的极大限制。

现有的基于DNN的UIE算法通常使用MSE损失，这常常忽略了人类感知的重要性。即虽然客观数据好看，但是不符合人类对视觉质量的感知。

为了解决上述问题，提出了无监督感知驱动的DNN，PDD-Net。

• 使用无监督生成对抗网络（GAN），以一组易于获得的大规模自然图像作为目标域
• 使用对抗性损失来最小化训练增强的水下图像和容易获得的自然图像之间的分布距离。
• 为了使增强图像更加符合人类感知，预训练了一个基于深度神经网络（DNN）的成对质量排名（PQR）模型，作为质量损失项，指导原始水下图像向更高质量的方向优化
• PQR 模型可以在人类评分的水下图像质量数据集上进行训练，使我们增强的图像能够满足人类感知

本论文的贡献：

• 我们提出了一种新颖的质量感知驱动的无监督 GAN，称为 PDD-Net，以实现可泛化的 UIE。首先在 UIE 领域考虑人类质量感知来指导网络训练，而无需配对监督。
• 我们基于预训练的 PQR 模型制定了新的 PQR 损失，以