0 引言

随着科技的进步，资源的不足制约了发展的速度，而海洋约占了地球表面积的 71%，含有丰富的资源。要想合理地开发海洋资源，需要在水下能够看的“清”，然而水下的环境相当复杂，光在传播过程中很容易受到水体和悬浮颗粒的吸收以及散射，这严重影响水下成像质量，导致水下成像出现颜色偏差、雾化现象、对比度低以及细节模糊等问题，给后续的分析带来了较大的干扰，因此怎样获得真实、清晰以及颜色正常的水下图像具有很重要的意义。

水下图像增强是提高图像质量的重要一步，现有的研究方法主要可以分为 3 个方面，分别是基于非物理模型方法、基于物理模型方法以及基于数据驱动的方法。

基于非物理模型方法不需要建模水下成像的过程，它们直接通过算法来对图像的每一个像素点进行变换，以此来对图像进行颜色矫正，对比度增强等。直方图均衡化就是一个比较简单快速的方法，它通过像素值变换使得大多数灰度等级具有大致相同的像素个数，从而增加动态范围比较小的图像的对比度，但是它的缺点就是只针对整体图像，很难改善图像局部区域的对比度。MA 等人^[1]利用限制对比度自适应直方图均衡化算法，在 YIQ 颜色空间和 HSI 颜色空间得到 2 个不同增强的图像后，再将它们转换成到 RGB 空间进行融合，并利用 Sobel 边缘检测算子，进行自适应权值选择以及非线性图像增强。同年。HUANG 等人^[2]提出了一种自适应参数的相对全局直方图拉伸方法 （RGHS），该方法在 RGB 色彩空间对蓝色通道和绿色通道进行均衡处理后，再对每个通道直方图进行了重新分配，实现了对比度矫正。而为了进行颜色的矫正，接着在 CIE-Lab 颜色空间中对 L 通道进行了拉伸，并调整了 a 和 b 通道。一些基于融合的方法也广泛应用在水下图像增强领域中。ANCUTI 等人^[3]提出了一种新的融合策略用来解决水下图像和视频增强的问题，它有 2 个输入，分别是颜色矫正后的图像、对比度增强的图像，以及 4 个权重参数用来增加远处物体的能见度，增强的图像颜色更加正常，细节保留的更好。接着在 2017 年， ANCUTI 等人^[4]在原先基础上进行了改进，对图像先进行了白平衡，再分别对图像进行伽马校正和图像锐化，再通过多尺度融合得到增强后的图像。 MARQUES 等人^[5]创建了 2 个不同的模型，并从中产生了 2 个增强的图像，分别是增强了细节的图像以及提升了亮度的图像，再通过多尺度策略来进行融合。除此之外，一些基于视网膜理论（Retinex） 的模型也被得到了应用。FU 等人^[6]提出了一种基于 Retinex 理论的水下图像增强方法，包含 3 个步骤：第 1 步是进行颜色矫正，第 2 步是利用变分的 Retinex 框架来分解反射率和照度，第 3 步则采用不同的增强策略对反射率和照度进行增强得到最终图像。ZHANG 等人^[7]根据 CIE-Lab 颜色空间中图像的 3 个通道的特性，对图像的 3 个通道进行了双边滤波和三边滤波，进而提出了一个多尺度的 Retinex 框架来增强水下图像。

基于物理模型的方法需要建立成像退化模型，将水下图像的增强看作为求解它的逆问题。暗通道先验^[8]在 2009 年被提出，它在水下图像增强中得到了广泛的应用。CHIANG 等人^[9]结合暗通道先验提出了波长补偿和图像去雾算法来消除光散射和颜色变化引起的失真。为了改进暗通道先验的效果， DREWS 等人^[10]提出了水下暗通道先验（UDCP），验证了水下环境中蓝通道和绿通道包含了大多数视觉信息，将暗通道先验应用于蓝通道和绿通道能更加有效增强图像。PENG 等人^[11]则提出了一个泛化的暗通道先验，不仅可以用于增强雾天、雾霾、沙尘暴类型退化图像，也能增强水下图像。另一方面，通过利用水下的光学成像特性，AKKAYNAK 等人^[12] 提出了一个新的水下成像模型，它表明了信号的衰减系数在整个场景中是不均匀的，取决于目标距离和反射率，而且控制后向散射随距离增加的系数与信号的衰减系数也存在不同。LI 等人^[13]基于最小信息损失原理和直方图分布先验，提出了一种有效的水下图像去雾增强算法，以恢复水下图像的可见度、颜色和对比度。

近年来，由于深度学习的发展，一些基于数据驱动的方法也相继被提出。LI 等人^[14]利用水下成像物理模型和水下场景光学特性，合成了不同类型和退化水平的水下图像训练数据集，进而提出了一种基于水下场景先验的水下图像卷积神经网络 （UWCNN），直接输出清晰增强的水下图像。然而由于训练数据是仿真的，与真实水下图像存在差距。为了解决这个问题，LI 等人^[15]构建了一个真实水下图像增强数据集（UIEB），包括 950 个真实水下场景，其中 890 个具有成对的参考图像，并训练了一个水下增强网络（Water-Net）验证了数据集的泛化性。同年，ISLAM 等人^[16]也构建了一个真实水下图像增强数据集（EUVP），提出了一种基于条件生成对抗网络的水下图像增强模型（FunIE-GAN），能够快速地对水下图像进行增强。由于 RGB 空间对亮度和饱和度等图像属性不敏感，基于这一观点，WANG 等人^[17]提出了一个水下增强网络，集成了 RGB 色彩空间和 HSV 色彩空间信息，使得增强的图像有一个更好的视觉效果。

基于深度学习的水下图像增强方法在仿真的水下图像上取得了良好的效果，但是由于简化的仿真图像与复杂的真实图像之间存在较大差距，此类方法在处理真实水下图像时性能明显下降。为了解决真实水下图像增强问题，本文研究了一种联合生成– 去除水下图像增强方法。该方法采用分解思路，将水下图像分解为清晰的背景层和包含色偏与模糊的退化层，通过循环一致性损失和对抗性损失来更好地保留背景，进而实现真实图像和仿真图像之间的转换，既校正了图像颜色，又提升了图像对比度，实现良好的增强效果。

1 联合生成–去除水下图像增强方法

1.1 方法动机

图像生成可视为从清晰图像到退化图像的正向变化过程，而图像去除则是从退化图像到清晰图像的逆向变化过程，二者互逆，地位相同。现有方法大多将去除与生成相互孤立，具有一定的局限性。一方面，由于缺乏成对的数据，有监督的方式学习清晰图像到退化图像的映射；另一方面，仿真水下退化图像缺乏真实性，导致成对数据训练的模型在实测的水下退化图像上难以泛化。

本文提出如下观点：生成与去除互为逆问题，二者是有机结合的整体。如果生成数据与去除数据分布差异较大，将导致二者之间的不匹配。因此，我们提出联合生成–去除水下图像增强方法，在图像去除后，将剥离出来的水下退化层输入到网络中进行学习，使网络专注从仿真退化到真实退化的迁移学习。因此，既减轻了网络学习难度，又保证了生成前后图像背景一致性，保存了图像目标纹理、语义等信息。

1.2 框架设计

本文提出基于分解思路的联合生成–去除水下图像增强方法，具体网络结构如图1 所示。

整体框架基于 CycleGAN 的循环一致性生成网络，分别输入仿真和实测退化数据。包含 1 个真实图像到仿真图像迁移模块和 1 个仿真图像到真实图像迁移模块。以前者为例，该模块首先经过复原网络对仿真水下退化图像进行分解，得到背景信息与仿真退化层，再将分解结果输入到生成网络中，通过对抗损失函数的约束，使得生成网络能够生成与真实退化图像差距较小的水下图像，完成仿真图像到真实图像的迁移。在迁移过程中，由于仿真图像与真实图像之间的差距主要体现在退化层，而背景内容是相同的。因此，提出的 JUIGR 框架利用 2 个模块分解出来的背景信息，且进一步施加对抗损失与重建损失，进而保证背景内容在迁移过程中的不变性。因此，我们提出的框架能够重点关注真实与仿真退化层之间的映射关系，同时保留背景内容不变。最终，2 个模块在生成高质量的水下退化图像与清晰图像复原的过程之间彼此学习，相互制约，共同提升水下图像的复原与生成能力。

1.3 损失函数

1）生成对抗损失函数。

对于去除网络输出的清晰背景，为了保证真实图像去除网络进行有效的水下图像增强，我们采用了一个背景判别器对输出结果进行判别。背景判别器以真实拍摄的水下清晰图像，去除网络生成的 “假”清晰图像为输入进行训练，希望其尽可能的分辨出图像的真假。而另一方面，我们希望真实图像去除网络与仿真图像去除网络输出的“假”清晰图像质量越来越高，越来越像“真”清晰图像，直到能够“骗过”背景判别器。因此，我们施加下面的背景对抗损失约束：

式中：O_s 和 O_r 分别代表仿真与真实输入退化图像； F_s 和 F_r 代表仿真与真实去除网络；G_s 和 G_r 作为仿真与真实生成子网络； B 为真实拍摄的清晰图像；$\alpha$为平衡权重参数。值得注意的是，这一过程无需严格对齐的成对数据进行有监督约束，这是生成对抗网络带来的好处之一。

2）循环一致损失函数。

本文采用的循环生成结构具有这样的好处：在仿真图像迁移到实测图像后，再进行一次实测图像到仿真图像的逆向迁移，而这一逆向迁移结果需要和最原始的输入仿真图像保持一致，即循环一致约束，防止图像生成过程中内容信息被破坏，从而导致模型崩塌。

3）最小误差损失函数。

在仿真图像去除过程中，我们本身拥有其对应的清晰图像真值（Ground Truth），使用最小误差损失函数对部分网络进行有监督训练，可使得网络快速收敛，因此我们仍然在仿真图像去除网络上施加了最小误差损失函数：

最终联合损失函数如下所示：

综合来看，JUIGR 的每个子网络均使用对抗损失函数对输出风格进行约束，使用循环一致函数对输入信息进行保真，另外对于仿真图像，还有最小误差损失函数进行强约束。这些施加于每一步中间结果的约束使得生成网络与去除网络可以在训练过程中相互促进，适应真实水下退化图像，而泛化更好的去除网络可将退化从图像中剥离出来，从而降低生成网络学习难度，反过来促进图像生成。

2 对比实验与结果分析

2.1 实验准备

本文基于 PyTorch 框架实现使用 4 块 RTX 2080TI GPU，其中 U-Net 作为生成器，PatchGAN 作为判别器。平衡参数 α，λ_adv，λ_cyc，λ_mse 分别设置为 4，10，1，10。在 256×256 大小尺寸上训练，优化器选择为 Adam，批量大小设置为 8，我们首先对每个子网络单独训练 100 次学习率为 0.000 1，然后联合训练 200 次学习率分别除以 10 和 100。

1） 数据集。

①EUVP 数据集：选取 3 700 对成对的仿真水下图像，用于 JUIGR 网络仿真图像端输入。②UIEBD 数据集：包括 890 个原始水下图像和相应的高质量参考图像和 60 张具有挑战性的水下图片，用于 JUIGR 网络真实图像端输入。

2） 评价指标。

客观评价指标包括有参考评价指标峰值信噪比（PSNR）、结构相似度（SSIM），二者越大越好； 无参考水下图像增强评价指标有水下图像质量度量（UIQM）、水下彩色图像质量度量（UCIQE）。主观指标为复原图像视觉效果。

2.2 水下图像增强方法对比

在本节内容中，为评估不同算法对水下图像增强的有效性，将本文提出的 JUIGR 模型与现有的水下图像增强方法在 UIEBD 数据集上进行定性和定量的对比分析，对比方法包括基于深度学习的方法 UWCNN，Water-Net 和 UIEC^2-Net。

表1 显示，在有参考指标方面，与原始退化图像相比，UWCNN 和 Water-Net 的 2 个指标表现均明显下降，尤其是 UWCNN 下降约 3.38 dB，对水下图像增强起副作用；UIEC^2-Net 的表现较为良好，相较于退化图像 PSNR 提升了 5.33 dB，SSIM 提升了 0.87，显著提升了图像复原效果；JUIGR 的提升最为显著，在 PSNR 和 SSIM 的 2 个指标上均表现最佳，图像增强效果显著。在无参考指标方面， JUIGR 同样在 UCIQE 和 UIQM 上取得了突出的表现，再次证明了 JUIGR 的增强效果最优。

图2 中展示了不同方法在 UIEB 数据集上的增强结果，通过主观分析可以看出，UWCNN 的复原结果整体较差，主要表现为未去除蓝绿色偏，且过多的对红色通道进行了增强，导致结果与自然图像有较大的偏差，并且模糊程度进一步加剧；Water-Net 对色偏和模糊的改善较为明显，但亮度较 UIEC^2-Net 更低，且在图像的亮部（例如第 4 张图的左上方白光处）引入了黑色伪影，导致视觉效果较差； UIEC^2-Net 一定程度上削弱了水下图像的蓝绿色偏和模糊，但是 UIEC^2-Net 的复原结果整体较暗，影响观感；JUIGR 的结果相较于其他方法，不仅有效的改善了原始图像的蓝绿色偏，还增强了图像的对比度，整体更加明亮，在一些图像上取得了比参考图像更好的视觉效果。综上，可视化结果与定量对比结果基本一致。

2.3 消融实验

为了解各个损失函数对网络有效性的影响，我们进行了消融实验分析，表2 展示了各种消融模型下的指标效果。JUIGR 中主要使用了对抗损失函数、一致性损失函数、MSE 损失函数对网络进行约束，第 1 行数据证明了对抗损失函数与一致性损失函数具有重要作用，说明生成和去除之间的互相博弈和网络的循环一致性对水下图像增强有着至关重要的影响；而 MSE 损失函数作用较小，但仍有一定提升效果。

3 结束语

在本篇工作中，我们提出了一个生成与去除联合的生成对抗网络用来进行真实水下图像增强与颜色矫正问题。通过生成对抗损失和循环一致性损失函数对生成和去除网络进行约束，二者相互促进，进而形成了对称的双向稳定的网络结构，使网络能够泛化到真实水下场景增强。我们进一步利用分解的策略来将真实的水下图像分解为干净的背景层和退化层，从而促进仿真图像和真实图像之间的相互迁移。大量的真实水下数据集实验阐述了我们提出方法的优越性。

参考文献