-
0 引言
-
近年来，各国均在积极发展海洋战略，而清晰的水下图像可以提供宝贵的海洋信息，因此对清晰水下图像的获取就变得尤为重要。然而，由于水介质的吸收和散射特性会出现不同程度的浑浊与模糊，并且不同波长的光在水中的衰减程度不同，其中红色光衰减最为严重，蓝色与绿色光衰减程度相对较弱。因此，水下拍摄的图像通常呈现蓝色或绿色。此外，由于悬浮颗粒也会对光散射进行干扰，所以水下成像亦会出现对比度低和饱和度低等问题。因此，有必要对失真的水下图像进行质量增强，以获得清晰的、恢复真实色彩的水下图像。其目的是增加退化图像在多个后续处理任务上的可利用性，例如目标检测、识别和分割等。纠正这些退化现象，有助于对复杂的海洋环境进行开发，具有重要的现实意义。
-
围绕对水下图像的清晰化处理，目前的水下图像增强方法可以大致分为 3 类：基于物理模型的方法、基于非物理模型的方法和基于深度学习的方法。其中，基于物理模型的方法通过手工制作的先验估计模型参数，然后反转水下成像模型以获得清晰的图像。这些先验包括水下暗通道先验、最小信息损失、模糊先验、衰减曲线先验、一般暗通道先验和雾线先验等。例如，BERMAN 等人[1]引入了雾线模型来处理波长相关衰减并重建水下图像。 AKKAYNAK 等人[2]基于水下依赖性修改了水下成像模型来增强水下图像。总体而言，这些基于物理模型的方法在某些情况下是有效的，但它们严重依赖于手工制作的先验知识。因此，当这些先验在某些水下场景中失效时，增强后的图像往往无法达到让人满意的结果。基于非物理模型的方法通过直接调整图像像素值来提高水下图像的视觉质量。代表性方法包括基于 Retinex 的方法、基于直方图均衡化的方法和基于图像融合的方法。例如，ANCUTI 等人[3]提出了一种多尺度策略，并将其用于融合从白平衡方法中获得的颜色校正和对比度增强后的图像以获得更好的增强效果。这些基于非物理模型的方法忽略了水下成像机制，容易导致经非物理模型方法增强后的图像出现过增强和过饱和等问题。
-
随着深度学习在计算机视觉领域的发展，基于深度学习的方法已广泛应用于计算机低级视觉任务。在水下图像增强领域，GUO 等人[4]提出了一种基于生成对抗学习（Generative Adversarial Network，GAN）[5]的弱监督学习网络 UWGAN。该网络包括 1 个生成器和 1 个判别器，可以学习失真图像与非失真图像之间的非线性映射。LI 等人[6]提出了一种基于水下场景先验的水下图像增强卷积神经网络 （Convolutional Neural Network，CNN）模型，称为 UWCNN。此模型不需要估计水下成像模型的参数，而是可以直接重建清晰的水下图像。ISLAM 等人[7]提出了一种基于 CGAN（Conditional GAN）[8] 的实时水下图像增强模型 FUnIE-GAN。该方法通过一个目标函数来监督对抗训练，可以感知图像的整体内容、颜色、局部纹理和风格信息，并以此来评估并提升图像质量。在 2021 年，LI 等人[9]设计了一种结合水下模型特点的由多颜色空间编码器网络和透射率引导解码器网络组成的编解码网络 Ucolor。WANG 等人[10]介绍了一种将 RGB 颜色空间和 HSV颜色空间集成在一个 CNN 中的水下图像增强网络 UICE^2-Net。此方法是第 1 个基于深度学习的使用 HSV 颜色空间进行水下图像增强的网络。最近，FU 等人[11]提出了一种新的水下图像增强方法 SCNet，该方法基于跨越空间和信道维度的归一化方案，以应对水下场景中呈现的多种退化问题。基于深度学习的方法对水下图像的增强具有令人满意的效果，但此类方法普遍依赖高质量的训练数据集，且目前网络的泛化能力不足，难以满足实时性的要求。
-
受上述工作的启发，本文提出了一种端到端的基于改进生成式对抗网络的深度学习模型进行水下图像增强。通过学习失真图像与参考图像之间的双边特征，有效地提高了图像的清晰度并恢复了图像的色彩。本网络中引入的图像质量引导模块，改善了传统的 GAN 网络中生成器只关注生成样本的真假而带来的图像质量受限等问题，获得了质量更高的水下图像。
-
1 生成对抗网络
-
生成式对抗网络（ GAN） [5] 是 2014 年 GOODFELLOW 等人提出的一种深度学习网络模型。近年来，该模型吸引了计算机领域众多学者的关注和研究。生成对抗网络能够生成数据的特点，弥补了深度学习训练时数据不足的问题；此外 GAN 在图像增强与复原、图像风格迁移和图像生成等应用中均发挥了独特的作用。
-
GAN 由生成器 G 和判别器 D 组成。从本质上讲，G 和 D 均为函数，通常依靠深层的网络结构来实现。在网络的训练过程中，G 把随机的噪声分布 z 输出为生成数据 G（z），并将这个数据传输给判别器 D。D 的输入除了 G（z），还有真实的数据 x，输出的数据为一个概率，表示 G（z）对 x 的接近程度，并将这个值反馈给 G，帮助其将生成的数据 G（z）优化。在理想的状态下，生成数据 G（z） 与真实数据 x 无限接近，此时 G 学习到了真实样本的完整分布，模型达到最优。GAN 的优化通过一个极大极小目标函数实现：
-
整个目标函数描述的是将真假样本分类正确的能力。在网络训练过程中，先进行判别器 D 的训练。对于 D 来说，分类能力应该越高越好，因此目标函数（1）对于判别器 D 为最大化的过程。接下来是生成器 G 的训练，此时会固定判别器 D 的参数。对于生成器来说，式（1）应该越小越好，表示判别器 D 的能力因为生成器 G 生成的样本使其无法区分而减弱。这也就是 GAN 的目标函数是一个 min-max 函数的原因。
-
2 本文方法
-
针对水下图像的各种退化问题，本文提出了一种基于改进生成式对抗网络的方法进行水下图像增强。本方法在原始的生成式对抗训练基础上，将中间过程的生成数据进行评分，并利用这个指标指导生成器的训练及调整，以获得不受传统训练模式限制的高质量水下图像。
-
2.1 框架结构
-
本文的框架结构采用了 pix2pix-HD[12]作为基线网络，并使用了 1 个生成器和 3 个输入不同图像尺寸的判别器 D1、D2、D3。如图1 所示，退化图像 x 和参考图像 y 作为成对训练数据输入网络中，通过学习二者之间的映射关系，生成器最终可以将具有不同退化特征的水下图像增强为可被后续利用的高质量图像。由于使用了多个判别器，本网络的目标函数可以表示为
-
式中：Dk 代表3 个判别器 D1、D2 和 D3，G 代表网络的生成器。
-
图1 本文方法总体框架图
-
Fig.1 Overall framework of proposed method
-
在 GAN 网络训练过程中，判别器 D 区分生成数据接近真实样本还是生成样本的行为是一个正负分类问题。然而，当生成的样本足够真实时，将高质量样本与低质量样本同等对待是不公平的。因此，我们认为在进行图像增强时，GAN 面临的是一个高质量和低质量的分类问题，而不是一个普通的真假分类问题。由这种分类逻辑改进的网络结构更适用于图像增强任务，能够使得生成的数据在足够真实的同时达到更高的图像质量。因此，我们在网络中，结合图像质量评价技术，引入了图像质量引导模块 QGM（Quality Guided Module）。我们将网络训练中生成的中间数据处理为可以进行算法评分的样本，并将得到的结果与从高质量样本得到的指标进行拟合。在这个过程中产生的差值将用于调整生成器 G 的网络参数，由这种方法得到的增强模型可以改善真假训练逻辑带来的限制，提高增强结果的质量。
-
经过对比和评估，我们采用 UIQM （Underwaterimage Quality Measurement）[13]作为 QGM 的评分指标。UIQM 包括 3 种水下图像属性度量：水下图像色彩度量（UICM）、水下图像清晰度度量（UISM）和水下图像对比度度量（UIConM）。经过线性组合后，UIQM 评价指标可以表示为
-
式中：c1、c2、c3 三参数由多元线性回归（MLR） 得到，取值[13]分别为 0.028 2、0.295 3 和 3.575 3。
-
2.2 损失函数
-
本文网络模型的损失函数由 3 部分组成，分别为 GAN 损失函数 LG、特征匹配损失函数 LF 和质量引导损失函数 LQ。其中，GAN 损失函数 LG 的目标是通过以下函数，在给定输入语义标签映射的情况下，对真实图像的条件分布进行建模：
-
式中：x 和 y 分别为网络输入的成对训练数据退化图像和参考图像。特征匹配损失函数 LF 通过从鉴别器的多个层中提取特征，并学习从真实图像和到合成图像的映射来对应这些中间表示。这个损失函数提高了训练的稳定性，并对图像增强类网络的效果有提升作用。这个损失函数可以表示为
-
式中：T 表示总层数；D（i）k 表示鉴别器 Dk 的第 i 层；Ni 表示每层中的元素数量。质量引导损失函数 LQ 应用在质量引导模块中，通过对生成样本和高指标样本之间的拟合，使图像不受传统 GAN 训练模式的限制，实现更好的增强效果。质量引导损失函数 LQ 可以表示为
-
式中：U 代表我们采用的评价指标 UIQM 算法。经过以上分析，我们的整体损失函数可以表示为
-
式中：λ1=10 和 λ2=1 是函数的参数，决定了 3 个度量的比重。
-
3 实验设置与结果分析
-
为了验证所提方法的有效性，将本文与现有的 4 个先进的基于深度学习的方法进行了实验对比，并从主观和客观的角度对结果进行对比分析。实验结果表明：本文算法针对水下图像质量增强具有更好的鲁棒性。
-
3.1 实验设置
-
实验的训练和测试均在 SUIM-E[14]数据集上进行，我们使用数据集中的 1 525 对图像进行训练，其余 110 对图像进行测试。SUIM-E 数据集包含 1 635 幅真实的水下图像，这些真实的水下退化图像经过 11 种图像增强算法以及一种用于增强水下图像的商业应用（dive+）增强后，生成了 12 组候选参考图像。利用原始的水下图像及其增强候选图像，10 名志愿者从 12 个增强结果中独立选择最佳结果。然后，对于每个原始水下图像，选择投票数最高的结果作为其最终参考图像。这些原始水下图像与其增强参考图像构成了成对的训练集和测试集。
-
实验使用 Adam 优化器，学习率设为 0.000 1，批量（Batchsize）大小为 4，迭代（Epoch）200 轮。实验在 Ubuntu11.2.0 操作系统上进行，基于 Pytorch 平台展开，使用 CPU Intel（R）Xeon（R）w-2133 @ 3.60GHz 处理器，NVIDIA GeForce RTX 1080Ti GPU 进行训练与测试。
-
3.2 实验结果与分析
-
本文从测试集中选取了具有不同退化程度的图像，并将本文方法与 UWCNN[6]、FUnIE[7]、 UIECˆ2-Net [10]、SCNet [11]4 个方法进行对比，最终定性分析的对比结果如图2 所示。
-
从图2 可以看出，UWCNN 对失真图像的增强效果较差，图像存在较严重的伪影问题。FUnIE 得益于轻量级的模型，在速度上取得了一定的优势，但其在解决失真图像的偏色问题上表现不佳，增强后的部分图像仍存在明显的偏色与失真。UIECˆ2-Net 方法具有明显的提升效果，但这个方法在并没有解决部分图像存在的模糊问题，导致图像的部分区域细节丢失，清晰度较差（如第 5 幅图）。SCNet 基本还原了图像的脱水特征，但其与 UIECˆ2-Net 模型相比，提升效果不够明显，图像的偏色问题改善不足，保留了原图像的部分失真（如第 7 幅图）。相比之下，本文方法在解决退化图像的偏色、模糊、对比度低和饱和度低等问题上表现更好，视觉增强效果优于对比方法，并且生成的图像具有更丰富的细节特征，从而增加了图像的可利用性。
-
图2 不同方法主观对比
-
Fig.2 Subjective comparisons of different methods
-
为了进一步评价本文所提方法的性能，并从客观的角度对本方法的增强效果进行比较和分析。本文采用了 2 种经典的全参考图像质量评价指标，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）指标和结构相似性（Structure Similarity，SSIM）指标，以及 2 种无参考水下图像质量评价指标，分别是水下图像质量评价（Underwater Image Quality Measure，UIQM） 指标和水下色彩图像质量评价（ Underwater Colour Image Quality Evaluation， UCIQE）指标[15] 来对图像的增强效果进行客观评估。其中，PSNR 客观地反映了图像的失真程度，SSIM 则客观地反映了图像在多尺度上的结构相似性。并且由于水介质会使图像在色彩和清晰度等方面发生退化，因此我们选择能够同时反映多种图像特征的无参考水下图像质量评价指标 UIQM 和 UCIQE 来客观地评估整体水下图像质量。所采用的 4 种指标均为评估值越高，图像的视觉质量越好，最终的定量分析对比结果如表1 所示。
-
注：加粗字体代表每列的最优结果。
-
从表1 可以看出，经过本文算法增强之后， SSIM、UCIQE 和 UIQM 指标均取得了最优结果，分别比当前对比最好效果提高 2.9%、 6.2%和 14.3%。同时，PSNR 也取得了相对可观的结果，达到了对本文增强算法的预期。以上分析证明了本文方法在提高图像的对比度、清晰度、以及还原水下图像的真实色彩等方面均有较好效果，并可以保留完整的图像纹理结构特征。
-
为了验证本文中 QGM 模块的有效性，我们在真实的水下图像上对该模块进行了消融实验与分析。为公平起见，实验均在相同设置下进行训练。在消融实验中，分别在 2 幅退化图像上进行了提出模型与移除 QGM 模块的网络模型的增强对比，结果如图3 所示。
-
图3 消融实验
-
Fig.3 Ablation study of the proposed method
-
从图3 中可以看出，由提出模型得到的增强结果在清晰度和颜色校正等方面均优于移除 QGM 模块的模型。同样，在 UCIQE 和 UIQM 指标上，本文方法相较移除 QGM 模块的模型分别提升了 5.7%和 9.7%。消融实验结果表明，引入图像质量引导后的模型，在学习参考图像与输入图像一致性的基础上，更加关注生成图像的质量，这使得生成的图像不受传统训练模式只分辨真假而忽略质量提升的限制，从而得到了质量更佳的增强结果。
-
4 结束语
-
本文提出了一种基于改进生成式对抗网络的水下图像增强方法，通过学习退化图像与参考图像之间的双边特征，提高了图像的对比度和清晰度并恢复了图像的色彩；网络中引入了图像质量引导模块，改善了原始训练模式中 GAN 网络过于关注生成样本真假性的问题，使得增强后的图像相比较其他方法具有更优的主观视觉效果。本文方法模型较大且参数量较多，导致算法时间复杂度较高，后续将探索将网络轻量化的方法，在保持网络性能的基础上降低时间复杂度。
-
参考文献
-
[1] BERMAN D，LEVY D，AVIDAN S，et al.Underwater single image color restoration using haze-lines and a new quantitative dataset[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，43（8）：2822-2837.
-
[2] AKKAYNAK D，TREIBITZ T.Sea-thru：a method for removing water from underwater images[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE，2019.
-
[3] ANCUTI C O，ANCUTI C，VLEESCHOUWER C D，et al.Color balance and fusion for underwater image enhancement[J].IEEE Transactions on Image Processing，2017，27（1）：379-393.
-
[4] WANG N，ZHOU Y B，HAN F L，et al.UWGAN：underwater GAN for real-world underwater color restoration and dehazing[J].arXiv preprint arXiv，2019：1912.10269.
-
[5] GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al.Generative adversarial nets[J].Communications of the ACM，2020，63（11）：139-144.
-
[6] LI C Y，ANWAR S，PORIKLI F，et al.Underwater scene prior inspired deep underwater image and video enhancement[J].Pattern Recognition，2020，98：107038.
-
[7] ISLAM M J，XIA Y Y，SATTAR J，et al.Fast underwater image enhancement for improved visual perception[J].IEEE Robotics and Automation Letters，2020，5（2）：3227-3234.
-
[8] MIRZA M，OSINDERO S.Conditional generative adversarial nets[J].arXiv preprint arXiv，2014：1411.1784.
-
[9] LI C Y，ANWAR S，HOU J，et al.Underwater image enhancement via medium transmission-guided multi-color space embedding[J].IEEE Transactions on Image Processing，2021，30：4985-5000.
-
[10] WANG Y D，GUO J C，GAO H，et al.UIEC^2-Net：CNN-based underwater image enhancement using two color space[J].Signal Processing：Image Communication，2021，96：116250.
-
[11] FU Z Q，LIN X P，WANG W，et al.Underwater image enhancement via learning water type desensitized representations[C]//ICASSP 2022-2022 IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP）.Online：IEEE，2022.
-
[12] WANG T C，LIU M Y，ZHU J Y，et al.High-resolution image synthesis and semantic manipulation with conditional GANs[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018.
-
[13] PANETTA K，GAO C，AGAIAN S.Human-visualsystem-inspired underwater image quality measures[J].IEEE Journal of Oceanic Engineering，2016，41（3）：541-551.
-
[14] QI Q，LI K Q，ZHENG H Y，et al.SGUIE-Net：semantic attention guided underwater image enhancement with multi-scale perception[J].IEEE Transactions on Image Processing，2022，31：6816-6830.
-
[15] YANG M，SOWMYA A.An underwater color image quality evaluation metric[J].IEEE Transactions on Image Processing，2015，24（12）：6062-6071.
-
摘要
由于水介质的吸收和散射特性会导致雾化、低对比度、颜色退化等各种水下成像失真，严重影响了水下图像的后续利用。为了恢复清晰的水下图像，提出一种基于改进生成对抗网络的深度学习模型。借助图像质量评价技术，将生成的过程样本与高质量样本进行拟合，并将拟合得到的差值信息用于优化网络中的生成器。改进的生成式对抗网络有效改善了由真假训练逻辑带来的图像质量提升限制的问题。实验结果显示：该方法有效的恢复了水下图像的色彩，并改善了图像的清晰度和对比度；相比其他方法，提出的方法在 SSIM、UCIQE 和 UIQM 指标上分别提升了 2.9%、6.2%和 14.3%。
Abstract
Due to the absorption and scattering properties of water media，underwater images often suffer from imaging distortions，such as fogging，low contrast and color degradation，which seriously affect the subsequent utilization. To restore clear underwater images，an improved GAN-based deep learning model is proposed for underwater image enhancement. By employing the image quality assessment technique，the generated intermediate samples are fitted to the high quality samples，and the difference information obtained from the fit is used to optimize the generators in the network. The improved generative adversarial network effectively ameliorates the problem of image quality improvement limitations brought by the true-false training logic. The experimental results show that the proposed method can effectively restore the color of the underwater images，and improve the clarity and contrast. In addition，comparing with several state-of-the-art methods，our proposed method achieves increases of 2.9%，6.2% and 14.3% in terms of SSIM，UCIQE and UIQM indexes，respectively.
