0 引言

由于水下介质分布不均，光在水下传播遇到悬浮粒子会发生散射，造成雾状效应，导致图像对比度严重下降。此外，水体对红色波段的吸收散射还会导致成像颜色失真，使得图像发蓝或者发绿等^[1]。这些图像降质问题制约高层任务性能，通过图像增强手段提升图像质量，对水下图像目标检测、分割识别等高层应用的性能保障具有重要意义。

水下成像物理退化模型通常可建模为^[2]

式中：I（x）为观测退化图像；J（x）为待复原清晰图像；A 为场景光源强度；$t（x）={\mathrm{e}}^{-\beta d（x）}$为光线传输图；$\beta$为衰减系数；d（x）为成像目标距离。本文从图像复原的角度出发，求解逆问题：从仅知的观测退化图像 I（x）估计清晰图像 J（x）。

现有水下图像增强方法可分为光学增强方法和图像处理增强方法。偏振光学成像图像增强技术是光学增强方法的典型代表，通过采集同一场景的不同偏振图像，估计场景光强度并将其从退化图像中剪除，抑制水下散射效应，再对退化场景的反射光成分进行反演处理得到增强图像^[3]。光学增强方法存在效率低、成本高、深水环境适用性差等问题^[4]，而随着图像处理技术的飞速发展，基于图像处理的水下增强方法得到长足研究，这类方法可分为非物理模型像素处理方法^[5-8]、物理模型驱动的优化方法^[9-13] 和数据驱动的学习方法^[1，14-16]。

非物理模型像素处理方法^[5-8]不考虑退化物理过程，利用像素处理手段，在空间域或变换域对退化图像进行颜色校正和对比度增强。空间域增强方法主要是改变像素灰度统计分布。ANCUTI 等^[5]先通过白平衡校正色差，再利用 Gamma 校正和图像锐化获得参考图像，最后融合退化图像和参考图像获得增强结果，提升图像对比度。LIANG 等^[6]先根据各通道灰度值强度判断各通道需要衰减补偿还是线性拉伸，利用强度最弱（衰减最严重）通道估计深度并计算透射传输图，最终在 LAB 颜色空间反演增强退化图像。变换域增强方法的思想是在图像变换域（如频域）中对反映不同图像内容的信号进行区分性处理，比如高频分量通常代表像素值剧烈变化区域而低频分量往往代表平坦区域，不同区域的退化程度有异，区分性地处理能减轻增强图像失真效应。 GURAKSIN 等^[7]对 R、G、B 3 通道分别进行 Harr 小波分解，获取不同尺度的图像特征，使用差分进化算法对不同特征系数进行优化，达到增强图像边缘的目的。IQBAL 等^[8]先对图像进行拉普拉斯分解，对低频成分引入暗通道去雾方法和归一化进行颜色校正，最后放大高频成分增强图像边缘和细节。非物理模型像素处理方法考虑图像低级特征的增强，旨在平衡图像颜色和增强边缘细节，并未考虑图像物理退化过程，增强结果容易产生失真。

物理模型驱动的优化方法将水下图像增强问题作为图像复原问题，通过解逆问题恢复清晰图像。求解逆问题的关键是未知清晰图像统计先验的设计。由于水下成像与雾霾天气散射效应导致的退化效应相似，CHAO 等^[17]将经典的暗通道去雾先验 （DCP）^[18]引入水下图像增强。暗通道先验能用于缓解散射造成的低对比度问题，但并不能解决颜色失真的问题。因此，需改进暗通道先验使其适应水下环境。DREWS^[19]等考虑水下成像蓝/绿光为主的现象，指出红光的微弱使得 DCP 不适用于 R 通道，仅在蓝/绿通道使用暗通道先验。此后，一系列基于改进暗通道的方法^[9-11]用于水下图像增强。一些其它先验也被提出并用于水下图像增强，比如直方统计先验^[12]和超拉普拉斯反射先验^[13]。物理模型驱动的优化方法依赖手工设计先验的准确性和适用性，水下环境的复杂多变会导致存在手工设计先验不适用的情况。

数据驱动的学习方法是当下水下图像增强的研究热点。LI 等^[1]构建了一个水下图像退化/清晰成对数据集（UIEB），提出了一个水下增强基线模型（Water-Net）增强水下图像。ISLAM 等^[14] 构建了一个水下图像仿真退化数据集（EUVP），并提出一种基于条件生成对抗网络的水下图像增强网络（FunIE-GAN）增强水下图像。LI 等^[15]利用散射模型构建成对样本集，提出水下图像卷积神经网络（UWCNN），通过有监督训练直接增强水下图像。WANG 等^[16]利用 RGB 空间和 HSV 空间的双重信息，提出一个神经网络 UICEˆ2-Net 增强水下图像。数据驱动的水下图像增强方法在仿真退化图像上通常能取得良好的效果，但是仿真退化数据来自简化的物理退化模型，致使仿真退化与真实退化存在较大差异，使得数据驱动方法在处理真实水下图像时性能受制。在图像处理领域，图像风格域迁移开始应用于图像复原任务中仿真到实测泛化的问题。 ZHU 等 ^[20] 提出的 CycleGAN 能实现仿真与实测之间的双向迁移，弥补仿真与实测之间的鸿沟。此外，分解表达的引入能进一步提升模型泛化能力^[21-22]。

本文将极具挑战性的水下图像增强任务划分为 2 个更简单但是同时具有明确物理意义的子问题，提出基于物理模型分解与仿真–实测协同框架。在第 1 步颜色对齐过程中，通过水下散射模型对退化图像进行分解，在场景光层面将颜色退化进行对齐。相比于直接在复杂图像空间中进行颜色校正，本方法在保证颜色校正效果的同时，其它图像成分完全不变。进一步，再次利用基于水下散射模型的分解策略，通过针对性迁移水下退化因素（场景光与透射传输矩阵），使得仿真–实测图像之间实现相互迁移和交互，进一步提升水下图像增强性能。

1 基于颜色–场景联合迁移的水下图像增强方法

1.1 整体框架

基于数据驱动的学习方法在实际场景水下图像增强任务中面临着仿真–实测巨大鸿沟的问题，并且水体变化还会造成成像发生不同类型的颜色失真。为了同时弥合这 2 种差距，本文在统一的基于物理模型的分解框架内同时考虑域内和域间的迁移。首先解决颜色失真问题，然后在合成域和真实域之间进行知识迁移。提出的网络框架如图1 所示，框架由 2 个域内自适应模块和 1 个域间自适应模块组成。2 个域内自适应模块以不同颜色退化图像为输入，通过水下散射模型分解为清晰图像、传输矩阵、场景光 3 个分量，并利用无颜色失真的图像提取出的场景光来引导进行颜色校正，校正后的场景光和之前分解出的清晰图像和传输矩阵再通过物理模型重建出无色偏的仿真/实测退化图像。进一步，2 个图像同时输入至域间自适应模块。再次分解后，交换各自与退化因素相关的成分（场景光、传输矩阵），重建后利用对抗生成网络中的判别器进行判别，实现仿真–实测退化图像之间的有效迁移，并最终促进水下图像复原。

1.2 基于物理模型的域迁移

域内迁移：场景光颜色校正。场景光决定了颜色失真的程度，本文域内迁移模块首先根据式（1），使用多头编码器（E_intra：I→{ J，A，t }）将退化图像 I 分解为 3 部分：背景 J、透射传输层 t 和场景光 A。进而使用 ADaIN^[23]模块可以在场景光空间对齐颜色，估计的场景光 A 为源域，颜色对齐后的 A^C 为目标域，颜色校正的输出为 A_intra。最后，输出 A_intra 与其它分解成分基于式（1）重建颜色校正后的图像。需要指出的是，目标域 A^C 难以预先得到，本文随机选择真实退化图像生成场景光。与现有图像迁移方法相比，JCSA 在场景光空间实现迁移，保持背景与传输层不受影响，能有效保证颜色迁移效果。

域间迁移：退化因素交叉域迁移。域间迁移是为了将有大量标注信息的仿真退化图像迁移到只有少量标签的实测退化图像。本文进一步将颜色校正后的图像分解为（J_inter，A_inter，t_inter）。本文域间迁移的核心点认为：仿真域与实测域在清晰背景层分布式完全一致的，而对应退化图像的分布则是不同的。基于此观点，本文将图像背景作为域不变空间处理，而透射传输和场景光作为特殊属性空间处理。在域间迁移过程中，交换仿真域与实测域的透射传输图，再重建退化图像。由于透射传输层 t 与背景 J 高度相关，在重建时能充分交换域知识，达到域间迁移的目的。本文进一步通过重建损失函数和对抗损失函数联合保证知识迁移的性能。最后，建立域内和域间迁移的分解一致性，进一步促进分解学习。不同于现有迁移方法，JCSA 在迁移过程中嵌入显式物理过程，保证背景 J 一致性并只迁移退化相关知识，得到更好的分解和迁移结果。

1.3 损失函数

本小节给出 JCSA 的损失函数设计，大致分为 3 类：对抗损失函数、一致性损失函数和分解损失函数。

对抗损失函数：首先，为了保证颜色校正效果，本文使用颜色判别器 D^C，以区分颜色校正结果$I_{\text{Inta}}^{\mathrm{S}}$、$I_{\text{intra}}^{\mathrm{R}}$和颜色校正结果$I^{\mathrm{C}}$，颜色对抗损失函数建模为

式中，$\alpha$为平衡权重。假设分解的背景层具有相同的分布，使用背景对抗损失函数 D_B 判别输出的背景层$J_{\text{inter}}^{\mathrm{S}}$、$J_{\text{inter}}^{\mathrm{R}}$是否仍存在退化：

式中，J ^C 为增强后图像。为了产生仿真和实测低对比度（无颜色失真）图像，使用 2 个判别器 D_S、D_R。整体的对抗损失函数建模为

对于仿真低对比度图像，其损失函数也类似。

一致性损失函数：由于分解过程可能破坏部分信息，本文对低对比度图像和分解成分都使用一致性损失函数，形成自监督闭环。首先，在域间迁移模块，退化图像既经过域间迁移也经过图像重建过程，本文定义重建一致性损失函数为

此外，由于分解和组合互为逆过程，域内和域间迁移模块的分解成分应当抑制，域式本文定义分解一致性损失函数为

分解损失函数：除了对抗损失函数和一致性损失函数，对于仿真和实测退化图像，使用 L1 损失函数与基准（GT）进行约束：

整体损失函数：整体目标函数包括 3 部分：

在本文框架中，域内和域间迁移都由几个有监督损失和一致性损失约束，保证分解和迁移的效果。

2 对比实验与结果分析

2.1 实验准备

本文基于 PyTorch 框架实现，使用单卡 RTX 3090 GPU，域内迁移网络和域间迁移网络均使用修改的 U-Net 模型，PatchGAN 作为判别器。平衡参数 α，λ_GAN，λ_Consis，λ_Disen 分别设置为 2，1，1， 10。在训练时，将输入图像随机切割为 256×256 大小图像块。训练时，先用仿真成对样本预训练分解子网络，初始学习率 0.000 1，优化器选择为 Adam。然后整体网络联合训练 90 次，学习率设为 10^–6。

数据集：1）EUVP 数据集^[14]，选取 3 700 对成对的仿真水下图像；2）UIEBD 数据集^[1]，包括 890 个原始水下图像和相应的高质量参考图像。2 个数据组成 4 300 对成对训练样本，其余作为测试样本。此外，无颜色失真引导数据集由以上数据经颜色校正算法^[24]得到。

评价指标：客观评价指标包括有参考评价指标峰值信噪比（PSNR）、结构相似度（SSIM），指标越高代表复原质量越高；无参考水下图像增强评价指标有水下图像质量度量（UIQM）、水下彩色图像质量度量（UCIQE）。主观指标为复原图像视觉效果。

2.2 水下图像增强方法对比

本节给出不同方法与本文提出的 JCSA 对在水下图像增强上的定性与定量对比分析，验证本文 JCSA 的有效性，对比方法包括基于深度学习的方法 UWCNN^[15]、Water-Net^[1]和 UIEC^2-Net^[16]。

定量对比：表1 给出了不同方法复原增强图像在有参指标 PSNR、SSIM、UWCNN 和无参指标 UCIQE、UIQM 的对比。UWCNN 和 UIEC^2-Net 虽然能促进图像对比度的提升，但是颜色校正存在严重偏差，存在整体偏红的现象，如图2 第 2 和第 4 列所示，导致其指标表现不佳；Water-Net 在颜色校正和对比度提升上都相较于退化图有显著提升， PSNR 提升了 4.87 dB，SSIM 提升了 0.06，相比于本文提出的 JCSA，在图像细节的保存上有所不如，这也正体现了 JCSA 域间迁移对图像背景的保持能力；JCSA 复原增强效果最为显著，在各项有参和无参指标上都表现最优，图像细节保持良好，进一步体现 JCSA 的有效性。

定性对比：图2 和图3 展示了不同方法在 UIEB 数据集上的增强结果可视化。水下图像由于水质、水深等因素，可能出现不同的颜色失真，这对增强算法的稳健性带来了困难，本文对不同的色偏（偏绿、偏蓝）的实测场景进行增强，分析对比不同算法的性能。UWCNN 的复原结果对红色通道进行了过多的增强，导致颜色偏差严重，Water-Net 对色偏改善较为明显，但对比度提升不足；UIEC^2-Net 在偏蓝退化图像上表现较好，但是在偏绿场景下出现红色分量增强过多的问题；JCSA 的结果相较于其他方法，能有效的校正退化图像颜色失真问题，且能适应不同颜色的偏移，复原图像对比度的提升非常明显，整体更加明亮，甚至在一些图像上取得了比参考图像更好的视觉效果，验证了 JCSA 的有效性。

2.3 消融实验

本小节给出消融实验，分析 JCSA 中每一模块或损失函数的影响和有效性。1）域内和域间迁移：表2 第 1 和第 2 行中给出了有无域迁移对图像复原增强的影响。当消融域间或域内任意一个模块后，复原效果都发生严重的下降，PSNR 分别降低 0.90 dB 和 1.09 dB，体现了域迁移模块的重要作用。 2）一致性损失函数：表2 中第 3 和第 4 行给出了移除分解一致性损失和重建一致性损失的影响，当一致性损失被移除后，PSNR 指标发生最严重的下降，达到 1.63 dB，说明分解一致性损失的作用非常关键，也说明了本文提出的物理分解思路的有效性。重建一致性损失移除后指标存在些许下滑，说明其对复原效果也起到一定帮助作用。3）训练策略：属于实现细节层面的影响，表2 中无预训练的效果最差，说明利用仿真数据训练网络，获得好的初始化是非常重要的。

3 结束语

本文解决颜色失真、图像对比度严重下降的水下图像增强问题。针对现有深度学习方法由于仿真与实测数据之间存在较大的分布差异，实测泛化能力受限难题，将水下图像增强任务划分为 2 个更简单但是同时具有明确物理意义的子问题：颜色校正和对比度增强。提出基于物理模型分解的域内–域间迁移框架。域内迁移校正图像颜色，域间迁移实现仿真–实测域之间的相互迁移和交互，增强水下图像对比度。实验结果表明本文提出的 JCSA 方法优于现有的对比方法。本文方法基于有监督学习，为进一步提升模型性能，未来可将方法思路拓展至无监督学习，进一步削弱对成对样本的依赖，拓展模型的实测泛化能力。

参考文献