0 引言

海洋资源的开发和利用对人类具有重要意义，水下机器人的广泛应用使人们可以轻松地收集水下图像和视频，它们收集的水下图像也可以帮助和促进水下生物研究、海洋资源利用等领域的研究。

由于各种环境因素，水下图像的质量通常较低。一方面，整体颜色为绿色和蓝色；另一方面，对比度较低，细节比较模糊。退化的水下图像限制了它们在图像识别、检测和目标跟踪等方面的应用。因此，开发一种有效的技术来提高水下图像的质量至关重要。

水下图像增强算法的 2 个基本目标是对抗光散射的影响（类似于去雾化）和纠正颜色投射。当水下图像增强算法作为预处理步骤时，可以提高跟踪高级检测或者分类任务的准确性。许多水下图像增强算法已经被提出了各种假设来解决这些退化问题。早期的方法依赖于多个水下图像或偏振滤波器等专门的硬件设备来提高水下图像的质量。随着图像增强技术的发展，出现了很多使用来自单个图像的信息来处理这个问题的无模型方法。虽然这些无物理模型的方法可以在一定程度上提高视觉质量，但它们忽略了水下成像的物理机制，因此会产生过度增强的结果或者效果不佳的结果，并且可能引入过多的人为色彩。例如，当遇到各种不同且具有挑战性的水下场景时，传统的无模型的颜色校正算法并不总是可靠的。

近年来，深度学习在图像识别、图像分割和目标检测等计算机视觉任务上取得了很好的效果。越来越多的研究人员开始将深度学习应用于水下图像增强任务中。LI 等^[1]提出了水下图像颜色校正方法 CycleGan，SKINNER 等^[2]提出了两级神经网络结构图像深度估计和颜色校正，FU 等^[3]提出了一个神经网络结合全局和局部信息的水下图像增强。上述基于深度学习模型的方法往往只适用于特定的图像，无法被广泛使用，而现有的方法大多是基于近似的图像形成模型。其中 2 种基于深度学习的方法忽略了图像形成模型，导致了复杂的模型结构，使训练过程更加困难。其他一些基于深度学习的方法结合了图像形成模型，但简化了这个过程，这可能导致图像增强效果并不显著。

本文结合现有的基于深度学习的图像增强方法，构建了一个全新的能够用于水下图像增强的网络。在这个网络中，为了降低模型的复杂度、减少训练的时间，采用小分辨率图像参与训练；为了充分利用特征图的通道信息，着重采用不同尺寸的卷积核获取更多通道数目的特征。此外，图1 和图2 分别是一张水下图像及其颜色直方图表示以及对应的真实图片及其颜色直方图表示，从中可以看出对于 RGB 通道信息来说，红色通道的信息最不明显，表示在传播过程中已经衰减完成，水下图像保留着大部分的蓝色和绿色通道的信息。为了补偿水下图像丢失的红色通道信息，基于红色通道构建了注意力机制，以加强对于图像中容易丢失信息的红色通道的特征的提取。在此基础上，基于 EUVP，UFO120 等数据集进行消融实验，验证了红色通道注意力机制的有效性。

1 相关工作

近些年来，探索水下世界已成为一个被广泛关注的问题^[4]。海洋资源的开发和利用对人类具有重要意义。为了提高记录图像视觉质量，水下图像增强作为不可或缺的步骤引起了人们的广泛关注。目前已经提出了多种方法，除了基于补充信息的方法和专门的物理硬件之外，主要分为 2 部分：传统的无模型方法和基于深度学习的方法。

1.1 基于补充信息的方法

在早期阶段，来自多个图像的补充信息^[5]或专门的硬件设备^[6-7]被用来提高水下图像的可见性。与基于补充信息的方法相比，单一水下图像增强已被证明更适合动态场景等具有挑战性的情况，因此受到广泛关注。

1.2 传统的无模型方法

早期的图像增强是通过调整原始图像的像素值以提高视觉质量，如动态像素范围拉伸^[8]、像素直方图均衡调整^[9]和图像融合^[10]。例如，ANCUTI 等人^[10]首先获得了原始水下图像的颜色校正版本和对比度增强版本，然后计算了不同版本所占的权重，最后结合了不同版本的优点进行图像增强。 ANCUTI 等^[11]进一步改进了基于融合的水下图像增强策略，并提出了基于多尺度融合策略的白平衡算法的 2 种版本。最近，基于对夜间低光环境、水下和不均匀人工照明等不利条件下信息的观察， ANCUTI 等^[12]提出了一种颜色通道补偿（3C）预处理方法。作为一个预处理步骤，3C 操作符可以改进传统的恢复方法。

1.3 深度学习模型

深度学习的出现导致了低水平视觉任务的明显提升^[13-15]。先前的工作有几次尝试通过改进深度学习策略增强水下图像的性能。近年来，一些基于生成对抗网络（GAN）^[16]的水下图像增强模型能够生成真实图像，在未配对和配对训练中都获得了令人印象深刻的结果。为了提高泛化数据集的能力，文献^[17]提出了一种弱监督的水下颜色校正网络（UCycleGAN）。此外，LI 等^[18]提出根据不同的水类型模拟真实的水下图像和水下成像物理模型。利用 10 种水下图像合成，训练 10 种水下图像增强 （UWCNN）模型，利用每个 UWCNN 模型对相应类型的水下图像进行增强。最近，LI 等人^[19]收集了一个真实的成对水下图像数据集（UIEBD），用于训练深度网络，并提出了一个门控融合网络来增强水下图像。该门控深度模型需要 3 个预处理图像，包括伽马校正图像、对比度改进图像和白平衡图像作为门控网络的输入。JAMADANDI 提出了一种基于小波校正变换^[20]的水下图像增强方法。 YANG 等人^[21]提出了一种条件生成对抗网络来提高水下图像的感知质量。

2 模型网络结构

一个成功的水下图像增强算法必须解决水下成像中的以下一个或所有问题，包括能见度下降、颜色投射和更高级别检测任务的精度降低。然而，大多数现有的水下图像增强方法都是针对 3 个目标中的 1 个或 2 个。因此，建立一个适应范围广的、多样化的水下图像增强模型具有重要意义。在本节中，我们将介绍所提出的 RCANet 的架构。

RCANet 基于融合网络架构来学习 3 个置信图，它们将 3 个输入图像组合成一个增强的结果。此外，我们添加了 1 个残差网络，用于构建红色通道的注意力机制，并添加到学习到的置信图之中。最后，将学习到的置信度图与我们细化输入相乘得到最终的增强结果。本文提出的 RCANet 的体系结构和参数设置如图3 所示。

2.1 输入生成

由于复杂的水下环境和光照条件，没有将算法推广到所有类型的水下图像。一般来说，基于融合^[22]的方法取得了良好的结果，这得益于由多个预处理操作和一个融合策略获得的输入。在 RCANet 中，我们也采用了这种方式。基于水下图像退化的特点，我们分别应用白平衡（WB）、直方图均衡化（HE）和 Gamma 校正（GC）算法对水下图像生成 3 种输入。具体来说，WB 算法用于校正水下图像的颜色投射，而 HE 和 GC 算法分别旨在提高对比度和照亮黑暗区域。对于 WB 算法，我们使用动态阈值算法，将 radio 设为 0.5，如果该值过大过小，色温向两极端发展。对于 HE 算法，由于 lab 颜色空间使颜色分布得更好，能够表达人眼所能感知到的所有颜色，所以使用 cv2 提供的自适应量函数应用于 Lab 颜色空间中的 L 分量，然后再转换回 RGB 颜色空间。对于 GC 算法，首先建立映射表，然后根据图像颜色查表完成伽马校正。

2.2 红色通道注意力机制

与红、蓝通道相比，绿色通道在水下保存较好。长波长的光，即红光，在清澈的水中首先会丢失。绿色通道是比红色通道含有相反颜色信息的通道，因此，补偿红色比其他颜色更强的衰减显得尤为重要。

为此，我们将原始的图像输入以及应用白平衡 （WB）、直方图均衡化（HE）和 Gamma 校正（GC） 算法对原始水下图像生成 3 种输入的红色通道单独提取出来，对红色通道的特征信息单独进行增强。在编码器网络中，特征通道数目的数量从 256 减少到 128 再减少到 64，而在解码器网络中特征通道数目从 64 增加到到 128 再增加到 256。所有的卷积层都有相同的内核大小，即 3×3。将经过一系列卷积得到的结果经过 3×3 卷积得到 RSAM 模块的原始输入。RSAM 模块主要用于生成红色通道的增强结果，在 RSAM 模块中特征图的通道数由 256 下采样至 4 通道然后上采样回 256 通道，这里使用 Sigmod 激活函数后与 RSAM 的原始输入进行像素级别的乘法，Sigmoid 函数的输出在（0，1） 之间，输出范围有限，优化稳定，可以用作输出层。最后，为了防止在采样过程中丢失原始红色通道的特征信息，与输入 RSAM 模块之前的卷积结果进行像素级别的加法得到最终的红色通道增强结果。

2.3 网络结构

RCANet 首先将原始图像以及经过预处理之后的白平衡（WB）、直方图均衡化（HE）和 Gamma 校正（GC）算法得到的图像经过 concat 连接在一起提供给提出的 RCANet 来预测置信图。在融合网络中，通道数由 512 减少至 256 然后减少至 128 最后经过一个 3×3 卷积得到置信图。在通道数目不变的层之间，特征图依次通过 7×7，5×5，3×3 的卷积操作，采用不同尺寸的卷积核获取更多通道数目的特征，有利于充分利用特征图的通道信息。在执行融合之前，需要将通过残差网络得到的红色通道增强结果与置信图逐像素相加得到增强后的置信图。然后，我们添加了 3 个特征转换单元来细化这 3 个输入。特征转换单元的目的是减少由 WB、 HE 和 GC 算法引入的颜色投射和伪影。最后，将改进后的 3 个输入乘以 3 个学习到的增强置信度图，得到最终的增强结果：

其中：$I_{\mathrm{e}\mathrm{n}}$为最终增强结果；$\odot$为矩阵的元素乘积； R_WB、 R_HE、 R_GC 分别为 WB、HE、GC 算法处理后的输入细化结果； C_WB、 C_HE、 C_GC 为学习的置信图；E_WB、E_HE、E_GC 分别为原始图像 WB、HE、 GC 算法处理后的图像的红色通道经过残差网络得到的增强结果。

3 实验

在本节中首先介绍了实验所采用的数据集及实验设置、水下图像增强效果的评价指标以及实施的细节。然后，我们进行了消融实验，证明了红色通道注意力机制的有效性。最后通过对比试验，证明了所提出的 RCANet 的优势。

3.1 数据集及实验设置

本文采用 UFO–120 和 EUVP数据集进行评估。 UFO–120 数据集包含 1 500 个样本用于训练和验证，另外 120 个样本用于测试。另一方面，在 EUVP 数据集中使用 3 500 张成对的图像作为训练和验证样本和 515 个样本用于评估。在训练过程中，图像被调整到 112×112。我们在配备 Intel（R）i7 6700 CPU、32GB RAM 和 NVIDIA GeForce GTX 1080 Ti GPU 的 PC 上使用 TensorFlow 实现了建议的 RCANet。在训练期间，应用了批处理大小为 8 的批处理模式学习方法。将学习率初始化为 1e–3，并且每 50 次迭代将学习率降低 0.1，直到所提出的 RCANet 收敛。

3.2 评价指标

选择峰值信噪比（PSNR）、结构相似度（SSIM） 作为评估模型优劣的指标，这 2 个指标是通过基于先验的方法得到的。

自然图像具有极高的结构性，表现在图像的像素间存在着很强的相关性，这些相关性在视觉场景中携带着关于物体结构的重要信息。所以通过探测结构信息是否改变来感知图像失真的近似信息，衡量 2 幅图像的相似度。结构相似性的计算公式为

式中：x，y 为输入的 2 幅图像；$\mu$为图像的平均灰度；$\sigma$为图像的标准差；C 为平衡参数。SSIM 函数的值域为[0，1]，值越大说明图像失真越小，2 幅图像越相似。

PSNR 在图像处理上主要用于量化受有损压缩影响的图像和视频的重建质量。PSNR 通过均方误差 MSE 表示，给定一个无噪声的 m×n 单色图像 I 及其噪声近似值 K，MSE 定义为

PSNR 定义为

式中，MAX 是图像中最大可能的像素值，如使用的是 8 位像素，那么 MAX 就是 255。

3.3 实施

从 UFO–120 和 EUVP 中提取的 5 200 对图像用于生成训练集。由于内存有限，我们将输入图像的大小调整为 112 × 112。翻转和旋转用于获得原始训练数据的 7 个额外增强版本。 UFO–120 和 EUVP 数据集中的其余 635 对图像被视为测试集。为了减少由 L₁和 L₂等像素损失函数引起的伪影，我们最小化感知损失函数来学习水下图像增强的映射函数。受到启发，我们基于预训练的 19 层 VGG 网络的 Relu 激活层定义了感知损失。设${\varphi }_j（x）$为在 ImageNet 数据集上预训练的 VGG19 网络 $\varphi$的第 j 个卷积层（激活后）。感知损失表示为增强图像$I_{\mathrm{e}\mathrm{n}}^{}$和参考图像$I_{\mathrm{g}\mathrm{t}}^{}$的特征表示之间的距离：

式中：N 为训练过程中每批的数量；C_j、H_j、W_j 分别为特征图的数量、高度、宽度，$C_j{H}_j{W}_j$是 VGG19 网络中第 j 个卷积层的特征映射的维度。

3.4 对比试验

我们选择峰值信噪比（PSNR）、结构相似度 （SSIM）作为模型定量评价的客观指标，选择了 2个基于先验的方法 DCP 和 IBLA 以及 2 个基于深度学习的方法 Water-Net 和 U-GAN 与我们的方法进行公平的比较。在 EUVP 测试集下得到的结果如图4 所示，表示为平均 PSNR 和 SSIM±√方差。其中红色表示最优的结果，蓝色表示次优的结果。

在 UFO-120 和 EUVP 测试集中随机抽取图像分别用 DCP、IBLA、Water-Net、U-GAN 以及我们的模型进行测试，得到的增强图像如图5 所示。

先前方法估计的增强结果在色调校正方面存在不足，在某些区域存在一些颜色畸变。与现有的方法相比，我们的方法在去除水和伪影/失真抑制方面具有更好的性能。

3.5 消融实验

我们分析了预处理过程中白平衡（WB）、直方图均衡化（HE）和 Gamma 校正（GC）算法和 RSAM 模块的优势。对 EUVP 数据集的实验测试结果如表1 所示。首先，在编号 1、2、3 中，我们分别不使用白平衡算法（WB），直方图均衡化算法（HE） 和 Gamma 校正（GC）算法进行预处理，它们的表现不太令人满意，PSNR 分别下降了 4.4、3.54、4.51， SSIM 分别下降了 0.1、0.09、0.19。在编号 4 中，我们使用预处理算法但是不构建 RSAM 模块，此时的 PSNR 和 SSIM 分别只有 18.81 和 0.74。消融实验的结果证明了我们的预处理算法和红色通道注意力机制的有效性。

3.6 算法局限性分析

本文提出的 RCANet 采用融合的策略获得输入，基于融合的策略可以获得更好的处理结果，使模型获得更强的泛化能力，但是比较依赖多个预处理操作，无法直接端到端地得到增强结果。

我们采用小分辨率图像以及小型网络框架进行训练，使用更加深层的网络结构以及高分辨率图像参与训练可以进一步提升模型的精确度。但这样做会增加模型的复杂度，增加模型训练的时间。需要在模型的精确度以及模型的复杂度做出取舍，这是我们今后工作的一个研究方向。

4 结束语

本文通过提出一种红色通道注意力机制的水下图像增强模型，解决了水下图像对比度低、细节模糊等问题，为后续的水下目标探测识别创造了有利条件。通过对特征图多通道特征信息的利用以及红色通道注意力机制的构建，提高了模型的性能。基于融合的策略，对原始图形进行多种预处理并融合增强图像，提高了模型的泛化能力。本文提出的算法不仅可以帮助水下机器人收集更高质量的水下图像，而且对未来的海洋资源开发利用具有重要意义。

参考文献