-
0 引言
-
近年来，随着船舶系统的智能化、无人化发展，无人水下航行器（Unmanned Underwater Vehicles， UUV）和水下机器人在民用、军事领域大量应用。视觉系统是无人化装置获取并感知水下信息的重要途径之一，水下光学图像信息量丰富，比声呐图像更适用于近距离的水下目标探测任务[1]。然而，光学图像本身在获取、压缩和传输过程中容易遭受不可避免的损失，如成像设备限制、相机抖动、有损压缩、传输信号衰减等。在水下环境中，湍流、悬浮物等复杂环境因素还会引起光照散射、衰减与相机散焦等问题，使得水下光学图像质量更低，产生严重的颜色失真、细节缺失、对比度下降与模糊等多种退化问题。这会给后续的图像分类、目标检测等高层（High Level）任务带来诸多困难，限制了无人设备水下自主识别与探测的性能与应用，尤其是小目标检测精度。因此，通过重建算法获得细节清晰、纹理丰富的高质量、高分辨率（High Resolution，HR）水下光学图像对自主识别、无人探测等应用具有十分重要的价值。
-
研究者不断探索各种各样的图像增强（Image Enhancement）技术用于改善图像质量，如图像去模糊[2]（Deblurring）、去噪[3]（Denoising）、去雾[4] （Dehazing）、超分辨率[5]（Super-Resolution，SR） 重建等。图像超分辨率重建是计算机视觉和图像处理领域中的一个经典低层（Low Level）任务，旨在从低分辨率（Low Resolution，LR）图像中生成包含高频细节的高分辨率图像。相比于设计更加复杂的光学成像设备来提升图像质量，图像 SR 算法不仅可以大幅降低成本，还能突破成像系统的限制，获得质量更高的 HR 图像。同一张 LR 图像可能由不同的 HR 图像经多种未知退化产生，不确定性 SR 重建过程充满挑战。
-
近年来随着人工智能的快速发展，基于深度学习的 SR 重建算法取得了突破性进展。相较于插值、重构等传统方法，深度学习模型能够从大规模数据集中学习到更丰富的图像特征，自适应地学习 LR 图像与 HR 图像之间的映射关系，在自然光学图像场景中取得了更优的重建效果[6]。对于水下光学图像，尽管基于颜色补偿和物理模型等传统方法[7] 针对水下光学成像退化特性取得了一定成效，其重构效果和泛化性依然落后于数据驱动的深度学习方法[8]。
-
目前已有大量文献[6，9-12]对基于深度学习的自然光学图像超分辨率重建算法进行了归纳总结。它们从网络结构设计、上采样方式、训练算法等方面对 SR 研究工作进行分类论述。其中文献[11]介绍了一些特定领域的应用，比如人脸、深度图、遥感图像、医学图像等，没有提及水下场景。目前尚未有文献对基于深度学习的水下光学图像超分辨率重建进行系统性综述。同时，依据网络结构设计等分类的总结方式注重于方法本身，难以从应用的角度为水下光学图像场景提供指导意义。
-
因此，本文在第 1 章对自然图像退化方式和数据集进行分类总结，并结合国内外最新研究现状将基于深度学习的单幅图像超分辨率重建算法分为一般退化、已知（非盲）多种退化、未知（盲）多种退化 3 种方式进行详细总结，为水下应用场景提供参考；在第 2 章归纳了水下光学图像退化方式和常见的公开数据集；在第 3 章按照同样的分类总结并分析了水下光学图像超分辨率重建的最新进展；在第 4 章总结全文，并对水下光学图像超分辨率重建未来可能的发展趋势进行了展望。
-
1 基于深度学习的图像超分辨率重建算法
-
1.1 背景
-
图像超分辨率重建是图像退化过程的逆过程，利用低分辨率图像本身包含的结构、纹理等信息，重建出对应的高分辨率图像，表达式如下：
-
式中：IHR 表示高分辨率图像；ILR 表示低分辨率图像；D 表示退化过程；R 和 θ 表示超分辨率重建模型及其参数。
-
基于深度学习的 SR 重建模型早期以卷积神经网络（Convolutional Neural Network，CNN）为主，随着研究的深入，生成对抗网络[13]（Generative Adversarial Network， GAN）、注意力机制 [14] （Attention Mechanism）和 Transformer[15]等网络结构也被用于 SR 模型。这也是许多文献[6，9-12]对 SR 方法分类的依据。主流的 SR 重建模型通常以单幅 LR 图像作为输入（Single-Image Super-Resolution， SISR），也有一些方法输入多帧图像（Multi-Frame Super-Resolution，MFSR）。
-
深度学习 SR 模型不仅从 LR 图像获取信息，还通过外部数据集构建的大量 LR-HR 图像对，训练模型以寻找丢失的 HR 信息。不同退化方式和场景域构成的训练集，会使深度学习模型学习到不同的知识表达。因此数据集对 SR 重建模型的应用性能起着至关重要的作用。
-
1.2 自然光学图像数据集
-
目前工业界和学术界已开源多个自然光学图像超分辨率重建数据集用于学术研究，以供不同的算法公平对比。表1 总结了目前常用的数据集[13-22]，“-” 表示不包含图像。客观的图像质量评价指标通常使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似度（Structural Similarity，SSIM），由重建的 HR 图像与测试集的真实 HR 图像比较计算得出。当不参考真实 HR 图像时，计算重建图像的感知指数（Perception Index，PI）进行评估。详细计算方式见文献[6]。
-
根据样本是否包含 LR 图像，可以将现有数据集分为 2 类。第 1 种是只包含 HR 图像的数据集，使用高清光学相机采集的真实高质量图像。第 2 种是包含 LR-HR 图像对的数据集，使用不同的成像方式对同一场景采集不同分辨率的图像。第 2 种方式具有更真实的退化过程，适用于真实场景的图像 SR 重建。但是采集真实的 LR-HR 图像对具备一定难度，大多数数据集只采集 HR 图像，研究者们自行采用不同的退化方式合成相应的 LR 图像，以构成 LR-HR 图像对进行训练。
-
图1 展示了不同高斯模糊核宽度退化下的低分辨率自然光学图像，它们在细节上存在很大差异，SR 重建难度也各自不同。
-
图1 不同模糊核宽度退化下的低分辨率图像
-
Fig.1 LR image degraded by different blur kernel widths
-
1.3 图像退化方式
-
早期的 SR 重建方法直接将 HR 图像下采样得到 LR 图像，再作为配对的样本输入到网络模型中进行训练。而实际的退化过程复杂且未知，包含模糊、噪声、环境、压缩等因素的影响，难以进行准确的定义。因此，最近的许多 SR 重建算法考虑了多种退化方式，同时实现了图像增强和超分辨率 （Simultaneous Enhancement and Super-Resolution， SESR）。根据现有数据集构建过程中采取的退化方式，结合式（1）总结了 3 种退化方式。
-
1）下采样退化方式。
-
下采样退化模型通过对 HR图像执行下采样操作得到对应的 LR 图像，表达式如下：
-
式中：表示尺度为 s 的下采样操作，通常使用双三次（Bicubic）和双线性（Bilinear）插值。
-
2）一般退化方式。
-
一般退化模型在下采样模型的基础上考虑了模糊和噪声退化因素，更加接近实际情况，因此被大多数 SR 重建方法采用，表达式如下：
-
式中：表示卷积操作；k 表示模糊核；n 表示加性白噪声。
-
3）多种退化方式。
-
虽然一般退化模型的有效性得到了验证，但其假设的退化类型依然离真实退化过程存在一定差异。因此，多种退化模型在此基础上新增了更复杂的退化过程，比如多种各向异性的高斯模糊核叠加，以模拟真实图像。其表达式如下所示：
-
由于现实场景的退化过程复杂且未知，从退化方式的角度对不同方法进行归纳总结，可以为具体的 SR 重建应用提供指导意义和参考价值。另外，根据退化过程中模糊核是否已知，还可以把 SR 重建方法分为非盲图像 SR 和盲图像 SR。
-
因此，本文基于退化方式将基于深度学习的单幅图像超分辨率（SISR）重建算法分为针对一般退化、已知（非盲）多种退化、未知（盲）多种退化3 个方面进行详细总结。本文主要探讨 SISR，基于多帧[26]、参考[27]的 SR 重建算法详见文献[12]。
-
1.4 单幅图像超分辨率重建算法
-
1.4.1 针对一般退化方式
-
早期方法均针对较为理想的下采样退化方式和一般退化方式。DONG 等人[28]首次运用一个只有 3 层卷积层的 CNN 模型端到端学习插值低分辨率图像与高分辨率图像之间的映射关系，提出了第 1 个基于 CNN 的 SISR 模型 SRCNN。KIM 等人[29] 训练了一个 20 层的神经网络模型 VDSR，引入残差学习和梯度裁剪策略来加快深度模型的收敛速度。DnCNN[30]和 IRCNN[31]模型直接对高频残差图像进行预测。MAO 等人[32]提出了 RED-Net，使用卷积层作为编码器，反卷积层作为解码器。 DRCN[33]、DRRN[34]和 MemNet[35]模型使用递归卷积层或递归模块逐步将较难的图像超分辨率重建问题分解成一组容易解决的简单问题，并利用递归学习实现参数共享，大大降低存储成本和计算复杂度。
-
上述方法先将输入的 LR 图像插值上采样至 HR 图像的大小然后进行处理，计算复杂度高，且会过度平滑或模糊原始 LR 图像，丢失部分细节。为了提高计算效率，研究者们提出了后上采样方式，先在低维空间进行网络运算，然后在模型末端集成可学习的上采样层映射到高维空间，是目前主流的 SR 模型结构。FSRCNN[36]在模型末端引入转置卷积层上采样到高分辨率图像。ESPCN [37]引入高效亚像素卷积层学习 LR-HR 图像映射。EDSR [38] 优化了常用的残差结构，删除批处理归一化（Batch Normalization，BN）和 ReLU 激活函数。CARN[39] 模型级联局部和全局信息来改进残差结构。借鉴 DenseNet[40]强大的特征提取能力，SRDenseNet[41] 和 RDN[42]增强了图像 SR 重建的性能。
-
由于不同特征对于 SR 重建效果的重要性是不同的，基于注意力机制的方法[43-45]选择性关注特定层中的少数特征。RCAN[43]模型基于通道注意力机制，CSNLN[46]和 NLSA[47]基于非局部（Non-local） 注意力。此外，MAGID 等人[48]引入动态高通滤波和矩阵多谱通道注意模块来改善局部和全局特征。
-
虽然后上采样结构大大降低了计算成本，但增加了较大放大倍数（如×4、×8）SR 重建的学习难度，且无法满足以一个模型执行多个放大倍数的需求。为了解决这个问题，SCN[49]模拟学习迭代收缩阈值算法网络构建多层神经网络，实现高分辨率图像的逐级重建。LAI 等人[50]提出一种渐进式上采样网络模型 LapSRN，由 3 个子网络组成，每个子网络分别预测 2 倍放大的残差图像，逐步实现 8 倍放大。LapSRN 通过将复杂任务分解为简单任务，极大地降低了高倍 SR 模型的学习难度。基于此结构 MSLapSRN[51]和 E-ProSRNet[52]实现了进一步优化。
-
为了更好地捕捉 LR-HR 图像对之间的相互依赖关系，渐进式上下采样结构通过迭代反向投影不断改进重建的 HR 图像细节。DBPN[53]由一系列紧密连接的上下采样结构组成，将多个 HR 图像进行组合构成最终输出。SRFBN[54]基于循环结构以多个反向投影模块递归优化 LR 图像。虽然渐进式上下采样结构产生了高质量的重建结果，但反向投影模块的设计标准目前尚不明确。
-
上述方法均专注于实现更高的峰值信噪比 （PSNR），使用均方误差（Mean Square Error，MSE） 损失或 L1 损失作为损失函数，可能会产生过于模糊的图像。为了提高重建图像的视觉效果，JOHNSON 等人[55]使用感知损失测量两幅图像之间的特征空间误差训练模型。LEDIG 等人[56]借鉴了对抗损失，提出了第 1 个基于生成对抗网络的模型 SRGAN。在此基础上，ESRGAN[57]改进了网络架构、对抗性损失和感知损失，删除 BN 层。SAJJADI 等人[58] 设计纹理损失函数优化 HR 图像细节。SRFeat[59] 在特征域中额外引入一个判别器，将合成图像与真实图像区分开，鼓励生成器产生高频结构特征而非噪声伪影。SPSR[60]基于梯度引导图像保留高频信息。GAN 系列方法的重建效果更具真实感，对不关注细节的整体图像具有较好的应用效果。
-
1.4.2 针对已知（非盲）多种退化方式
-
针对下采样退化方式和一般退化方式的方法无法满足现实场景需求。为了应对多种退化方式，直观的思路是构建包含更多退化信息的 LR 图像，对深度学习模型进行黑箱训练。通常而言构建的多种退化方式已知，属于非盲图像 SR 重建。
-
SRMD[61]将 LR 图像与多种退化信息合并作为模型的统一输入，根据特定退化信息进行特征适配，并在一个模型中覆盖多种退化方式。虽然 SRMD 将 SR 重建模型扩展到能处理多种退化类型，但其作用域仍然非常有限，因为对任意退化模糊核进行有效编码并非易事。因此，ZHANG 等人[62-63]基于最大后验概率框架对网络模型进行设计，使其无需对退化模糊核进行编码。其中深度即插即用网络模型 DPSR[62]将 SR 重建网络集成到基于最大后验概率的迭代优化方案中；深度展开网络模型 USRNet[63]结合基于学习和基于模型的方法，通过单个模型处理具有不同放大倍数、退化模糊核和噪声水平的图像 SR 重建任务。UDVD 模型[64] 使用退化图像作为超分辨率重建任务的额外输入，利用逐像素动态卷积有效处理图像中的变分退化。
-
此外，SHOCHER 等人[65]利用内部图像数据和 CNN 的强大学习能力，提出一个基于零样本的 SR 重建模型 ZSSR。ZSSR 模型先根据输入图像本身提取训练样本，然后将提取到的子图像获得其对应的 LR 图像。在此基础上，MZSR[66]借助元迁移学习和外部训练样本来优化训练过程，相比于 ZSSR 需要数千次迭代来适应新任务，MZSR 模型仅需要几次迭代就能适应。
-
1.4.3 针对未知（盲）多种退化方式
-
虽然上述方法在应对多种退化方式时产生了较好的 SR 重建结果，但仍基于退化已知假设。现实场景中图像退化情况未知，重建性能可能会显著下降。为解决此问题盲图像 SR 重建算法应运而生。
-
最直观的思路就是在非盲图像 SR 重建基础上增加模糊核估计方法，分为 2 个子问题解决盲图像 SR 重建。KernelGAN[67]的生成器从 LR 图像中估计退化模糊核，以模拟真实的退化过程。HUSSEIN 等人[68]在此基础上提出非盲校正滤波进一步优化模糊核估计过程。基于深度图像先验框架 DIP[69]， Double-DIP 模型[70]在未训练的自编码网络模型的参数空间中，通过最小化低分辨率图像的重建误差，联合优化高分辨率图像和退化模糊核。FKP[71] 进一步优化上述方法，学习各向异性高斯核分布与潜在分布之间的可逆映射。此外，LIANG 等人[72]还提出了一种用于空间变化模糊核估计的互仿射网络模型 MANet，在不增加感受野、模型大小和计算负担的情况下增强特征的表达能力。TAO 等人[73]基于 LR 图像的傅立叶频谱来更准确地重建未知模糊核。
-
上述方法需要独立训练 2 个模型，不能进行端到端优化，模糊核估计步骤只能利用 LR 图像中有限信息，可能与第 2 步模型不兼容。因此，使用一个模型完成模糊核估计和非盲图像 SR 更为有效。
-
GU 等人[74]通过迭代的方式修正模糊核估计，使重建图像逐步逼近真实结果。DAN 模型[75]迭代优化估计器和恢复器，恢复器基于预测模糊核重建 HR 图像，估计器借助重建图像对模糊核进行估计。 KMSR[76]基于 GAN 构建逼真的模糊核池，然后构建与 HR 图像对应的 LR 图像训练重建模型。 CORNILLERE 等人[77]利用 SR 重建伪影估计模糊核，训练模糊核判别器来估计输出误差，并在推理阶段最小化误差求得最优模糊核。DASR[78]假定退化在同一幅图像中是相同的，而在另一幅图像中不同，利用估计的退化表示生成相应的卷积核和调整系数，使网络能够灵活地适用于不同退化方式。 KIM 等人[79]提出的 KOALAnet 将非迭代框架扩展到空间变化模糊核，使 SR 重建网络适应特定退化方式。AMNet[80]结合强化学习使用不可微分的感知度量共同优化模糊核估计与重建网络。FAIG[81] 基于积分梯度区分退化信息，首先寻找对特定退化重建贡献最大的滤波器，以此预测输入图像的模糊核，然后结合不同网络模型用于多种退化的图像 SR 重建。
-
2 水下光学图像超分辨率重建任务
-
2.1 水下光学成像与退化
-
传统的基于物理模型方法对水下光学成像与退化过程进行建模，将水下光学图像重建视为其逆问题。水下光学成像模型[82]由 3 部分组成：直射部分、前向散射部分和后向散射部分。
-
直射部分为经过物体反射后直接到达成像设备的光线，可视为清晰图像光线衰减过程。
-
前向散射部分指经过物体反射后经水中粒子散射吸收和水介质吸收后到达成像设备的光线，图像信息产生了偏移，可视为模糊过程。
-
后向散射部分代表从光源出发的光线经水中粒子散射吸收和水介质吸收后被成像设备收集，属于噪声，不包含物体信息，会造成严重的颜色失真、对比度下降问题。
-
除了光学成像本身造成的模糊和噪声退化，水体流动、鱼类游动和成像设备晃动还会造成图像运动模糊。除此之外，水下复杂环境中的成像设备无法实现理想的聚焦，易发生散焦模糊，将一个理想化的像素点成像为一个圆形斑点。如图2 所示，由于红色波在水介质中易被吸收，水下图像可能以蓝色和绿色色调主导，而不同的水深、颗粒数量也会导致不同程度的模糊。
-
通过对比图1 和图2 也可以直观发现水下采集的光学图像的退化种类与程度比自然光学图像更甚，通常有颜色失真、细节缺失、对比度下降与模糊等多种退化问题。因此，相比于自然光学图像，水下光学图像超分辨率重建更具挑战。
-
图2 水下光学图像示例
-
Fig.2 Examples of underwater optical images
-
2.2 水下光学图像数据集
-
水下环境具有多样性和复杂性，在不同水域和海域以及在不同时间采集的图像均具有不同的图像质量、退化方式、场景目标。为了应对不同类型的需求，研究者们构建了数量繁多的数据集，并默认使用高清相机在良好光照、水质环境下采集的水下图像为高质量 HR 图像。
-
表2 总结了目前常用的水下光学图像 SR 重建和增强数据集[8，83-93]，“-”表示不包含图像或未明确划分训练集和测试集。
-
直至 2020 年才出现第 1 个针对水下光学图像 SR 重建任务的公开数据集 USR-248[83]。它使用多种高清相机在海洋探索和野外实验期间采集 HR图像，还在 FlickrTM、YouTubeTM 和其他互联网在线资源中收集了清晰的水下 HR 图像。数据集包含各种场景下的多种目标，如珊瑚礁、鱼、潜水员、沉船、废墟。HR 图像统一调整为 640×480 分辨率，采用 Bicubic 下采样生成 3 组 LR 图像，分辨率依次为 320×240、160×120 和 80×60。
-
在此基础上，USR-2K 数据集[84]扩充了训练集和测试集的图像数量，采用了与 USR-248 相似的构建过程。然而它们仅通过 Bicubic 下采样生成 LR 图像，本质上属于只包含 HR 图像的数据集。为了 UFO 数据集[8]采用了一种广泛使用的域转移技术，利用 CycleGAN[94]模拟水下光学畸变特性，处理从不同水类型、多个地点的海洋勘探中收集的 HR 水下光学图像，然后使用 7×7 高斯模糊和 Bicubic 下采样生成 LR 图像。HR 图像统一为 640×480 分辨率，LR 图像分为 3 组，分辨率依次为 320×240、 214×160、160×120。由于水下退化过程由 CycleGAN 模型进行黑箱化模拟，UFO 数据集针对未知（盲） 多种退化方式。
-
除此之外，还有许多针对水下图像增强任务的数据集，经过处理或转换之后也可用于 SR 重建任务的训练或测试。根据发布时间排序如下：
-
1）TURBID 数据集[85]在水箱环境中采集 30 张分辨率为 3 000×4 000 的清晰图像，然后往水箱中依次加入全脂牛奶以模拟 19 种不同程度的浑浊度。
-
2）WaterGAN[86]通过真实水下图像和空气图像训练 GAN 模型，以学习表达水下图像风格，将大量在空气中采集的自然图像转换为分辨率为 640×480 的水下图像。
-
3）OceanDark[87]收集了 183 张 1 280×720 大小的人工光源低照度水下图像，场景中包含溜冰鞋、螃蟹、鱼、海胆、科学仪器等目标。
-
4）U–45[88]使用水下清晰– 退化图像对训练CycleGAN，生成了 45 张 256×256 大小的水下退化图像，模拟了颜色失真、低对比度、模糊 3 种退化过程。
-
5）UIEB[89]在真实水下环境中采集了 950 张低质量图像，使用多种传统方法与深度学习方法相结合的方式进行增强，得到了 890 张肉眼认为清晰的高质量图像。
-
6）RUIE[90]构建了 3 个子集用于评估水下图像可见度恢复、颜色校正、目标检测能力，分别包含 3 630 张、300 张、300 张图像。
-
7）SUID[91]基于水下成像模型和光学传播特性构建物理模型，使用空气中采集的 30 张清晰图像合成 900 张退化后的水下图像。
-
8）EUVP[92]使用 7 个不同的摄像头在不同光照强度和地点采集水下清晰图像，并结合互联网视频，使用 CycleGAN 模拟水下光学退化过程，包含超过 1.2 万个配对图像和 8 千个未配对图像。
-
9）SQUID[93]采集不同季节、深度、水类型的 57 张水下图像，并在拍摄场景中放置了防水彩色卡，以进行严格的物理模型颜色校正。
-
与自然光学图像质量评价指标类似，水下图像增强任务也通常计算重建图像与测试集中的清晰 /HR 图像之间的峰值信噪比（PSNR）和结构相似度（SSIM）。当测试集中只包含退化图像时，Quevedo 等人[95]设计了针对水下图像的退化机理与成像特点无参考评价指标 UIQM，在不需要真实值的情况下综合评价重建图像的颜色、清晰度和对比度。
-
3 基于深度学习的水下图像超分辨率重建方法
-
虽然基于颜色补偿和物理模型等传统[7，82，99]针对水下光学成像的多种退化方式取得了一定效果，但它们假设的物理模型系数、同向异性高斯模糊、水介质均匀等情况极大降低了算法在众多水下环境中的泛化性[89]。随着水下光学图像 SR 重建数据集的发展，近年来许多研究者将基于深度学习的图像 SR 重建算法应用到水下领域，取得了良好效果。
-
图3 概括了目前基于深度学习的水下光学图像 SR 重建的过程。首先，通过高清相机、互联网等方式收集水下 HR 图像，然后通过不同的图像退化模型生成 LR 图像，构建 HR-LR 图像对作为训练数据。深度学习 SR 模型不关注图像退化的方式，只根据 HR-LR 图像对计算 SR 重建图像与 HR 图像的损失值，通过反向传播进行模型训练，即数据驱动。根据水下光学图像退化方式的不同，将现有方法分为针对下采样退化方式和针对多种退化方式 2 类，第 1 类方法未考虑水下图像特有的颜色失真、模糊等退化问题。
-
图3 基于深度学习的水下光学图像超分辨率重建过程
-
Fig.3 Process of the super-resolution reconstruction on underwater optical images based on deep learning
-
3.1 针对下采样退化方式
-
早期缺乏公开的水下光学图像 SR 重建数据集时，陈龙彪、王海等人[100-101]借鉴 EDSR [38]和 SRDenseNet[41]设计模型，使用自采的水下图像进行训练，取得了优于传统上采样方法的 SR 重建效果。为了获得更具真实感的水下图像，程娜[102]改进了 SRGAN[56]模型应用于水下捕捞机器人采集的图像，取得了良好的性能。另外，徐永兵等人[103] 设计一种双目图像 SR 重建算法，输入 2 帧 LR 图像，借助多重注意力机制挖掘双目图像的视差信息，实现高质量的上采样重建。
-
基于公开数据集 USR-248[83]和 USR-2K[84]， AMPCNet[104]充分利用了注意力和图像内部信息，以两条路径交叉连接的方式实现了多尺度特征提取，取得了良好的定量评价和视觉质量。CHEN 等人[105]采用了渐进式上采样结构，结合注意力机制改善了水下图像高倍（×4、×8）放大的性能。ISLAM 等人[83]借鉴了 EDSR [38]和 PatchGAN[106]的模型结构，设计了一种针对水下 SISR 的生成式模型 SRDRM-GAN，可应对多种嘈杂视觉条件的水下环境。AlphaSRGAN[107]引入预处理方法，同时优化了生成器网络结构，提升了生成图像的重建质量。另外，WANG 等人[84]提出了一种基于信息蒸馏的轻量级 SR 重建网络，采用后上采样结构，大幅降低模型参数和计算复杂度以适用于实时水下应用。在此基础上，袁红春等人[108]引入了全局特征融合和空间注意力机制增强模型特征表达能力，提升了轻量化模型的 SR 重建性能。
-
3.2 针对多种退化方式
-
由于水下光学图像包含颜色失真、细节缺失、对比度下降与模糊等多种退化问题，传统方法[7，82，99]通常针对每一种退化，逐一设计重建模型。因此，在早期缺乏高质量的水下 HR 图像时，针对多种退化方式的深度学习 SR 重建方法首先使用物理模型等传统算法对低质量 LR 图像进行图像增强，即图5 所示的预处理步骤；然后再设计基于 CNN[109-110] 或 GAN[111-112]模型生成高质量的 HR 图像。显而易见，此类方法的缺陷是不能联合优化多种退化问题，泛化性不足。
-
为了端到端优化训练针对多种退化的深度学习 SR 模型，实现更好的重建效果，陈浩[113]优化了 DPSR[62]模型来处理多种模糊核退化，结合迁移学习的方式在自采水下图像中取得了良好效果。 CHEN 等人[114]选择了能够有效模拟水下湍流波形和特征的小波基来代替神经元拟合函数，然后改进了 DenseNet[40]密集连接块的结构，在 TURBID 数据集[85]上验证了已知模糊的重建效果。然而实际情况的水下图像多种退化是未知的，非盲 SR 重建方法效果的通用性不佳。
-
UFO 数据集[8]基于 GAN 合成了包含多种退化方式的水下图像，适用于盲图像 SR 重建。ISLAM 等人[8]引入密集残差块和注意力机制设计了 Deep SESR 模型，同时实现了图像增强和超分辨率重建功能。在此基础上，WANG 等人[115]以渐进式上采样结构设计 SR 网络模型，借鉴全局空间注意力和多尺度残差连接，能够更好地补偿多种图像细节。最近，REN 等人[116]借鉴了基于 Transformer[15]设计 SR 模型的思想，将 Swin Transformer[117]嵌入到 U-Net[118]模型中，以提高捕获全局特征的能力，在客观评价指标 PSNR 和 SSIM 上取得了最先进的性能。为了获得更好的主观视觉感受，AGHELAN[119] 引入预训练和迁移学习方法，使用 USR-248[83]和 UFO 数据集[8]微调 Real-ESRGAN[13]模型。
-
美中不足的是，UFO 数据集包含的多种退化方式基于 GAN 合成，而非完全真实水下场景的退化。马文齐[120]使用高倍和低倍摄像头对同一水下场景进行拍摄，得到真实的 HR-LR 图像对，但仅包含了水下浮游生物图像。
-
表3 对比了目前具有代表性的深度学习水下光学图像超分辨率重建方法，评价指标包括 PSNR、SSIM 和 UIQM，超分辨率倍数包括×2、×3、×4、 ×8，“±”表示得分的均值和浮动方差，加粗部分表示该数据集下此项指标的最高得分。由对比结果可知，同一种深度学习模型对于不同的退化方式、评价指标和放大倍数的性能均具有差异，没有一种模型在所有指标上均取得最高分。因此在具体的应用场景中，需进行针对性的深度学习模型设计。
-
续表3
-
4 结束语
-
现实应用场景中水下光学图像包含颜色失真、细节缺失、对比度下降与模糊等多种退化问题，超分辨率重建难度远高于常规的自然图像。本文根据图像退化方式的不同，对基于深度学习的单幅自然图像超分辨率重建算法进行分类总结，并归纳分析了水下光学图像退化方式、常见公开数据集和水下光学图像超分辨率重建的最新方法。随着深度学习技术的成熟，水下光学图像超分辨率重建研究尽管取得了一定进展，仍存在一些问题，总结如下：
-
1）现有的水下超分辨率数据集过少，未充分考虑水下环境导致的多种图像退化问题，以至于许多方法仅针对单一的下采样退化，泛化性差。
-
2）有许多包含多种退化情况的水下图像增强数据集，可以用于超分辨率重建任务，然而仅有极少深度学习超分辨率方法使用图像增强数据集训练。
-
3）基于深度学习的水下超分辨率重建模型相对落后，大多数方法是将针对常规自然图像的 3 年前经典模型进行简单应用。
-
通过上述总结，结合基于深度学习的自然图像超分辨率重建最新研究以及其他应用领域，对水下光学图像超分辨率重建未来可能的发展趋势进行如下展望：
-
1）真实水下图像超分辨率重建。
-
如图5 所示，现有的水下光学图像数据集通过从高分辨率图像中人工合成低分辨率图像来生成相互匹配的训练数据集。然而，由于训练和测试数据之间的数据分布存在差异，通过人工合成数据集训练的深度学习模型在现实场景中的应用性能会遭受不可避免的损失，最为常见的就是重建图像产生的伪影。获取完全真实的 HR-LR 图像对的现有方法通过调整数码相机的焦距，拍摄同一场景中不同分辨率大小的对应图像，并根据不同外部环境因素产生真实的退化过程。但这种采集方式的实施过程复杂困难，需要耗费大量的人力与物力。因此，真实图像超分辨率重建是一个极具价值和挑战性的研究方向。
-
2）轻量化超分辨率重建网络模型。
-
在实际水下环境的具体应用中，超分辨率重建模型的推理过程常在嵌入式、边缘设备上运行，比如水下机器人、UUV。然而，这些设备对实时性和功耗方面的要求都相对较高，深度学习模型的高计算成本和内存消耗阻碍了算法的部署应用。因此研究精确、实时、节能的轻量化超分辨率重建网络模型具有重要的应用意义。具体而言，可以采用权重共享策略来减少模型参数，或对大模型进行压缩，减少一些不必要的计算单元。在推理过程中，输入图像不同的图像区域有不同的恢复难度，细节缺失主要存在于边缘区域和纹理区域[121]，因此对于平坦区域可以分配较少的计算资源。通过不同规模的网络模型对不同的图像区域进行处理，使整体计算资源消耗更低。
-
3）联合水下目标检测的多任务学习。
-
计算机视觉低层任务包括模糊、去噪、去雾、超分辨率重建等图像增强技术用于改善图像质量； 高层任务包括图像分类、目标检测、语义分割等识别技术用于场景感知应用。对于目标检测任务，仅将输入图像放大就能直接提升小目标检测精度，结合超分辨率重建[122-124]、去模糊[125]网络与目标检测模型进行图像、特征层面的多任务学习，可以同时提升重建性能和检测精度。多任务学习利用参数共享等方式对多个任务进行端到端训练，产生隐式训练数据增加的效果并降低过拟合的风险，实现“1+1>2”。由于水下环境采集的图像常面临各种质量降低问题，联合超分辨率重建网络与目标检测模型进行多任务学习，可以更好的适用于水下探测等任务。
-
4）基于其他水下传感器的超分辨率重建。
-
在水下目标探测任务中，由于成像环境的限制，光学传感器仅适用于近距离感知，声呐等水声传感器更适用于远距离探测。声呐图像的自主目标识别被广泛应用于民用、军事领域。然而，海水介质的非均匀性会造成声信号的衰减和畸变，同时各种漂浮物和颗粒都会增大声波传输过程中的多径效应，极大影响了声呐图像质量[126]。目前已有一些方法应对侧扫声呐图像[127-131]和水声通信信道[132]的超分辨率重建，尽管只针对单一的下采样退化。因此，研究基于更多退化方式的水下声呐图像超分辨率重建算法具有极大的应用价值。此外，基于多模态融合和参考图像[27]的超分辨率重建算法可以借助更多信息提升算法性能。随着无人艇以及 UUV 的进一步发展与应用，对水下光传感器、前视声呐、侧扫声呐、合成孔径声呐采集的图像进行融合分析极具研究前景。
-
参考文献
-
[1] 林森，赵颍.水下光学图像中目标探测关键技术研究综述[J].激光与光电子学进展，2020，57（6）：26-37.
-
[2] 潘金山.基于深度学习的图像去模糊方法研究进展 [J].计算机科学，2021，48（3）：9-13.
-
[3] 刘佩，贾建，陈莉，等.基于快速自适应的二维经验模态分解的图像去噪算法[J].计算机科学，2019，46（11）：260-266.
-
[4] WU H Y，QU Y Y，LIN S H，et al.Contrastive learning for compact single image dehazing[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2021.
-
[5] 张凯.基于卷积神经网络的图像去噪与超分辨率方法研究[D].哈尔滨：哈尔滨工业大学，2019.
-
[6] 吴靖，叶晓晶，黄峰，等.基于深度学习的单帧图像超分辨率重建综述[J].电子学报，2022，50（9）：2265-2294.
-
[7] 张颢，范新南，李敏，等.基于光学成像模型的水下图像超分辨率重构[J].计算机与现代化，2017（4）：7-13.
-
[8] ISLAM M J，LUO P，SATTAR J.Simultaneous enhancement and super-resolution of underwater imagery for improved visual perception[C]//Robotics：Science and Systems XVI.Corvalis：MIT Press，2020.
-
[9] ANWAR S，KHAN S H，BARNES NICK.A deep journey into super-resolution：a survey[J].ACM Computing Surveys，2020，53（3）：1-34.
-
[10] WANG Z H，CHEN J，HOI S C H.Deep learning for image super-resolution：a survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（10）：3365-3387.
-
[11] BASHIR S M A，WANG Y，KHAN M，et al.A comprehensive review of deep learning-based single image super-resolution[J].PeerJ Computer Science，2021，7：e621.
-
[12] 杨才东，李承阳，李忠博，等.深度学习的图像超分辨率重建技术综述[J].计算机科学与探索，2022，16（9）：1990-2010.
-
[13] WANG X T，XIE L B，DONG C，et al.Real-ESRGAN：training real-world blind super-resolution with pure synthetic data[C]//2021 IEEE/CVF International Conference on Computer Vision Workshops.Montreal：IEEE，2021.
-
[14] ANWAR S，BARNES N.Densely residual Laplacian super-resolution[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（3）：1192-1204.
-
[15] CHEN H T，WANG Y H，GUO T Y，et al.Pre-trained image processing transformer[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021.
-
[16] BEVILACQUA M，ROUMY A，GUILLEMOT C，et al.Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//British Machine Vision Conference 2012.Guildford：BMVA Press，2012.
-
[17] ZEYDE R，ELAD M，PROTTER M.On single image scale-up using sparse-representations[C]//7th International Conference on Curves and Surfaces.Avignon：Springer，2012.
-
[18] YANG J C，WRIGHT J，HUANG T S，et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing，2010，19（11）：2861-2873.
-
[19] MARTIN D R，FOWLKES C C，TAL D，et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//2001 IEEE International Conference on Computer Vision.Vancouver：IEEE，2001.
-
[20] HUANG J B，SINGH A，AHUJA N.Single image super-resolution from transformed self-exemplars[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston：IEEE，2015.
-
[21] FUJIMOTO A，OGAWA T，YAMAMOTO K，et al.Manga109 dataset and creation of metadata[C]//1st International Workshop on Comics Analysis，Processing and Understanding.Cancun：ACM，2016.
-
[22] AGUSTSSON E，TIMOFTE R.NTIRE 2017 challenge on single image super-resolution：dataset and study[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[23] TIMOFTE R，AGUSTSSON E，VAN GOOL L，et al.NTIRE 2017 challenge on single image super-resolution：methods and results[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[24] CAI J R，ZENG H，YONG H W，et al.Toward real-world single image super-resolution：a new benchmark and a new model[C]//2019 IEEE/CVF International Conference on Computer Vision.Seoul：IEEE，2019.
-
[25] WEI P X，XIE Z W，LU H N，et al.Component divide-and-conquer for real-world image super-resolution[C]//16th European Conference on Computer Vision.Glasgow：Springer，2020.
-
[26] SONG X B，DAI Y C，QIN X Y.Deeply supervised depth map super-resolution as novel view synthesis[J].IEEE Transactions on Circuits and Systems for Video Technology，2019，29（8）：2323-2336.
-
[27] SHIM G，PARK J，KWEON I S.Robust reference-based super-resolution with similarity-aware deformable convolution[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2020.
-
[28] DONG C，LOY C C，HE K M，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307.
-
[29] KIM J，LEE J K，LEE K M.Accurate image super-resolution using very deep convolutional networks[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016.
-
[30] ZHANG K，ZUO W M，CHEN Y J，et al.Beyond a Gaussian denoiser：residual learning of deep CNN for image denoising[J].IEEE Transactions on Image Processing，2017，26（7）：3142-3155.
-
[31] ZHANG K，ZUO W M，GU S H，et al.Learning deep CNN denoiser prior for image restoration[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[32] MAO X J，SHEN C H，YANG Y B.Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections[C]//Advances in Neural Information Processing Systems.Barcelona：Curran Associates Inc，2016.
-
[33] KIM J，LEE J K，LEE K M.Deeply-recursive convolutional network for image super-resolution[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016.
-
[34] TAI Y，YANG J，LIU X M.Image super-resolution via deep recursive residual network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[35] TAI Y，YANG J，LIU X M，et al.MemNet：a persistent memory network for image restoration[C]//2017 IEEE International Conference on Computer Vision.Venice：IEEE，2017.
-
[36] DONG C，LOY C C，TANG X O.Accelerating the super-resolution convolutional neural network[C]//14th European Conference on Computer Vision.Amsterdam：Springer，2016.
-
[37] SHI W Z，CABALLERO J，HUSZÁR F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016.
-
[38] LIM B，SON S，KIM H，et al.Enhanced deep residual networks for single image super-resolution[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[39] AHN N，KANG B，SOHN K.Fast，accurate，and lightweight super-resolution with cascading residual network[C]//15th European Conference on Computer Vision.Munich：Springer，2018.
-
[40] HUANG G，LIU Z，VAN DER MAATEN L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[41] TONG T，LI G，LIU X J，et al.Image super-resolution using dense skip connections[C]//2017 IEEE International Conference on Computer Vision.Venice：IEEE，2017.
-
[42] ZHANG Y L，TIAN Y P，KONG Y，et al.Residual dense network for image super-resolution[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018.
-
[43] ZHANG Y，LI K，LI K，et al.Image super-resolution using very deep residual channel attention networks [C]//15th European Conference on Computer Vision.Munich：Springer，2018.
-
[44] NIU B，WEN W L，REN W Q，et al.Single image super-resolution via a holistic attention network[C]//16th European Conference on Computer Vision.Glasgow：Springer，2020.
-
[45] LIU J，ZHANG W J，TANG Y T，et al.Residual feature aggregation network for image super-resolution[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2020.
-
[46] MEI Y Q，FAN Y C，ZHOU Y Q，et al.Image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2020.
-
[47] MEI Y Q，FAN Y C，ZHOU Y Q.Image super-resolution with non-local sparse attention[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2021.
-
[48] MAGID S A，ZHANG Y L，WEI D L，et al.Dynamic high-pass filtering and multi-spectral attention for image super-resolution[C]//2021 IEEE/CVF International Conference on Computer Vision.Online：IEEE，2021.
-
[49] WANG Z W，LIU D，YANG J C，et al.Deep networks for image super-resolution with sparse prior[C]//2015 IEEE International Conference on Computer Vision.Santiago：IEEE，2015.
-
[50] LAI W S，HUANG J B，AHUJA N，et al.Deep Laplacian pyramid networks for fast and accurate super-resolution[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[51] LAI W S，HUANG J B，AHUJA N，et al.Fast and accurate image super-resolution with deep Laplacian pyramid networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，41（11）：2599-2613.
-
[52] CHUDASAMA V M，UPLA K P.E-ProSRNet：an enhanced progressive single image super-resolution approach[J].Computer Vision and Image Understanding，2020，200：103038.
-
[53] HARIS M，SHAKHNAROVICH G，UKITA N.Deep back-projection networks for super-resolution[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018.
-
[54] LI Z，YANG J L，LIU Z，et al.Feedback network for image super-resolution[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE，2019.
-
[55] JOHNSON J，ALAHI A，LI F F.Perceptual losses for real-time style transfer and super-resolution[C]//14th European Conference on Computer Vision.Amsterdam：Springer，2016.
-
[56] LEDIG C，THEIS L，HUSZÁR F，et al.Photo-realistic single image super-resolution using a generative adversarial network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[57] WANG X，YU K，WU S，et al.ESRGAN：enhanced super-resolution generative adversarial networks[C]//15th European Conference on Computer Vision Workshops.Munich：Springer，2018.
-
[58] SAJJADI M S M，SCHÖLKOPF B，HIRSCH M.EnhanceNet：single image super-resolution through automated texture synthesis[C]//2017 IEEE International Conference on Computer Vision.Venice：IEEE，2017.
-
[59] PARK S，SON H，CHO S，et al.SRFeat：single image super-resolution with feature discrimination[C]//15th European Conference on Computer Vision.Munich：Springer，2018.
-
[60] MA C，RAO Y M，CHENG Y，et al.Structure-preserving super resolution with gradient guidance[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2020.
-
[61] ZHANG K，ZUO W M，ZHANG L.Learning a single convolutional super-resolution network for multiple degradations[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018.
-
[62] ZHANG K，ZUO W M，ZHANG L.Deep plug-and-play super-resolution for arbitrary blur kernels[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE，2019.
-
[63] ZHANG K，GOOL L V，TIMOFTE R.Deep unfolding network for image super-resolution[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2020.
-
[64] XU Y S，TSENG S R，TSENG Y，et al.Unified dynamic convolutional network for super-resolution with variational degradations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2020.
-
[65] SHOCHER A，COHEN N，IRANI M.Zero-shot super-resolution using deep internal learning[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018.
-
[66] SOH J W，CHO S，CHO N I.Meta-transfer learning for zero-shot super-resolution[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2020.
-
[67] BELL-KLIGLER S，SHOCHER A，IRANI M.Blind super-resolution kernel estimation using an Internal-GAN[C]//Advances in Neural Information Processing Systems.Vancouver：Curran Associates Inc，2019.
-
[68] HUSSEIN S A，TIRER T，GIRYES R.Correction filter for single image super-resolution：robustifying offthe-shelf deep super-resolvers[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2020.
-
[69] ULYANOV D，VEDALDI A，LEMPITSKY V S.Deep image prior[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018.
-
[70] GANDELSMAN T，SHOCHER A，IRANI M.Double-DIP：unsupervised image decomposition via coupled Deep-Image-Priors[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE，2019.
-
[71] LIANG J Y，ZHANG K，GU S H，et al.Flow-based kernel prior with application to blind super-resolution[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2021.
-
[72] LIANG J Y，SUN G L，ZHANG K，et al.Mutual affine network for spatially variant kernel estimation in blind image super-resolution[C]//2021 IEEE/CVF International Conference on Computer Vision.Online：IEEE，2021.
-
[73] TAO G P，JI X Z，WANG W Z，et al.Spectrum-to-kernel translation for accurate blind image super-resolution[C]//Advances in Neural Information Processing Systems.Online：Curran Associates Inc，2021.
-
[74] GU J J，LU H N，ZUO W M，et al.Blind super-resolution with iterative kernel correction[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE，2019.
-
[75] LUO Z X，HUANG Y，LI S，et al.Unfolding the alternating optimization for blind super resolution[C]//Advances in Neural Information Processing Systems.Online：Curran Associates Inc，2020.
-
[76] ZHOU R F，SÜSSTRUNK S.Kernel modeling super-resolution on real low-resolution images[C]//2019 IEEE/CVF International Conference on Computer Vision.Seoul：IEEE，2019.
-
[77] CORNILLÈRE V，DJELOUAH A，WANG Y F，et al.Blind image super-resolution with spatially variant degradations[J].ACM Transactions on Graphics，2019，38（6）：166：1–13.
-
[78] WANG L G，WANG Y Q，DONG X Y，et al.Unsupervised degradation representation learning for blind super-resolution[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2021.
-
[79] KIM S Y，SIM H，KIM M.KOALAnet：blind super-resolution using kernel-oriented adaptive local adjustment[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2021.
-
[80] HUI Z，LI J，WANG X M，et al.Learning the non-differentiable optimization for blind super-resolution[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Online：IEEE，2021.
-
[81] XIE L B，WANG X T，DONG C，et al.Finding discriminative filters for specific degradations in blind super-resolution[C]//Advances in Neural Information Processing Systems.Online：Curran Associates Inc，2021.
-
[82] SCHETTINI R，CORCHS S.Underwater image processing：state of the art of restoration and image enhancement methods[J].EURASIP Journal on Advances in Signal Processing，2010，2010：1-14.
-
[83] ISLAM M J，ENAN S S，LUO P.Underwater image super-resolution using deep residual multipliers[C]//2020 IEEE International Conference on Robotics and Automation.Paris：IEEE，2020.
-
[84] WANG H，WU H，HU Q，et al.Underwater image super-resolution using multi-stage information distillation networks[J].Journal of Visual Communication and Image Representation，2021，77：103136.
-
[85] DUARTE A，CODEVILLA F，GAYA J D O，et al.A dataset to evaluate underwater image restoration methods[C]//OCEANS 2016.Shanghai：IEEE，2016.
-
[86] LI J，SKINNER K A，EUSTICE R M，et al.WaterGAN：unsupervised generative network to enable real-time color correction of monocular underwater images[J].IEEE Robotics and Automation Letters，2018，3（1）：387-394.
-
[87] MARQUES T P，ALBU A B，HOEBERECHTS M.A contrast-guided approach for the enhancement of low-lighting underwater images[J].Journal of Imaging，2019，5（10）：79.
-
[88] LI H Y，LI J J，WANG W.A fusion adversarial underwater image enhancement network with a public test dataset[EB/OL].[2019-06-30].https：//arxiv.org/abs/1906.06819.
-
[89] LI C Y，GUO C L，REN W Q，et al.An underwater image enhancement benchmark dataset and beyond[J].IEEE Transactions on Image Processing，2020，29：4376-4389.
-
[90] LIU R S，FAN X，ZHU M，et al.Real-world underwater enhancement：challenges，benchmarks，and solutions under natural light[J].IEEE Transactions on Circuits and Systems for Video Technology，2020，30（12）：4861-4875.
-
[91] HOU G J，ZHAO X，PAN Z K，et al.Benchmarking underwater image enhancement and restoration，and beyond[J].IEEE Access，2020，8：122078-122091.
-
[92] ISLAM M J，XIA Y Y，SATTAR J.Fast underwater image enhancement for improved visual perception[J].IEEE Robotics and Automation Letters，2020，5（2）：3227-3234.
-
[93] BERMAN D，LEVY D，AVIDAN S，et al.Underwater single image color restoration using haze-lines and a new quantitative dataset[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（8）：2822-2837.
-
[94] ZHU J Y，PARK T，ISOLA P，et al.Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//2017 IEEE International Conference on Computer Vision.Venice：IEEE，2017.
-
[95] QUEVEDO E，DELORY E，CALLICO G，et al.Underwater video enhancement using multi-camera super-resolution[J].Optics Communications，2017，404：94-102.
-
[96] LU H M，LI Y J，UEMURA T，et al.FDCNet：filtering deep convolutional network for marine organism classification[J].Multimedia Tools and Applications，2018，77（17）：21847-21860.
-
[97] LIU C W，LI H J，WANG S C，et al.A dataset and benchmark of underwater object detection for robot picking[C]//2021 IEEE International Conference on Multimedia & Expo Workshops.Shenzhen：IEEE，2021.
-
[98] ISLAM M J，EDGE C，XIAO Y Y.Semantic segmentation of underwater imagery：dataset and benchmark[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems.Las Vegas：IEEE，2020.
-
[99] CHEN Y，YANG B，XIA M，et al.Model-based super-resolution reconstruction techniques for underwater imaging[C]//Photonics and Optoelectronics Meetings：Optoelectronic Sensing and Imaging.Beijing：International Society for Optics and Photonics，2012.
-
[100] 陈龙彪，谌雨章，王晓晨，等.基于深度学习的水下图像超分辨率重建方法[J].计算机应用，2019，39（9）：2738-2743.
-
[101] 王海.基于深度学习的珊瑚礁鱼类图像超分辨率重建及检测[D].北京：北京交通大学，2020.
-
[102] 程娜.基于超分辨率的水下图像增强方法的研究[D].大连：大连海事大学，2019.
-
[103] 徐永兵，袁东，余大兵，等.多注意力机制引导的双目图像超分辨率重建算法[J].电子测量技术，2021，44（15）：103-108.
-
[104] ZHANG Y，YANG S X，SUN Y M，et al.Attention-guided multi-path cross-CNN for underwater image super-resolution[J].Signal Image Video Process，2022，16（1）：155-163.
-
[105] CHEN X L，WEI S Q，YI C，et al.Progressive attentional learning for underwater image superresolution[C]//13th International Conference on Intelligent Robotics and Applications.Kuala：Springer，2020.
-
[106] ISOLA P，ZHU J Y，ZHOU T H，et al.Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu：IEEE，2017.
-
[107] CHERIAN A K，POOVAMMAL E.A novel Alphasrgan for underwater image super resolution[J].Computers，Materials and Continuum，2021，69（2）：1537-1552.
-
[108] 袁红春，孔令栋，张闪闪，等.基于信息蒸馏机制的水下图像超分辨率重建算法[J/OL].激光与光电子学进展.[2022-11-15].http：//kns.cnki.net/kcms/detail/31.1690.TN.20220709.1728.006.html.
-
[109] DING X Y，WANG Y F，LIANG Z，et al.Towards underwater image enhancement using super-resolution convolutional neural networks[C]//9th International Conference on Internet Multimedia Computing and Service.Qingdao：ACM Press，2017.
-
[110] MOGHIMI M K，MOHANNA F.Real-time underwater image resolution enhancement using super-resolution with deep convolutional neural networks[J].Journal of Real-time Image Processing，2021，18（5）：1653-1667.
-
[111] CHENG N，ZHAO T T，CHEN Z Y，et al.Enhancement of underwater images by super-resolution generative adversarial networks[C]//10th International Conference on Internet Multimedia Computing and Service.Nanjing：ACM Press，2018.
-
[112] CHEN Y，SUN J X，JIAO W C，et al.Recovering super-resolution generative adversarial network for underwater images[C]//26th International Conference on Neural Information Processing.Sydney：Springer，2019.
-
[113] 陈浩.水下图像增强与超分辨率算法研究[D].绵阳：西南科技大学，2021.
-
[114] CHEN Y Z，NIU K L，ZENG Z F，et al.A wavelet based deep learning method for underwater image super resolution reconstruction[J].IEEE Access，2020，8：117759-117769.
-
[115] WANG L，XU L Z，TIAN W，et al.Underwater image super-resolution and enhancement via progressive frequency-interleaved network[J].Journal of Visual Communication and Image Representation，2022，86：103545.
-
[116] REN T D，XU H Y，JIANG G Y，et al.Reinforced Swin-Convs transformer for simultaneous underwater sensing scene image enhancement and super-resolution[J].IEEE Transactions on Geoscience and Remote Sensing，2022，60：1-16.
-
[117] LIU Z，LIN Y T，CAO Y，et al.Swin transformer：hierarchical vision transformer using shifted windows[C]//2021 IEEE/CVF International Conference on Computer Vision.Montreal：IEEE，2021.
-
[118] RONNEBERGER O，FISCHER P，BROX T.U-Net：convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention.Munich：Springer，2015.
-
[119] AGHELAN A.Underwater images super-resolution using generative adversarial network-based model [EB/OL].[2022-11-07].https：//arxiv.org/abs/2211.03550.
-
[120] 马文齐.基于深度学习的浮游生物图像超分辨率重建研究[D].济南：山东师范大学，2022.
-
[121] WANG L G，DONG X Y，WANG Y Q，et al.Exploring sparsity in image super-resolution for efficient inference[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021.
-
[122] LI J N，LIANG X D，WEI Y C，et al.Perceptual generative adversarial networks for small object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu：IEEE，2017.
-
[123] NOH J，BAE W，LEE W，et al.Better to follow，follow to be better：towards precise supervision of feature super-resolution for small object detection[C]//2019 IEEE/CVF International Conference on Computer Vision.Seoul：IEEE，2019.
-
[124] BAI Y C，ZHANG Y Q，DING M L，et al.SOD-MTGAN：small object detection via multi-task generative adversarial network[C]//15th European Conference on Computer Vision.Munich：Springer，2018.
-
[125] SAYED M，BROSTOW G J.Improved handling of motion blur in online object detection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021.
-
[126] 檀盼龙，吴小兵，张晓宇.基于声呐图像的水下目标识别研究综述[J].数字海洋与水下攻防，2022，（5 4）：342-353.
-
[127] SUNG M N，KIM J，YU S.Image-based super resolution of underwater sonar images using generative adversarial network[C]//2018 IEEE Region 10 Conference.Jeju：IEEE，2018.
-
[128] 梁雪灿.基于生成对抗网络的声学图像超分辨率研究[D].哈尔滨：哈尔滨工程大学，2019.
-
[129] HUA J，LIU M Z，WANG S J.A super-resolution reconstruction method of underwater target detection image by side scan sonar[C]//2nd International Conference on Control，Robotics and Intelligent System.Qingdao：ACM Press，2021.
-
[130] FELDENS P.Super resolution by deep learning improves boulder detection in side scan sonar backscatter mosaics[J].Remote Sensing，2020，12（14）：2284.
-
[131] FAN Y W，ZHU C M.Super-resolution reconstruction of underwater sonar image based on multi-scale feature fusion[C]//2nd International Conference on Control and Intelligent Robotics.Nanjing：ACM Press，2022.
-
[132] OUYANG D H，LI Y Z，WANG Z Z.Channel estimation for underwater acoustic OFDM communications：an image super-resolution approach[C]//2021 IEEE International Conference on Communications.Montreal：IEEE，2021.
-
摘要
图像超分辨率重建旨在从低分辨率图像中生成包含高频细节的高分辨率图像。随着近年来人工智能的快速发展，基于深度学习的超分辨率重建算法取得了突破性进展。然而，水下光学图像通常会产生严重的颜色失真、细节缺失、对比度下降与模糊等多种退化问题，重建难度远高于常规的自然光学图像。目前尚未有文献对基于深度学习的水下光学图像超分辨率重建进行系统性综述。首先，对自然图像退化方式和数据集进行分类总结，结合国内外最新研究现状将基于深度学习的单幅图像超分辨率重建算法分为针对一般退化、已知（非盲）多种退化、未知（盲）多种退化 3 个方面进行详细总结，为水下应用场景提供参考。然后，介绍了水下光学图像退化方式，归纳了常见的公开数据集，总结并分析了水下光学图像超分辨率重建的最新进展。最后，对该领域未来可能的发展趋势进行了展望。
Abstract
Image super-resolution reconstruction aims to generate high resolution images containing high-frequency details from low resolution images. With the rapid development of artificial intelligence in recent years，the super-resolution reconstruction algorithm based on deep learning has made a breakthrough. However， underwater optical images usually have many degradation problems，such as serious color distortion，missing details， contrast reduction and blurring，which makes their reconstruction much more difficult than that of conventional natural optical images. At present，there is no systematic review of underwater optical image super-resolution reconstruction based on deep learning. First of all，the natural image degradation methods and data sets are classified and summarized. Combining with the latest research at home and overseas，the single image super-resolution reconstruction algorithm based on deep learning is summarized from 3 aspects：general degradation method， non-blind multiple degradation method，and blind multiple degradation method，which provides reference for underwater application scenarios. Then，the degradation mode of underwater optical image is introduced，the common open data sets are summarized，and the latest progress of underwater optical image super-resolution reconstruction is summarized and analyzed. Finally，the possible future development trend of this field is prospected.
