-
0 引言
-
地球上最重要的资源就是海洋，人们一直注重对海洋的开发与探索。随着水下机器人技术的不断更新，近几年，该技术广泛应用在水下科研、水产养殖自动化等领域，由此可见，水下机器视觉尤为重要。水下图像识别主要通过光视觉和声视觉。其中声视觉距离最远，但识别率不高，近距离识别技术发展受限，光视觉的优势在于分辨率高，实时性好，识别率高，现有算法应用空间较大。然而，由于水下环境复杂，水下识别效果不如大气环境下的识别效果，这一直是水下图像识别领域的研究重点。
-
由于水下环境复杂多变，水中悬浮物众多，摄像头成像常常伴随着颜色偏移、失真和对比度低的情况，以水下机器人为载体的目标检测方法也面临很多挑战。
-
本文主要内容是介绍图像采集、图像预处理和图像检测这 3 类方法。
-
1 水下图像采集方法
-
水下图像采集方法对水下图像进行识别，首先要收集目标的图像或视频，并将他们整理成数据集。一般的图像或视频可通过水下机器人或者固定的摄像设备在水中进行拍摄，也可以通过互联网采集。
-
FAN[1]等人在文中使用的数据，是从美国国家海洋局和大气管理局的官网及其他网站收集得到的，包括鱼、蟹、水生植物和海星等，共 1 209 张图片。同样，LI[2]等人是在 Unsplash1 和 Google Images2 上搜索关键词：海洋动物、水下伪装的动物、不引人注目的动物、伪装的鱼等。这种方式虽然不需要摄影设备，且收集起来比较迅速，但是图片质量参差不齐，和预期要求有差别。因此，还是需要使用设备进行采集数据。
-
SHAKIL[3]等人用自己的运动相机从水下捕捉视频。在罐子里面装满水，然后放入物体，拍摄视频。相较网络搜索的方式，这种方式可以更好的满足实验需求。为了更好地接近真实环境，GALCERAN[4] 等人采用水下机器人（ROV）在近海进行拍摄，拍摄对象包括海底水草，鱼类，扇贝等水生生物，拍摄图片达 1 000 张。在文献[5]中，大连理工大学将 22 个防水摄像机安装在 10 m×10 m 的方形框架上，框架位于海床上方 0.5 m 处。该方法采集的数据种类多且真实，能为多角度算法评估所使用。
-
2 水下图像预处理
-
图像预处理的目的是提高识别效果，通过消除图像中无关的信息并恢复有用的真实信息。一般的图像预处理分为图像增强和图像复原。
-
2.1 图像增强
-
为了强化图像中的目标特征，区分目标与背景，改善接下来机器识别或者人眼识别的基础，图像增强是必不可少的步骤。图像增强方法是对图像进行数字处理，不需要对水下光学特性进行建模，但有可能损失部分图像信息。通过研究现有图像增强方法，得出几种常见的水下图像增强方式：扩充样本处理方法、直方图处理方法、频率域方法和深度学习的增强方法。
-
2.1.1 扩充样本处理方法
-
为解决训练样本少的问题，传统方法通过对图像进行翻转、对比度和饱和度调整等操作扩充训练样本，增加了训练样本的多样性，从而能在一定程度上提升识别精确度。
-
针对水下图像样本数量少及种类不平衡的问题，Alexnet[6]在分辨率为 256×256 的数据集图像中遍历地选取 224×224 大小的图像，并对图像做了水平翻转操作，从而将训练集扩充了 2 048 倍。同样， ANDRE[7]等人，以 0.5 的概率对图像进行水平翻转，并将图像大小调整到最小（800）和最大（1 300） 的像素范围内，并对图像归一化。但此类操作增加的图像仅是对原始图像质量的改变，识别精确度提升不明显。
-
2.1.2 直方图处理方法
-
基于直方图处理方法是通过改善图像像素值的分布范围提高对比度。
-
水体对光的衰减作用致使水下图像的 RGB 三通道分布不均，研究人员使用直方图均衡化方法对图像颜色通道进行处理。FENG[8]等人设计了一种基于红色通道校正的水下突出物检测方法，对水下图像的红色通道分量进行加权和校正，然后用校正后的 3 个 RGB 分量来构建四元组，通过 PQFT 方法进行突出目标检测计算，最后得到突出目标图像。针对算法对 RGB 通道单独处理，会造成颜色偏差，引入多余的噪声。林森[9]提出利用相对总变差模型将图像分解为结构层与纹理层，将直方图平衡算法和滤波算法集合，利用 sobel 梯度平滑法和增强纹理层细节，最后直接融合获得清晰的水下图像。而直方图拉伸法利用变换函数将像素值从一个区间变换到另一个区间，计算复杂程度低。在文献[10]中，鉴于最大的信息保留机制，LI 等人通过恢复水下图像的内在可见度，利用了一种对比度增强算法及拉伸法。它从直方图分布的角度暗示了一种超越性的对比度增强程序，以突出水下图像的阴影和亮度。
-
2.1.3 频率域方法
-
频域的图像处理方法用来处理图像中的噪声。在采集过程中图像通常会伴有噪声，体现在频率域就成为高、低频噪声。为了去除噪音，基于频域的处理方式将图像转换至频率域，以此分析不同频率噪声特性并且调整不同的频率分量。此外，还有一些方法将空间滤波和空间信息结合，不仅能去噪，还能最大程度保留图像信息。滤波算法常结合其他算法来增强效果。LU 等人[11]设计了一个引导式三角双边滤波器增强算法来补救主要的减少，目的是解决归因于水的颜色失真、吸收和散射的图像退化问题。后来 LU 等人[12]设计了一个对比性的水下增强算法，该算法结合高通滤波、同态滤波等，利用带有光谱特征的局部自适应滤波的色彩校正方案来恢复失真的色彩。这个框架可以生成具有整体性的水下图像，同时保持目标的局部特征。
-
2.1.4 深度学习方法
-
近些年来，深度学习方面的技术不断进步，因为其强大的特征学习能力，研究人员不断采用深度学习以完成各类视觉任务。
-
预处理方法可以分为与物理模型结合的深度学习方法和不结合物理模型的深度学习方法。前者会受到物理模型的约束，降低其适应性，常见的有 GAN 和 CNN 结合物理模型方法；刘有用等人提出了一种基于生成对抗网络的水下目标快速识别算法[13]。他们利用 GAN 理论截取训练样本中数目少的类别目标图像，生成对抗网络和大量异构的目标图像，并将它们融合到背景图像中作为训练样本，与传统扩充样本相比，该方法能丰富目标信息，有效扩充训练样本集。后来，PANETTA[14]等人基于 CNN 理论，将视觉数据从水下域转化为增强/清晰的水下域，改善跟踪器在水下数据上的性能。而非物理模型的深度学习方法则拥有良好的适应性，不需要建立数学模型，只利用 GAN 和 CNN 方法。面对水下环境，水的吸收和散射通常会导致水下成像的负面影响。在文献[15]中，HE 等人根据颜色转移理论提出了一个图像增强模型，以及一个基于 CNN 的脉冲耦合神经网络（PCNN）被应用于同时改善黑暗区域的视觉外观。PARK 等人[16]基于 CycleGAN 模型，加一对鉴别器以在增强图像的同时保留输入图像的内容。同时引入了一种自适应加权方法来限制 2 种类型鉴别器的损失，以稳定训练过程。
-
图1 GAN 网络增强方法
-
Fig.1 GAN network enhancement method
-
图像增强方法从扩充数据集出发，可能会有某种程度的色彩异常和图像信息丢失，甚至放大噪声等缺点。在没有具体光照约束的条件下，很多使用的颜色校正算法缺少统一比较，而且对比度的改善方法也许只对一种特殊问题有效。频率域处理方法虽然能有效去除部分低频噪声，但是针对不同水域情况，滤波器处理效果不稳定，无法对水下的色偏进行校正。而深度学习方式，网络结构复杂，训练耗时，对不同水域适应较差，仍然需要不断改进。
-
2.2 图像复原
-
水下图像复原的目的是重建或恢复由复杂的水下环境中的不利因素引起的退化图像过程，包括相机和物体的相对运动、水下散射的光学成像机制、湍流、失真、光谱吸收和衰减等。
-
为了消除光透射辐射的干扰，BARROS 等人[17] 提出了一种有效的方法，借助于光传播物理模型来恢复水下图像的细节。在这个模型中，他们旨在减少后向散射场的衰减和退化，因为散射和水的流动性经常对水下成像造成严重影响。王国霖[18]通过红色暗通道先验求得后向散射分量透射率，逆求解双透射率水下成像模型获得复原图像。
-
为了克服水下环境复杂的局限性，ZHANG 和 PENG[19]通过对水下成像和光源的特性建模，提出了一种水下介质传输方法，用于图像修复。杜雪等人[20]提出了一种图像驱动的实验方法，可以通过测量 MTF 来获得 PSF。随后利用反卷积进行图像盲恢复，不同参数可以适用于实验室、海洋和湖泊等环境，提升了算法适应范围。
-
水下图像修复方法主要是对真实图像进行修复，简单的水下成像数学模型的泛化能力比较弱。面对不同的光照和水域环境，参数估计算法复杂，修改效果差。基于光学特性的方法主要是模拟水下光学和粒子之间的关系，在某些环境下可以真正还原图像。然而，由于水下光学的复杂关系，单一的光学模型仍有一定的局限性。
-
3 水下图像检测算法
-
水下目标检测是针对给定的水下图像数据进行数字计算，通过算法确认图像中目标的位置和大小，随后进行识别和分类。根据目标类型可将其分为基于传统特征的水下目标检测识别和基于深度学习网络的水下目标检测识别。
-
3.1 传统水下目标识别
-
传统的水下目标识别方法包含图像预处理、目标提取、特征描述和分类器设计等步骤。其中最主要的 2 部分是特征选择和提取、特征分类训练。
-
3.1.1 特征选择和提取
-
1）颜色特征。
-
为了颜色特征提取，BAZEILLE[21]提出了一种可以通过颜色识别物体的方法。在该方法中，图像被分为对象颜色兼容的区域和背景区域，而且集合图像序列实现了水下图像识别，不仅能很好地表达目标特征，还能减少计算量。SWAIN 和 BALLARD[22] 提出利用颜色直方图对图像颜色特征进行表示，颜色直方图在颜色空间中对颜色进行量化，再计算每个分量占整幅图像颜色的比例。
-
2）形状特征。
-
根据形状特征提取，HU[23]提出一种对旋转，缩放和平移不变性的不变矩，HU 不变矩对大的形状识别率较高，但是缺少细节的描述。之后，张铭钧[24]等人提出基于改进的 HU 氏不变矩提取形状特征的方法，该方法依据摄像头的径向畸变模型重新恢复目标像素坐标与其灰度值的映射关系，构造出新的具有平移、缩放和旋转不变形的形状特征向量。
-
3）纹理特征。
-
针对纹理特征提取，SHI[25]利用灰度共生矩阵计算能量，对比度，熵，逆矩，相关性和同质性，通过纹理特征来训练支持向量机分类器，成功识别水下养殖网箱。TUCERYAN 和 JAIN[26]将纹理特征提取方法分为统计方法、几何方法、结构方法、模型方法和信号处理方法等五类。
-
3.1.2 水下目标检测分类器
-
分类器是将目标特征参数转化为具体分类结果的算法，分类器的设计是目标识别的最终步骤。 WANG[27]对 DPM 进行离线训练，采用多核跟踪方法将同一对象关联到连续帧上，从视频数据中检测鱼类。聚类算法是一种无监督算法，通过挖掘样本自身之间的关联而进行划分。YIRU[28]等提出一种将马尔科夫随机场模型与聚类模型相融合的方法，结合区域标记与局部特征，实现了快速水下分割。
-
受水生动植物、水流扰动的影响，传统方法在目标提取时会提取出大量非目标区域和边缘，且基于人工选取的特征进行分类，方法鲁棒性差，目标识别效果不理想。
-
3.2 深度学习目标识别
-
随着设备等硬件系统逐渐发展，技术也越来越成熟，深度学习面临的数据量异常庞大，训练时间冗长的问题得到了有效解决，基于深度学习的目标检测与识别技术发展迅速。为了进一步提高深度网络在不同试验任务的识别精度，很多研究人员在算法和模型的基础上进行改进，如表1 所示。
-
针对水下图像数据集中的物体大小不均匀、模糊不清等问题。TAN[29]提出一个轻量级的水下物体检测模型，该模型用基于深度可分离卷积技术的瓶颈模块取代了传统的骨干网络的卷积模块，然后将其增加到 3 个特征通道。该模型有更轻的尺度、更高的实时性和更好的 MAP 检测精度。强伟[30]等人提出一种基于突出物体检测（SOD）改进的模型，他们将模糊度线索融合到 SOD 的 RGB 流中，以减少图片模糊。同时期，ZHANG[31]等人提出了一种基于 SSD 算法的多尺度特征融合单次多箱检测器 （MFFSSD），该算法同时引入注意力模块和进行多尺度特征融合，以此可以改善检测水下小目标的效果。
-
由于水下的颜色吸收和散射的某些因素，即水的特性和杂质，会影响水下成像设备捕获的照片的质量。在文献[32]中，朱世伟等人对 YOLOv5 模型进行优化，调整优化器、学习率和动量调谐，生成一个用于水下检测的鲁棒性 YOLO 模型。为了更好的适应水下光照环境，HAO[33]在 Yolov4 的骨干网络中加入了深度可分离卷积和一个新的模块 （EASPP，空间金字塔池），并增加了 152×152 特征图。与原始的 YOLOv4 模型相比，识别效果显著。王璐[34]等人提出了一种基于 Faster R-CNN 模型的改进算法，他们将 Faster R-CNN 框架与 NASNet-A 骨干网结合起来，能改善 Faster R-CNN 识别水下重叠物体。
-
4 结束语
-
在这篇文章中，我们简要回顾了水下图像目标检测流程的研究，这些科研成果极大的有益于水下图像目标检测的发展。但是仍有些不足之处，总结文献中使用的方法，提出未来水下图像目标识别发展趋势。
-
1）提高图像采集的清晰度。由于不同地域的水下环境皆不同，研究全水域通用的采集方法不切实际，未来可以将不同环境进行分类，针对不同环境，不同水域特性开发能够适用不同科研的水下图像采集方法。
-
2）提高水下图像预处理的实时性。深度学习的预处理方法，结构复杂且耗时，不能保证实时性，所以，设计一个高效实时的深度学习模型是未来的重点。
-
3）提升算法的实时性与鲁棒性。现有的水下图像处理算法复杂程度高，无法应用于实时作业中，随着硬件系统的处理速度提升，发展视频图像处理技术是水下机器人未来的一大趋势。
-
参考文献
-
[1] FAN H D，ZHU D Q，LI Y H.An improved Yolov5 marine biological object detection algorithm[C]//2021 2nd International Conference on Artificial Intelligence and Computer Engineering（ICAICE）.Hangzhou：IEEE，2021.
-
[2] LI L，DONG B，RIGALL E，et al.Marine animal segmentation[J].IEEE Transactions on Circuits and Systems for Video Technology，2022，32（4）：2303-2314.
-
[3] AHMED S，KHAN M F R，LABIB M F A，et al.An observation of vision based underwater object detection and tracking[C]//2020 3rd International Conference on Emerging Technologies in Computer Engineering：Machine Learning and Internet of Things（ICETCE）.Delhi：IEEE，2020.
-
[4] GALCERAN E，DJAPIC V，CARRERAS M，et al.A real-time underwater object detection algorithm for multi-beam forward looking sonar[J].IFAC Proceedings Volumes，2012，45（5）：306-311.
-
[5] LIU R S，FAN X，ZHU M，et al.Real-world underwater enhancement：challenges，benchmarks，and solutions under natural light[J].IEEE Transactions on Circuits and Systems for Video Technology，2020，30（12）：4861-4875.
-
[6] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Imagenet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.
-
[7] JESUS A，ZITO C，TORTORICI C，et al.Underwater object classification and detection：first results and open challenges[C]//OCEANS 2022.Chennai：IEEE，2022.
-
[8] FENG H，XU L Z，YIN X H，et al.Underwater salient object detection based on red channel correction[C]//2021 IEEE 2nd International Conference on Big Data，Artificial Intelligence and Internet of Things Engineering（ICBAIE）.Nanchang：IEEE，2021.
-
[9] 林森，迟凯晨，唐延东.基于复原结构与增强纹理融合的水下图像清晰化[J].控制与决策，2022（3）：635-644.
-
[10] LI C Y，GUO J C，CONG R M，et al.Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[J].IEEE Transactions on Image Processing，2016，25（12）：5664-5677.
-
[11] LU H M，LI Y J，SERIKAWA S.Underwater image enhancement using guided trigonometric bilateral filter and fast automatic color correction[C]//2013 IEEE international conference on image processing.Melbourne：IEEE，2013.
-
[12] LU H M，LI Y J，ZHANG L F，et al.Contrast enhancement for images in turbid water[J].JOSA A，2015，32（5）：886-893.
-
[13] 刘有用，张江梅，王坤朋，等.不平衡数据集下的水下目标快速识别方法[J].计算机工程与应用，2020，56（17）：236-242.
-
[14] PANETTA K，KEZEBOU L，OLUDARE V，et al.Comprehensive underwater object tracking benchmark dataset and underwater image enhancement with GAN[J].IEEE Journal of Oceanic Engineering，2021，47（1）：59-75.
-
[15] HE K J，WANG R X，TAO D P，et al.Color transfer pulse-coupled neural networks for underwater robotic visual systems[J].IEEE Access，2018，6：32850-32860.
-
[16] PARK J，HAN D K，KO H，et al.Adaptive weighted multi-discriminator CycleGAN for underwater image enhancement[J].Journal of Marine Science and Engineering，2019，7（7）：200.
-
[17] BARROS W，NASCIMENTO E R，BARBOSA W V，et al.Single-shot underwater image restoration：a visual quality-aware method based on light propagation model[J].Journal of Visual Communication and Image Representation，2018，55：363-373.
-
[18] 王国霖，田建东，李鹏越.基于双透射率水下成像的图像颜色校正[J].光学学报，2019，39（9）：9-10.
-
[19] ZHANG M H，PENG J H.Underwater image restoration based on a new underwater image formation model[J].IEEE Access，2018，6：58634-58644.
-
[20] 杜雪，廖泓舟，张勋.基于深度卷积特征的水下目标智能识别方法[J].水下无人系统学报，2019，27（3）：260-265.
-
[21] BAZEILLE S，QUIDU I，JAULIN L.Identification of underwater man-made object using a colour criterion[C]//Conference on Detection and Classification of Underwater Targets.Brest：Institute of Acoustics，2007.
-
[22] SWAIN M J，BALLARD D H.Color indexing[J].International Journal of Computer Vision，1991，7（1）：11-32.
-
[23] HU M K.Visual pattern recognition by moment invariants[J].IRE Transactions on Information Theory，1962，8（2）：179-187.
-
[24] 张铭钧，张丽，万媛媛.基于特征融合的水下目标识别方法[J].哈尔滨工程大学学报，2011，32（9）：1190-1195.
-
[25] SHI X T，HUANG H，WANG B，et al.Underwater cage boundary detection based on GLCM features by using SVM classifier[C]//2019 IEEE/ASME International Conference on Advanced Intelligent Mechatronics（AIM）.Hong Kong：IEEE，2019.
-
[26] TUCERYAN M，JAIN A K.Texture analysis[J].Handbook of Pattern Recognition and Computer Vision，1993：235-276.
-
[27] WANG G，HWANG J N，WILLIAMS K，et al.Closed-loop tracking-by-detection for ROV-based multiple fish tracking[C]//2016 ICPR 2nd Workshop on Computer Vision for Analysis of Underwater Imagery（CVAUI）.Cancun：IEEE，2016.
-
[28] WANG Y R，FU L Q，LIU K X，et al.Stable underwater image segmentation in high quality via MRF model[C]//OCEANS 2015-MTS/IEEE Washington.Washington：IEEE，2015.
-
[29] TAN C，CHEN D D，HUANG H J，et al.A lightweight underwater object detection model：FL-YOLOV3-TINY[C]//2021 IEEE 12th Annual Information Technology，Electronics and Mobile Communication Conference（IEMCON）.Vancouver：IEEE，2021.
-
[30] 强伟，贺昱曜，郭玉锦，等.基于改进SSD的水下目标检测算法研究[J].西北工业大学学报，2020，38（4）：747-754.
-
[31] ZHANG J S，ZHU L L，XU L H，et al.MFFSSD：an enhanced SSD for underwater object detection[C]//2020 Chinese Automation Congress（CAC）.Shanghai：IEEE，2020.
-
[32] ISA I S，ROSLI M S A，YUSOF U K，et al.Optimizing the hyperparameter tuning of YOLOv5 for underwater detection[J].IEEE Access，2022：52818-52831.
-
[33] WANG H，XIAO N F.Research on underwater object detection based on improved YOLOv4[C]//2021 8th International Conference on Information，Cybernetics，and Computational Social Systems（ICCSS）.Beijing：IEEE，2021.
-
[34] 王璐，王雷欧，王东辉.基于Faster-RCNN的水下目标检测算法研究[J].网络新媒体技术，2021，10（5）：43-51，58.
-
[35] WANG H，SUN S X，WU X H，et al.A YOLOv5 baseline for underwater object detection[C]//OCEANS 2021.San Diego：IEEE，2021.
-
[36] LI Y，ZHU D，FAN H D.An improved faster RCNN marine fish classification identification algorithm[C]//2021 2nd International Conference on Artificial Intelligence and Computer Engineering（ICAICE）.Beijing：IEEE，2021.
-
[37] LI X H，XIA X，HU Z H，et al.Intelligent detection of underwater fish speed characteristics based on deep learning[C]//2021 5th Asian Conference on Artificial Intelligence Technology（ACAIT）.Haikou：IEEE，2021.
-
摘要
在海洋开发的环境下，水下物体探测技术得到广泛应用，随着水下机器人与计算机技术的发展，该技术越来越受到研究人员的重视。根据当前的水下图像目标检测研究进展，简要介绍水下图像目标检测流程（即图像采集、图像的预处理、以及图像检测的方法），对总结发展现状、发现技术的不足及挖掘未来的研究方向有重要意义。针对基于光学图像的水下目标识别问题，论述了图像采集、图像的预处理、以及图像检测等方面的主要进展，阐述了基于深度学习实现水下图像目标识别的技术发展现状。通过对水下目标处理过程的讨论和分析，指出水下图像目标识别领域中需要解决的问题，并预测该领域技术发展趋势。
Abstract
In the environment of marine exploitation，underwater object detection technology is widely used. With the development of underwater robotics and computer technology，this technology is receiving more and more attention from researchers. According to the current research progress of underwater image target detection，a brief introduction of the underwater image target detection process（i.e.，image acquisition，image pre-processing and image detection methods ） is important for summarizing the current development status ， discovering the shortcomings of the technology and exploring future research directions. The main advances in image acquisition， image pre-processing and image detection are discussed for the problem of underwater target recognition based on optical images，and the current development state of underwater image target recognition technology based on deep learning is described. By discussing and analyzing the process of underwater target processing，we point out the problems that need to be solved in the field of underwater image target recognition and predict the technical development trend in this field.
