-
0 引言
-
海洋中尺度涡[1,2]是指直径在几十到几百千米、存在时间在几十天到半年以上的天气式海洋涡旋,是一种在各大洋中普遍存在的重要海洋现象。海洋中尺度涡的运动过程中携带着极大的动能[3-4],同时伴随着温度、盐度的变化,对海洋中的物质运输、热量传递、海洋生物的分布产生了很大的影响。研究海洋中尺度涡的分布、结构及运动特性在多个空间信息领域(包括水文、气象、生态环境、海洋声学等)具有重要意义[5-7]。
-
基于中尺度涡的海面高度、海水温度、海水盐度、流场等海洋要素的不同特征,国内外学者开展了大量关于中尺度涡的检测分析工作。其中基于物理特征的 Okubo-Weiss(OW)算法[8-9]、基于流场几何特征的 Winding-Angle(WA)算法[10]和 Vector Geometry 算法[11]等传统方法,过度依赖阈值和判断依据的设置,且所需计算力庞大,故不能很好地适应复杂多变的海洋环境,缺乏泛化性和可迁移性。近年来不断崛起的人工智能方法在各个领域都有令人惊艳的表现,这也给中尺度涡的检测研究提供了新的思路。沈飙等[12]基于 Mask-RCNN 算法,利用多模态信息进行定位、分类和实例分割,能够有效提取中尺度涡的特征;谢鹏飞等[13]提出了 EddyYolo 目标检测模型,实现了对涡旋中心和涡旋水平尺度的多目标检测;LGUENSAT 等[14]基于 U-Net 架构,提出了用于中尺度涡特征提取的 EddyNet 实例分割模型;XU[15]在涡旋检测方法中采用了能够满足语义和细节相融合的金字塔场景解析网络 PSPNet 作为核心算法,有效地适应了多尺度海洋涡旋的分割问题;芦旭熠[16]将 YOLO v3 模型应用于涡旋检测,可以直接输出目标类别和目标检测框,提升了检测速度。但上述方法中对涡旋三维结构的剖析并不深入,在检测的精度和速度上也有待提高。同时国内外在人工智能算法方面对于涡旋三维结构的研究工作较少,如 ZHANG 等[17] 于 2019 年首次探索了特征海洋流三维结构的可视化算法,但构造的涡旋结构不够直观。
-
YOLO(You Only Look Once)算法在 2016 年由 LGUENSAT [18]首次提出,相比于二阶段模型准确率高但速度较慢的特点,YOLO 算法能够直接从图片中寻找可能存在目标物体的位置,极大地提升了目标检测速度,甚至能够实现实时检测。本文将 YOLO v5s 模型应用到中尺度涡旋的检测中,在保证检测速度的同时提高了检测精度。基于每层通过 YOLO 算法识别的涡旋,本文构建了更加清晰的中尺度涡三维立体结构。
-
图1 为中尺度涡三维结构构建流程图。首先对流场 UV 数据进行流线化生成流线图后,对其进行标注形成涡旋数据集,进而训练 YOLO v5s 模型并进行中尺度涡检测,应用涡旋检测结果进行中尺度涡三维构建。
-
图1 中尺度涡三维结构构建流程图
-
Fig.1 Research route of mesoscale eddies
-
1 基于 YOLO v5s 的中尺度涡检测
-
1.1 YOLO v5s 模型
-
YOLO v5s 网络结构如图2 所示,主要由输入端(Input)、骨干网络(Backbone)、检测颈(Neck) 和预测输出端(Prediction)4 个部分组成。网络输入端采用了 Mosaic 数据增强、自适应锚框计算和自适应图片缩放,对小目标检测非常友好,能够极大限度地简化训练过程。在骨干网络中主要采用了 Focus、C3 及 SSP 结构:输入图像通过 Focus 结构进行切片,减小高度和宽度的同时,增加了图像通道数;骨干网络中采用的 C3 结构为 BottleneckCSP1,用于提取图像的深度语义信息;SPP 空间金字塔池化结构可以增强特征图的特征表达能力,有效提升模型精度。检测颈部分使用的 C3 结构为 BottleneckCSP2,与骨干网络中的并不相同,用于融合不同尺度的特征图来丰富语义信息,减少模型的参数量。预测输出端同时输出 3 个尺度的预测图,可以检测不同大小的目标。
-
图2 YOLO v5s 网络结构图
-
Fig.2 YOLO v5s network structure diagram
-
1.2 涡旋检测
-
1.2.1 涡旋数据集的获取与制作
-
实验数据来自哥白尼海洋环境监测服务中心 (CMEMS)提供的全球海洋再分析数据(GlobalOcean Reanalysis),该数据空间范围覆盖全球,时间跨度自 1993 年 1 月 1 日至 2020 年 5 月 31 日,空间分辨率为 0.083°。本文实验选择了 2019 年中国南海区域(北纬 3°~22°,东经 105°~118°)深度为 50 层(–0.49~–5727.9 m)的日平均数据,并利用 MATLAB 软件工具对获取到的 50 层 UV 数据进行流线可视化,图3 所示为实验海域 UV 流线图部分示例图,右下角为其对应层数。其中:U 为海流速度的向东分量,V 为海流速度的向北分量。
-
利用 labelImg 标记工具对 2019 年 1 月份的 UV 流线图数据进行中尺度涡旋标记,标签内容为样本类别、样本的中心点坐标(图片左上角为原点)、标记框的长和宽。其中海洋数据深度为 50 层,故标记 31天50层共1 550张数据图片作为涡旋图片数据集。
-
图3 中国南海海域 2019 年 1 月 15 日不同深度 UV 流线图
-
Fig.3 UV flow chart of different depths in the South China Sea on January 15,2019
-
1.2.2 实验参数与评价指标
-
本文实验采用的 GPU 为 NVIDIA GeForce GTX 1650,网络模型基于 Pytorch 框架搭建,CUDA 版本为 10.2,Python 版本为 3.8,Pytorch 版本为 1.7.0。本文实验中采用精确率(Precision)、召回率(Recall)、以及 IoU 阈值取 0.5 时的平均 AP (mAP@0.5)作为评价指标,具体计算公式如下:
-
式中:TP 为输入正样本且预测为正样本的样本数量;FP 为输入正样本且预测为负样本的样本数量; FN 为输入负样本且预测为正样本的样本数量;k 为样本类别数量。
-
1.2.3 检测结果分析与数据迁移
-
实验按照 8︰2 的比例将中尺度涡数据集分为训练集和验证集进行训练,即训练集样本数量为 1 240 张,验证集样本数量为 310 张。模型训练过程中的精确率、召回率以及平均检测精度均值如图4 所示,可以看出经过 80 个 epoch 后,Precision、 Recall 和 mAP@0.5 曲线上升趋势均趋于平缓。本文还将 Faster-RCNN、SSD、Retina-Net 以及 YOLO v5s 等目标检测模型在同一数据集下进行训练后,在测试集上对平均检测精度均值 mAP@0.5 进行对比,对比结果如表1,可以看出 YOLO v5s 模型在检测精度上具有很大的优势。
-
图4 Precision、Recall、mAP@0.5 曲线
-
Fig.4 Precision,Recall,mAP@0.5 curves
-
图5 所示为部分实验检测结果图,检测信息包括检测框、检测类别以及对应的置信度,右下角为其对应的层数。从图中可以看到,UV 流线图涡旋特征较为清晰,易于判别,且随着深度的增加,流线逐渐减少,涡旋尺寸减小但数量逐渐增多。实验结果表明,YOLO v5s 卷积网络训练得到的模型对海洋中尺度涡的检测具有较好的适用性。
-
为了证明训练得到的模型对 UV 流线图涡旋检测的适用性及可迁移性,本文还对西北太平洋海域 (北纬 10°~55°,东经 120°~180°)的 UV 数据实现流线可视化的基础上进行了涡旋检测,检测效果图如图6 所示。该海域的涡旋尺寸小、数量繁多且分布密集,但从图6 可以看出,YOLO v5s 模型对其他海域的涡旋检测也有不错的效果。
-
2 中尺度涡三维结构构建
-
2.1 三维中尺度涡判断同一性方法
-
根据之前介绍的中尺度涡检测方法,本文利用 YOLO v5s 卷积神经网络训练得到的最优模型,对 2019 年度南海海域日平均 50 层海洋流场数据进行涡旋检测,并对每层检测出来的涡旋判断同一性后进行三维结构的构建。在涡旋检测过程中,设置参数输出模型检测出的每个涡旋的中心点坐标、检测框的长宽尺寸,依据得到的信息进行涡旋同一性判断,以同一时刻两相邻深度层之间的涡旋为例。
-
图5 南海海域 2019 年 1 月 15 日不同深度部分涡旋检测效果图
-
Fig.5 Effect map of eddy detection at different depths in the South China Sea on January 15,2019
-
图6 西北太平洋涡旋检测效果图
-
Fig.6 Effect map of eddy detection in the Northwest Pacific
-
具体方法如下:
-
步骤 1:经过模型检测并输出结果后,得到了 2 个相邻深度层之间检测出的所有涡旋的相关信息,包括中心点坐标及检测框的长宽尺寸。
-
步骤 2:选取其中一层的某个涡旋,采用最近邻法在另一层中找出中心点坐标与之最近的涡旋,如公式 4,其中dmin 为 2 中心点之间的距离,和分别为中心点的坐标。
-
步骤 3:由于涡旋形状大多为不规则椭圆,我们采用椭圆公式计算涡旋面积 S,式(5)为椭圆面积计算公式,假设检测框的长为椭圆的长轴长度 a,宽为椭圆的短轴长度 b。然后判断中心点距离最近的 2 个涡旋之间面积的重合度,其中 S1、S2 分别为 2 个涡旋的面积,r 为二者之间的比值,本文中设置比值的临界阈值为 0.5,即若比值 r 大于 0.5,则认为二者属于同一涡旋,若比值 r 小于 0.5,那么认为二者不属于同一涡旋,并判定上层涡旋已经中断。若涡旋的下一层有 2 个涡旋与之重叠,则比值 r 大的与该涡旋判断为同一涡旋。图7 所示为自上而下的三维中尺度涡构建示意图,从 Lev1 开始逐层往下遍历,经计算得到 S1 与 S2 属于同一涡旋。
-
图7 自上而下的三维中尺度涡构建
-
Fig.7 Three-dimensional top-down eddy construction
-
2.2 涡旋三维结构构造方法
-
对已经判断为同一三维涡旋的每一层二维识别涡旋,导出其位置及尺寸信息并进行三维涡旋可视化。为了在涡旋的三维结构中最大程度地保留涡旋的基本特征,本文利用三维涡旋信息中的中心点坐标及检测框尺寸,得到不同深度层的单个涡旋在该层检测图中的具体位置,批量处理后得到每一层的单个涡旋图,并将图中白色部分透明化处理后进行深度层叠加,由于深度数据达到水下约 5 000 m,且深度层间隔不均匀,为了得到更清晰的可视化效果,z 坐标深度用 0~–50 层表示。同时为了更加清晰地了解三维涡旋的立体结构,本文还将每个二维涡旋根据其相关尺寸信息做椭圆后,同样进行了叠加,并勾勒轮廓得到对应立体涡旋的直观化涡旋形状,如图8 所示。实验还发现,中尺度涡旋在海洋中呈现出各种不同的类似于椭圆柱体的三维立体结构,如螺旋形柱体、梭形柱体等。
-
图8 中尺度涡三维结构图
-
Fig.8 Three-dimensional structure diagram of a mesoscale eddy
-
3 结束语
-
本文首先将海洋流场 UV 数据集进行流线可视化,利用 labelImg 标记工具对 2019 年 1 月份的 UV 流线图数据进行标注制作了涡旋数据集,随后利用 YOLO v5s 卷积神经网络训练出了一种中尺度涡自动检测模型,该模型对海洋中尺度涡的检测具有较好的适用性,最后对检测出的二维涡旋进行了同一性判断,利用判断隶属于同一涡旋的二维涡旋构建中尺度涡三维结构。实验结果表明,本文所应用的深度学习算法能够较为精确地检测涡旋且构造了较为直观的中尺度涡三维结构。下一步将对中尺度涡检测模型做进一步的改进提高,同时对涡旋的三维结构构建进行更加深入的研究分析。
-
参考文献
-
[1] IKEDA M,MYSAK L A,EMERY W J.Observation and modeling of satellite-sensed meanders and eddies off Vancouver Island[J].Journal of Physical Oceanography,1984,14(1):3-21.
-
[2] 董昌明.海洋涡旋探测与分析[M].北京:科学出版社,2015.
-
[3] CHELTON D B,SCHLAX M G,SAMELSON R M,et al.Global observations of large oceanic eddies[J].Geophysical Research Letters,2007,34(15):L15606.
-
[4] 崔伟,王伟,马毅,等.基于 1993-2014 年高度计数据的西北太平洋中尺度涡识别和特征分析[J].海洋学报,2017,39(2):16-28.
-
[5] CHELTON D B,GAUBE P,SCHLAX M G,et al.The influence of nonlinear mesoscale eddies on near-surface oceanic chlorophyll[J].Science,2011,334(6054):328-332.
-
[6] 杜艳玲.基于海洋遥感影像的中尺度涡自动识别及与渔场动态关系研究[D].上海:上海海洋大学,2017.
-
[7] 沙松,郑彤彤,金绍华,等.基于OceanDataView的中尺度涡分析研究[J].数字海洋与水下攻防,2022,5(6):539-545.
-
[8] OKUBO A.Horizontal dispersion of floatable particles in vicinity of velocity singularities such as convergences[J].Deep Sea Research and Oceanographic Abstracts,1970,17(3):445-454.
-
[9] WEISS J.The dynamics of enstrophy transfer in 2-dimensional hydrodynamics[J].Physica D:Nonlinear Phenomena,1991,48(2-3):273-294.
-
[10] SADARJOEN I A,POST F H.Detection,quantification,and tracking of vortices using streamline geometry[J].Computers & Graphics,2000,24(3):333-341.
-
[11] NENCIOLI F,DONG C M,DICKEY T,et al.A vector geometry-based eddy detection algorithm and its application to a high-resolution numerical model product and high-frequency radar surface velocities in the Southern California Bight[J].Journal of Atmospheric & Oceanic Technology,2010,27(3):564-579.
-
[12] 沈飙,陈扬,杨琛,等.海洋科学中尺度涡的计算机视觉检测和分析方法[J].数据与计算发展前沿,2020,2(6):30-41.
-
[13] 谢鹏飞,宋弢,徐丹亚,等.基于深度学习的中尺度涡检测技术及其在声场中的应用[J].海洋信息,2020,35(1):18-26.
-
[14] LGUENSAT R,SUN M,FABLET R,et al.EddyNet:a deep neural network for pixel-wise classification of oceanic eddies[C]//2018 IEEE International Geoscience and Remote Sensing Symposium.Valencia:IEEE,2018.
-
[15] XU G J,CHENG C,YANG W X,et al.Oceanic eddy identification using an AI scheme[J].Remote Sensing,2019,11(11):1349-1361.
-
[16] 芦旭熠,单桂华,李观.基于深度学习的海洋中尺度涡识别与可视化[J].计算机系统应用,2020,29(4):65-75.
-
[17] ZHANG C C,WEI H,BI C K,et al.Helmholtz–Hodge decomposition-based 2D and 3D ocean surface current visualization for mesoscale eddy detection[J].Journal of Visualization,2019,22(2):231-243.
-
[18] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas:IEEE,2016.
-
摘要
海洋中尺度涡是一种常见的中尺度海洋现象,研究海洋中尺度涡的分布及运动特性对航运、气候、军事等具有重要作用,海洋中尺度涡的识别是海洋学和计算机科学领域的一个热门研究课题。运用深度学习的方法和框架,对中尺度涡的二维识别和三维结构构建展开研究分析。首先,获取全球海洋再分析数据并进行流线可视化,构建涡旋流线数据集;其次,利用 YOLO v5s 卷积神经网络对涡旋流线数据集进行训练,并对南海区域中尺度涡进行有效检测。实验结果表明,YOLO v5s 训练后得到最优模型经过测试,平均检测精度均值达到了 86.10%;最后,根据涡旋检测结果,对检测出的同时刻不同深度的涡旋判断是否属于同一涡旋,确定后进行该涡旋的三维结构构建。
Abstract
Mesoscale eddies are a common marine mesoscale phenomenon. Studying the distribution and motion characteristics of mesoscale eddies plays an important role in shipping,climate,and military affairs. At present,the identification of marine mesoscale eddies is a hot research topic in the field of oceanography and computer science. In this paper,the two-dimensional identification and three-dimensional structure construction of mesoscale eddies are studied and analyzed by using deep learning method and framework. Firstly,the global marine physics reanalysis data are obtained to visualize streamlines to build the dataset of eddy streamlines. Secondly,the YOLO v5s convolutional neural network is used to train the eddy dataset and to effectively detect mesoscale eddies in the South China Sea region. The experimental results show that the mean precision accuracy of the optimal model obtained after YOLO v5s training reaches 86.10%,which could provide an effective basis for the identification of mesoscale eddies and the construction of 3D structures. Finally,based on the eddy detection results at the same time, the detected eddies at different depths are determined whether they belonged to the same eddy,then the 3D structure of the eddy is built.