网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于U-ASPP-Net的北极独立海冰精细识别方法  PDF

  • 郑付强 1,2
  • 匡定波 2
  • 胡勇 2
  • 巩彩兰 2
  • 黄硕 2
  • 李澜 1,2
  • 何志杰 1,2
1. 中国科学院大学,北京 100049; 2. 中国科学院上海技术物理研究所 中国科学院红外探测与成像技术重点实验室,上海 200083

中图分类号: TP7

最近更新:2021-12-31

DOI:10.11972/j.issn.1001-9014.2021.06.014

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

基于风云三号卫星MERSI-Ⅱ影像的特性,提出了一种基于U-ASPP-Net的独立海冰分割算法,该算法在U-Net的基础上引入了空洞空间金字塔池化模块和空洞深度可分离卷积,构建了新型独立海冰分割网络U-ASPP-Net,并在网络后端将FDWloss作为损失函数,最后利用重叠消边策略生成最终的独立海冰分割图。为验证U-ASPP-Net的准确性与有效性,选取U-Net、Deeplab v3+和分区梯度差分与双峰阈值分割法作为对照方法进行实验,实验结果表明,基于U-ASPP-Net的独立海冰精细化分割方法在OA、Kappa系数、IOU、Dice系数四种指标上均优于其他方法,对细节与边缘的提取能力较强,对极小块海冰的还原度较高。此外,算法在一定程度上能够解决基于中分辨率遥感影像提取独立海冰时无法解决的薄云干扰问题,对薄云下的海冰依然具有良好的提取能力,能够为北极航线的动态规划提供较为准确的技术支持。

引言

北极海冰区域独立海冰识别的准确性对于保证航行安全、规划北极航线和动态修正航线具有重要的指导意义。风云三号卫星MERSI-Ⅱ影像的空间分辨率能达到250 m,相比SAR影像具有幅宽大、重访周期短、成本低的特点,能够提供大面积的冰情信息,是动态识别北极独立海冰的理想数据源。传统的针对光学遥感数据源的海冰识别方法在一定程度上无法较好地区分独立海冰与碎屑冰、小冰和冰水混合的薄冰区,对边缘以及小块独立海冰的分割效果较差,无法识别薄云覆盖下的独立海冰。北极航线作为联系亚洲、欧洲和美洲潜在的最短航线,具有重要的战略价值和航运价

1。近年来受到全球变暖的影响,北极的冰面积逐年下降,从1999年到2017年,冰面积已经减少了50%以上,目前只覆盖了不到三分之一的北冰2- 3,极地冰川减少使得北极航线有望全线开通。但北极地区包含大量海冰区域,海冰分布情况复杂,难以预测,极地航线规划中通常会直接绕过海冰区域,但这势必会增加航线的总长度,航行成本随之呈现跳跃式增长。精准区分海冰区域的大型独立海冰、碎屑冰和冰水混合物,结合独立海冰的运动轨迹,根据体积较大的独立海冰提前对航线进行修正,能够更加科学地规划航线,有效地降低航行成本。因此,极地航线海冰区域独立海冰的快速精准识别对极地航线的规划和动态修正具有重要的指导意义。

目前海冰识别研究中应用最广的微波数据是被动微波影像和SAR影像。被动微波影像的空间分辨率相对一般浮冰尺寸而言很低,无法获得精确的海冰细节信

4。SAR影5存在斑点噪声,图像粒度较大,解译难度较大,空间分辨率较高,幅宽较窄,重访周期过长,不利于极地航线的短时动态规划。相比微波数据,光学遥感影像具有尺度大、低成本的优势,能够提供大面积的冰情信息,更贴合极地海冰动态识别的应用场景。其中,MODIS数据的可见光与红外通道可以反映海冰的辐射特性,在计算北极海冰覆盖范围和海冰密集度时可以发挥重要作用,已经产生了相对成熟的海冰区域轮廓产6。我国风云三号D星卫星上搭载的中分辨率光谱成像仪(Medium Resolution Spectral Imager-Ⅱ , MERSI-Ⅱ7在250 m尺度下,性能相比MODIS更加优越,可以提供更精细的海冰信息,更有利于独立海冰的精细化提取。已有学者在研究中给出了风云3号MERSI-Ⅱ影像提取海冰整体分布参数和冰块形态参数的方法,探索了MERSI-Ⅱ影像进行海冰分类的可行8

传统的海冰识别方法大多依赖于图像灰度信息的分布特征与传统的机器学习方法。其中,Wenbo W

9将灰度共生矩阵(Gray-Level Co-occurrence Matrix, GLCM10算法应用于SAR数据的海冰分类。周8提出了分区梯度差分与双峰阈值分割法,从海冰光谱特征和冰块灰度分布特征出发解决了海冰识别的问题。在机器学方法的应用方面,Liu11采用灰度共生矩阵纹理特征基于支持向量机(Support vector machine, SVM)进行海冰分类;沈12结合马尔科夫随机场 MRF 与 V-SVM 相结合提出了基于MRF-V-SVC的海冰图像分类方法,提高了特征相似区域的分类效果。韩彦13提出了协同主动学习和半监督学习的CATTSVM分类框架,在少量标签的基础上实现了较高精度的海冰图像分类。赵朝14利用贝叶斯等对比算法等验证了HY-2A/SCAT数据在大尺度海冰图像分类中的有效性。

近年来,深度学习模型在语义分割领域取得了重大突破,得益于卷积结构的灵活性与延展性,卷积神经网络具有优异的特征提取能力,在各项分割任务的表现都超过了传统方法。2014年Jonathan Long等提出的全卷积神经网络(Fully Convolutional Network, FCN

15是深度学习在语义分割领域的开山之作。但FCN没有考虑像素与像素之间的关系,缺乏全局信息的指导。为此,Liang ChiehChen等经过几16-18改进提出了Deeplabv3+[19],引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块,在获取上下文信息的同时抓住了图像细节,在各类数据集上都取得了不错的成绩。但由于网络本身太深,Deeplab v3+在小型数据集上极易过拟合而缺少泛用性。U-Net20采用完全对称解码器-编码器结构,对特征图进行了跳跃连接,丰富了图像的细节信息,在小型数据集表现良好,被广泛应用于医疗影像分割。但U-Net不能解决多次降采样与上采样引起的边缘信息丢失问题。

为解决北极区域独立海冰的精细化动态分割问题,本研究基于风云三号卫星MERSI-Ⅱ影像,在经典U-Net的基础上,引入ASPP模块,提出了一种U-ASPP-Net模型,实现了独立海冰的精细化分割。以格陵兰岛东北、西南航道以及西北的窄航道作为实验区,将实验结果与U-Net、Deeplab v3+和分区梯度差分与双峰阈值分割法进行了对比。实验结果表明,本算法在性能上优于其他方法,对细节与边缘的提取能力较强,对极小块海冰的还原度较高。此外,本研究在一定程度上可以抑制薄云对独立海冰提取时的干扰,对薄云下的海冰依然具有良好的提取能力,能够应用于北极航线的动态规划和航线纠正。

1 相关工作

1.1 数据准备

选取我国风云三号D星卫星上搭载的MERSI-Ⅱ L1产品作为数据源。MERSI-Ⅱ是国际上最先进的宽幅成像遥感仪器之一,可以每日无缝隙获取全球250米分辨率真彩色影像,实现云、气溶胶、水汽、陆地表面特性、海洋水色等大气、陆地、海洋参量的高精度定量反

21。MERSI-Ⅱ总共有25个探测通道,其中band1-band19是0.4∼2.1 µm的19个太阳反射通道(RSB),band20-band25是3.8∼12.5 µm的6个热发射通道(TEB)。MERSI-Ⅱ的性能指标如表1所示。

表1 MERSI-Ⅱ性能指标
Table 1 Performance indicators of MERSI-Ⅱ
性能参数指标
量化等级 12 bit
扫描范围 ±55.1°±0.1°
每条扫描线采样点数 2 048(1 000 m),8 192(250 m)
波段范围 0.4∼12.5 µm
通道间像元配准 <0.3个像元
定标精度

可见光和近红外通道:5%(反射率),星上定标器实现可见光星上定标(相对和绝对辐射)。

红外通道(星上黑体):0.5 K(270 K),分裂窗两个通道定标误差不一致性<小于0.5 K

研究区域位于格陵兰岛东北、西南航道以及西北的窄航道,具体位置如图1。研究区域覆盖了与陆地接壤窄航道中的独立海冰、航道融冰期正常存在的独立海冰、与薄冰区共存的独立海冰和被云覆盖的独立海冰等北极航线可能会出现的各类独立海冰场景,能够支持验证本文算法在北极独立海冰提取中的泛用性。

图1 研究区位置 (a)与陆地接壤窄航道中的独立海冰,(b)与薄冰区共存的独立海冰,(c)航道融冰期正常存在的独立海冰,(d)被云覆盖的独立海冰

Fig. 1 Location of research distribution (a) Independent sea ice distribution between narrow waterways bordering land, (b) independent sea ice distribution under thin ice disturbance, (c) normal independent sea ice distribution, (d) independent sea ice distribution under thin cloud disturbance

1.2 基于U-ASPP-Net的独立海冰精细化分割方法

1.2.1 U-ASPP-Net整体结构

U-Net是一种采用编码-解码结构的语义分割网络,采用了跳跃拼接将来自解码器的高级语义特征图与来自编码器的低级语义特征图进行结合,形成了更具鲁棒性的组合特征。但是这种将语义上并不相似的特征进行纯粹的跳跃拼接的融合手段,并不能解决网络本身设计上由于缺少多尺度特征而引起的语义鸿沟问题,限制了网络对大物体边缘与小物体本身的提取能力。北冰洋的独立海冰分布形态差异巨大,既存在较大的海冰,也存在从大海冰脱落或者消融尾声的极小海冰,直接使用U-Net进行独立海冰提取会导致大块海冰的边缘与极小块海冰本身提取效果较差。针对这一问题,本文结合U-Net、ASPP模块和空洞深度可分离卷积(Atrous Depthwise Separable Convolution,ADSC),提出了一种全新的分割网络U-ASPP-Net。首先,将原U-Net的解码过程的普通双卷积替换为ASPP模块与普通卷积的组合,利用ASPP模块加大感受野、提取多尺度特征的同时,通过普通卷积调和多尺度信息,获得含大量多尺度信息的特征层。其次,将U-Net较深的两个最大值池化层用空洞深度可分离卷积替代,尽可能避免计算参数的增加的同时,减弱了在深层特征提取时由于最大值池化带来的细节特征丢失的影响。在网络后端将FDWloss作为损失函数进行训练,最后利用重叠消边策略拼接生成最终的独立海冰分割图,网络结构如图2所示。

图2 U-ASPP-Net 整体架构

Fig. 2 Architecture of U-ASPP-Net

1.2.2 ASPP模块

ASPP模块是空洞卷积与空间金字塔池化结构的结合,通过并联多个不同扩张率的空洞卷积提取图像的多尺度信息,最后引入全局平均池化(Golbal Average Pooling,GAP)获取图像的全局信息。ASPP模块克服了使用单一空洞卷积时由于网格效应导致的局部信息丢失和远距离信息缺少相关性的缺点,可以在不使用池化层的前提下获取不同尺度特征信息,结构如图3所示。

图3 ASPP结构

Fig. 3 Architecture of ASPP

1.2.3 空洞深度可分离卷积

深度可分离卷

22通过将普通卷积的过程拆分成深度卷积与逐点卷积来达到减少参数量、加速计算的效果。当卷积步长设置为2及以上时,深度可分离卷积就可以起到池化层的作用。本文将原深度可分离卷积中的深度卷积替换成空洞卷积,形成空洞深度可分离卷积。并通过改变空洞卷积的空洞率来改变池化过程中的感受野。空洞深度可分离卷积相比于传统的池化层,优势体现在以下两个方面:1)替换池化层后尽可能避免了计算参数增加的同时,使得新”池化层”可被训练,在训练的过程中性能可以不断优化;2)可通过设置不同空洞率来改变感受野的大小来得到不同分辨率下的特征图,减少了下采样过程中位置信息的丢失。以4通道特征数据为例,空洞深度可分离卷积的卷积过程如图4所示。

图4 空洞深度可分离卷积的卷积过程

Fig. 4 Convolution process of atrous depthwise separable convolution

1.2.4 联合损失函数FDWloss

不同于常规区域的地物分布,极区航道地物种类相对简单,主要包括海水、裸陆地、冰盖陆地、云与海冰等地物类型。其中,海水分布相对集中,分布特征较为简单,其他地物种类地物形态各异且分布比例悬殊,整体而言,独立海冰在整个实验区图像中占比较少,区分难度较大。样本分布的不均衡导致使用传统的标准交叉熵损失函数(CrossEntropyLoss)进行模型训练时,易分的负样本占了总体loss的大部分。这些loss取值比较小的易分样本累加后,可以淹没占比少但是较难区分的样本,导致模型的性能和优化方向不稳定。

为了解决上述样本不平衡的问题,同时从图像整体角度考虑,本文结合了Focalloss

23与Dice系数提出了一种联合损失函数FDWloss,来优化训练模型的参数,函数形式如式1所示。

FDWlosspre,tar=W1*Focalloss(pre,tar)+DiceWloss(pre,tar) , (1)

其中W1为数量级校正因子,作用是保证前者与后者的值处在相同数量级上,pre是经过sigmod激活函数作用之后的预测概率,tar是真值图对应的类别概率。

Focalloss(pre,tar)的定义如式2所示。

Focalloss(pre,tar)=-α1-preγlog pre         tar=1-(1-α)preγlog 1-pre     tar=0 , (2)

其中α为类别权重参数,1-preγ为调节因子。α的值取决于数据集中正负样本的比例关系,通过引入α来控制正负样本对总的loss的共享权重,较小的α可以降低数量占比高的类别的权重,从而减轻甚至消除由于样本类别不平衡导致的模型准确率偏低的问题。

DiceWloss源于Dice系数,Dice系数是一种集合相似度度量函数,通常用于计算两个样本的相似度,计算过程如式3所示。

Dice=2XYX+Y , (3)

其中XY表示XY之间的交集,XY分别表示XY的元素个数,系数2是为了平衡分母重复计算XY之间的共同元素。 Dice系数能够很好地从图像层面上表征海冰分割模型训练的优化目标,得到最大化的Dice系数。因此,在Dice系数的基础上通过分离目标类别与背景类别的Dice系数计算方式,引入类别权重参数W,以消除类别不平衡带来的影响,最终定义得到DiceWloss,见式4

DiceWlosspre,tar=1-WpCommpre,tarSumpre+Sumtar-W1-pComm1-pre,(1-tar)Sum1-pre+Sum1-tar , (4)

其中1-pre1-tar分别表示背景预测结果和背景真值,Commpre,tar表示的是预测结果与真值的之间的交集,Wp是目标类别权重,W1-p是背景类别权重,Sum(x)表示对x逐点求和的结果。

1.2.5 基于重叠消边策略的海冰分割预测分割后处理

遥感影像尺寸较大,通道较多,在研究中通常会对原始图像进行裁剪,采用裁剪后的小图像进行训练和预测。为得到整个实验区的独立海冰分布,需将预测结果按照裁剪顺序拼接还原成最终的结果图像。

一般的裁剪方式是无重叠度地以输入图像块大小为步长进行裁剪,再以无缝拼接的方式将各图像块的输出结果拼接在一起作为最终结果。这种方式下,相邻图像之间的特征信息会产生差异,导致相邻图像的预测结果有差异,拼接后的图像缺少连续性,有明显的拼接痕迹,准确度不够。此外,这种方式也忽略了相邻图像边缘区域的上下文信息,导致边缘区域预测结果缺乏可信度。针对这一问题,本文提出了一种重叠消边的拼接方法。在裁剪图像时,有重叠地将整幅遥感图像裁剪成小块,并在拼接时去除一定比例的边缘部分。如图5所示,裁剪重叠度为O,原裁剪后图像边长为a,那么实际进行拼接的的区域边长b可以表示为式5

b=a1-O . (5)

图5 重叠消边拼接示意图

Fig. 5 Schematic diagram of overlapping edge elimination strategy

2 实验与讨论

2.1 数据预处理与增强

MERSI-Ⅱ L1数据采用无符号整型记录观测值,本身没有实际的物理意义,必须经过辐射定标、地理定位、几何校正和坐标系变换等一系列预处理才能转化各类信息,准确地表达图像。从海冰的光谱特征分析,首先,海冰在可见光区的反射率明显高于近红外区,冰面在可见光区反射率一般为0.35∼0.65,而在近红外区仅为0.2

24;其次,在1.55∼1.75 μm短波红外波段,云反射太阳辐射强烈,而海冰由于吸收太阳辐射,反射率会明显小于21,二者反射率差异较大。考虑到上述波段特性,本文利用可见光波段与短波红外波段相结合的方式对几何校正后的图像通道分布进行重组。首先,只保留对海冰、海水、云层等极地地物敏感的通道,剔除冗余通道;其次,将分辨率为1 000 m、中心波长为1.640 μm的通道数据重采样到250 m分辨率,再与前四个通道合并形成新的图像。本文最终的海冰数据集通道特性如表2所示。

表2 海冰数据集通道特性
Table 2 Channel characteristics of sea ice datasets
通道号对应传感器通道号中心波长/μm光谱带宽/μm空间分辨率/m
1 1 0.470 0.05 250
2 2 0.550 0.05 250
3 3 0.650 0.05 250
4 4 0.865 0.05 250
5 6 1.640 0.02 250(重采样)

本文选取18幅成像时间,对应场景均不相同的MERSI-Ⅱ L1影像作为实验数据,其中5幅影像作为测试集,13幅影像作为训练集和验证集,并对其分别进行预处理。为了验证算法的有效性和准确性,邀请了海洋与极地研究领域内的专业解译人员对经过预处理之后的研究区影像进行人工解译,并将解译的结果图作为独立海冰提取可参考的真值图,如图6所示。

图6 实验数据示意图(a)海冰数据,(b)海冰数据标签

Fig. 6 Schematic diagram of experimental data (a) schematic of data, (b) schematic of label

为丰富样本量,扩充实验数据规模,本文采用随机重叠度的滑动裁剪方式将所有研究区影像裁剪为192×192大小的小图像块,随机选取小图像块进行数据增强(随机翻转、旋转、平移、缩放、添加噪声等),最终独立海冰的数据集分布如表3所示。

表3 独立海冰数据集分布
Table 3 Distribution of independent sea ice datasets
样本大小192×192
训练样本数量 1622幅
验证样本数量 302幅
独立海冰占比 0.19

为了验证本文算法在北极海冰提取中的泛化能力,本文所选取的5幅实验区影像覆盖了与陆地接壤窄航道中的独立海冰、与薄冰共存的独立海冰和薄云覆盖的独立海冰等北极航线可能会出现的各类独立海冰场景,如图7所示。

图7 海冰数据测试集缩略图 (a)正常独立海冰分布,(b)薄冰干扰下的独立海冰分布,(c-d) 薄云干扰下的独立海冰分布,(e) 陆地接壤窄航道中的独立海冰分布

Fig. 7 Thumbnails of test set (a) Normal independent sea ice distribution, (b)independent sea ice distribution under thin ice disturbance, (c-d) independent sea ice distribution under thin cloud disturbance, (e) independent sea ice distribution between narrow waterways bordering land

2.2 精度评价指标

传统研究通常将全局准确率(overall accuracy, OA)和Kappa系

25作为遥感影像分割的精度评价指标,本文在保留OA和Kappa系数的基础上,增加了均值交并比 (intersection over union, IOU)和Dice系数两种目前语义分割领域常用的评价指标,更加全面地论证实验结果的准确性和可行性。各个指标都可以通过混淆矩阵进行计算,二分类的混淆矩阵如表4所示。

表4 混淆矩阵
Table 4 Confusion matrix
混淆矩阵真实值
PositiveNegative
预测值 Positive TP FP
Negative FN TN

OA表示所有判断正确的结果占总体的比重,其计算式定义如式(6),式中TPTNFPFN的含义如表4所示

OA=TP+TNTP+FP+FN+TN . (6)

Kappa是用来评价图像分割算法精确度的参数,其计算式定义如式(7)。式中, p0为整体分类精度,pe为期望分类精度。Kappa的值越接近1,表示分割效果越理想。

Kappa=p0-pe1-pe . (7)

IOU代表图像分割算法某一类别的分割结果和真实值的交集与并集的比值,IOU的值越接近1,表示分割效果越理想,具体计算方法如式(8)

IOU=TPTP+FP+FN . (8)

Dice系数,是医学图像分割领域常用的评价指标,主要是用来计算分割结果与真实值的相似性。其计算式定义如式(9)。Dice系数的值越接近1,表示分割效果越理想。

Dice=2*TP2*TP+FP+FN . (9)

2.3 实验环境

实验在Pytorch框架上构建模型,并使用单块NVIDIA 2080 TI GPU对模型进行训练,GPU显存为12G。在模型的训练过程中,初始学习率设置为3×10-4,使用余弦函数对学习率进行衰减,最小学习率设置为10-4,并使用Adam优化器进行推理,平滑常数等参数均为默认值。训练周期为5次,每个周期内共训练80个Epoch(训练集中的全部样本训练一次为1个Epoch),BatchSize(批处理尺寸,即网络每一次完整推理所输入的训练样本个数)为16。在全部实验周期中,本文对比了U-ASPP-Net中ASPP模块和空洞深度可分离卷积在各种空洞率组合下所得到的模型,最终得出当空洞深度可分离卷积的空洞率设置为1,编码器的前两层与解码器的后两层的ASPP模块空洞率组合设置为[1,3,6,9],编码器的第5层设置为[1,2,3,4],其余设置为[1,2,4,6]时,模型达到最优。

2.4 实验结果

首先,本文提出了一种重叠消边的拼接方法,按一定的重叠率将整幅遥感影像裁剪成小块,对裁剪后的小图像进行训练和预测,并在拼接时去除一定比例的边缘部分,得到最终的完整的分割图像。为验证重叠消边的拼接方法的有效性,本文探究了不同重叠度和是否消边对最终预测结果的影响。本文以U-ASPP-Net+FDWLoss的模型预测结果为待拼接图像,共设置了20%,30%,40%,45%,50%,60%,70%,80%八种不同重叠度的裁剪方式,同时对每种重叠度分别进行有消边和无消边两种拼接策略作为对比,以OA、Kappa系数、IOU和Dice系数作为评价指标度量预测结果,以探究重叠消边策略对拼接结果的辅助作用,实验结果如图8所示。实验结果表明,在20%~60%的重叠度下有消边拼接策略的各项指标均高于无消边的拼接策略,同时,有消边拼接策略的预测结果最优值也高于无消边的拼接策略。此外,从图8四幅图中可以看到无消边策略的拼接方法各项指标随着重叠度增加呈现缓慢下降的趋势,当重叠度较高时,有加速下降的趋势;而有消边策略的拼接方法各项指标随着重叠度的增加呈现缓慢增加再快速减小的趋势。综上所述,本实验论证了本文提出的重叠消边的拼接方法能够辅助提升海冰图像分割的准确率,且当重叠度为45%时,效果达到最优。

图8 不同重叠度下各个指标的变化趋势图

Fig. 8 The changing trend of each indicator under different overlaps

其次,本文提出了一种联合损失函数FDWloss来优化训练模型的参数,为验证该损失函数在独立海冰数据集中对模型有更强的优化能力,本文分别使用FDWLoss、Diceloss和Focalloss作为损失函数对U-ASPP-Net进行训练得到最优模型。根据海冰数据集的海冰分布,将FDWLoss中的W1γαWpW1-p分别设置为10、2、0.5、1、0.235。同时,以45%重叠度的消边策略对测试集图像进行拼接得到最终预测结果,以OA、Kappa系数、IOU和Dice系数作为评价指标,实验结果见表5。实验结果表明,本文提出的FDWloss的结果在各个指标上均优于Diceloss与Focalloss。针对OA而言,FDWloss比Diceloss高3.92%,比Focalloss高2.18%;针对Kappa系数,FDWloss比Diceloss高0.19,比Focalloss高0.12。针对IOU,FDWloss比Diceloss高0.21,比Focalloss高0.14;针对Dice系数,FDWloss相比其他损失函数最高可提升0.17的指标值。实验结果充分表明了联合损失函数FDWloss对U-ASPP-Net具备更强的优化能力。

表5 基于不同损失函数的U-ASPP-Net模型的独立海冰分割精度对比
Table 5 Comparison of independent sea ice segmentation accuracies of U-ASPP-NET model based on different loss function
损失函数OAKappa系数IOUDice系数
FDWloss 93.61% 0.74 0.66 0.78
Diceloss 89.69% 0.55 0.45 0.61
Focalloss 91.43% 0.62 0.52 0.67

最后,为了整体验证本文算法的有效性,将U-Net、Deeplab v3+和分区梯度差分与双峰阈值分割相结合法三种图像分割算法作为对比方法,进行独立海冰识别实验。其中,U-Net与Deeplab v3+这两种深度学习算法的各项实验条件均与本文算法一致,训练时使用FDWLoss作为损失函数,在分割后使用45%的重叠度对实验区影像进行有消边地拼接,实验结果如表6所示。从表6中可以看到,与其他算法相比,本文算法在各项指标上均达到最优,相较于传统的分区梯度差分与双峰阈值分割法各项指标均有极大的提升,OA提升7.54%,Kappa系数提高0.34,IOU提高0.35,Dice系数提高0.31,上述实验结果进一步论证了在海冰识别领域,深度学习算法相较于传统方法的优越性。此外,相比于U-Net和Deeplab v3+两种深度学习算法,本文算法在各项指标上也有一定的提升,Kappa系数最高提升0.15,OA值与其他两种深度学习算法较为接近,但也有2.41%的效果提升。以上实验结果充分证明了本文将U-Net结构、ASPP模块与空洞深度可分离卷积相结合,来提高网络对多尺度特征的获取能力,从而实现北极区域独立海冰的精细化分割的想法是正确且有效的。

表6 不同独立海冰分割方法的精度对比
Table 6 Comparison of accuracies for segmentation of independent sea ice with different methods
准确率KappaIOUDice系数
U-ASPP-Net 93.61% 0.74 0.66 0.78
U-Net 91.20% 0.68 0.58 0.73
DeeplabV3+ 90.65% 0.59 0.48 0.65
分区梯度差分与双峰阈值分割法 86.07% 0.40 0.31 0.47

海冰识别实验的部分结果图如图9所示。其中(a)为局部区域可视化图,(b)为对应的人工解译图,(c)为本文算法的对应结果图,(d)为使用U-Net训练的模型的对应结果图,(e)为使用Deeplab v3+网络训练的模型的对应结果图,(f)为分区梯度差分与双峰阈值分割法的对应结果图。从实验结果图中可得,本文算法(图9中(c))对大型独立海冰和极小型的独立海冰的分割效果均优于其他对比算法,对边缘处的分割效果有较大的提升,很少出现将多个独立海冰连通的现象。整体而言,基于深度学习的独立海冰识别算法效果在各个场景的泛用性上远优于传统的分区梯度差分与双峰阈值分割法。但是,在纯海冰海水场景中,U-Net与Deeplab v3+会出现有孔洞的现象(图9中(d)的第2行与(e)的第1、2行),前者是由于在特征提取的过程中缺少了对多尺度特征的获取能力,后者是由于在网络后端对预测的特征图经过两次双线性插值直接上采样16倍到了期望尺寸,两者都造成了多尺度的细节信息丢失,使得最终的预测结果中对较大独立海冰会出现分割效果接近或者不如分区梯度差分与双峰阈值分割法的现象(图9中(d-f)的第二行),但是在小型独立海冰的提取上,两者均优于分区梯度差分与双峰阈值分割法。

图9 不同方法的独立海冰分割结果 (a)待分割影像可视化图,(b)人工解译真值图,(c) U-ASPP-Net,(d)U-Net,(e)Deeplab v3+,(f)分区梯度差分与双峰阈值分割法

Fig. 9 Independent sea ice segmentation results by different methods (a) Images to be segmented, (b) manually interpreted images, (c) U-ASPP-Net, (d)U-Net, (e)Deeplab v3+, (f) partition gradient difference and bimodal threshold segmentation algorithm

北极场景中对独立海冰监测干扰最大的就是云雾天气。传统的分区梯度差分与双峰阈值分割法在提取海冰的过程中需要先验的陆地掩模,并计算云指数作为掩模,直接放弃对云下海冰的提取,不利于独立海冰的动态监测。此外由于其分区的特性,当小区域内没有独立海冰分布,但是有碎屑冰、极小冰或者冰水混合的薄冰区时,仍然会计算得到分割阈值,从而把不会影响航道通行的薄冰区错分为独立海冰。针对这两个问题,本文探讨了U-ASPP-Net对薄云下独立海冰提取能力与对薄冰区的剔除能力,并与分区梯度差分与双峰阈值分割法、U-Net和Deeplab v3+对比,识别结果图如图10所示。图10共包含4个独立海冰分布场景,前2行图像均为薄云干扰下的独立海冰分布,后2行图像均为薄冰区干扰的独立海冰分布。从识别结果图中可以看到相较于分区梯度差分与双峰阈值分割法,U-ASPP-Net、Deeplab v3+、U-Net三种基于深度学习的算法不论是在提取薄云下海冰的能力上还是精准提取独立海冰的能力上,都有显著的优势。具体而言,U-ASPP-Net对薄云干扰下的独立海冰整体形状和边缘细节的恢复能力均优于U-Net和Deeplab v3+;面对有碎屑冰、极小冰或者冰水混合的薄冰区干扰场景,相比U-Net和Deeplab v3+,U-ASPP-Net在准确识别提取独立海冰的前提下,把薄冰区的干扰错分为独立海冰的数量要少得多。实验结果充分验证了U-ASPP-Net在独立海冰提取过程中良好的抗薄云干扰能力和剔除薄冰区干扰的能力。

图10 抗薄云、薄冰干扰的能力对比 (a)待分割影像可视化图,(b)人工解译真值图,(c) U-ASPP-Net,(d)U-Net,(e)Deeplab v3+,(f)分区梯度差分与双峰阈值分割法

Fig. 10 Comparison of ability to resist interference of thin cloud and sea ice (a) Images to be segmented, (b) Manually interpreted images, (c) U-ASPP-Net, (d)U-Net, (e)Deeplab v3+, (f) partition gradient difference and bimodal threshold segmentation algorithm

3 结论

已有的基于光学遥感数据源的独立海冰分割方法无法较好地区分独立海冰与碎屑冰、小冰和冰水混合的薄冰区,对边缘处的提取效果较差,对小块独立海冰提取能力不强,也不具备对云的抗干扰性。为解决上述问题,本研究基于风云三号卫星影像,构建了全新的分割网络U-ASPP-Net。在网络后端,提出了Focalloss与Dice系数相结合的联合损失函数FDWloss,进一步提升了U-ASPP-Net的分割能力。在独立海冰分割预测过程中,考虑到独立海冰的多尺度性,提出了基于重叠消边策略的独立海冰分割后处理方法,避免了常规预测过程8相邻图像块语义信息断裂导致的整体分割精度下降的现象,并在实验中论证了当重叠度为45%时独立海冰分割效果能够达到最优。本文以格陵兰岛东北、西南航道以及西北的窄航道作为实验区,将实验结果与U-Net、Deeplab v3+和分区梯度差分与双峰阈值分割法进行了对比。实验结果表明U-ASPP-Net从整体上提高了独立海冰的分割准确率,从局部上可以有效提取尺寸极小的独立海冰,对海冰边缘有良好的恢复能力,在一定程度上可以抑制薄云对独立海冰提取的干扰,对薄云下的海冰依然具有良好的提取能力。因此本研究可以为北极航线规划和动态修正提供全面且精准的技术支撑。但是由于实验室硬件条件与海冰数据集本身大小的限制,本文在训练时选取的图像块尺度比较小,没有讨论当前影像分辨率下的最佳裁剪尺度,在一定程度上限制了算法的上限。后续可以考虑扩充数据集或者将模型搬到大型的GPU集群中进行训练以探索独立海冰分割的最佳裁剪尺度。

References

1

WU Zhan-KaiWANG Xing-DongWANG Cheng. Sea ice distribution detection based on FY-3 satellite MWRI data[J]. Bulletin of Surveying and Mapping吴展开,王星东,王成。 利用FY-3卫星MWRI数据探测海冰分布。 测绘通报 , 2018010): 56-60,65. [百度学术

2

Kwok R. Arctic sea ice thickness, volume, and multiyear ice coverage: Losses and coupled variability (1958-2018) [J]. Environmental Research Letters20181310):105005. 10.1088/1748-9326/aae3ec [百度学术

3

Abe MNozawa TOgura Tet al. Effect of retreating sea ice on Arctic cloud cover in simulated recent global warming [J]. Atmospheric Chemistry and Physics20161612): 1-43. 10.5194/acp-16-14343-2016 [百度学术

4

Gareth Rees W. Snow and ice remote sensing[M]. (车涛,高峰,等译。 雪冰遥感。第1版. 郑州黄河水利出版社)2011. 10.1201/9780367801069 [百度学术

5

LIU Liang-Ming. An introduction to satellite ocean remote sensing[M]. Wuhan University Press刘良明。 卫星海洋遥感导论。 武汉武汉大学出版社)2005. [百度学术

6

Kang DIm JLee M Iet al. The MODIS ice surface temperature product as an indicator of sea ice minimum over the Arctic Ocean [J]. Remote Sensing of Environment201415299-108. 10.1016/j.rse.2014.05.012 [百度学术

7

Han X ZYang JTang S Het al. Vegetation products derived from Fengyun-3D medium resolution spectral imager-Ⅱ [J]. Journal of Meteorological Research20203404): 119-129. 10.1007/s13351-020-0027-5 [百度学术

8

ZHOU YingKUANG Ding-BoGONG Cai-Lanet al. A method to extract parameters of Arctic sea ice from FY-3/MERSI imagery[J]. J.Infrared Millim.Waves(周颖, 匡定波, 巩彩兰,。 风云三号卫星MERSI影像提取北极海冰参数的方法。 红外与毫米波学报), 20173601): 41-49. 10.5194/isprs-archives-xliii-b3-2020-925-2020 [百度学术

9

Wang WWen YXue Det al. Sea ice classification of SAR image based on wavelet transform and gray level co-occurrence matrix[C]. 2015 Fifth International Conference on Instrumentation & Measurement, Computer, Communication and Control (IMCCC)201529104-107. 10.1109/imccc.2015.29 [百度学术

10

Haralick R MShanmugam KDinstein I. Textural features for image classification[J]. IEEE Transactions on Systems, Man and Cybernetics, 1973, SMC-36):610-621. 10.1109/tsmc.1973.4309314 [百度学术

11

Liu HGuo HZhang L. SVM-based sea ice classification using textural features and concentration from RADARSAT-2 dual-pol ScanSAR data [J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing201584): 1601-1613. 10.1109/jstars.2014.2365215 [百度学术

12

SHENG YangLANG Wen-HuiWU Jieet al. Combining MRF and v-SVM for SAR sea ice image classification[J]. Journal of Remote Sensing(沈杨, 郎文辉, 吴杰, 。 结合MRF与ν-SVM的SAR海冰图像分类。 遥感学报), 2015195): 844-855. [百度学术

13

HAN Yan-LingZHAO YaoZHOU Ru-Yanet al. Cooperative active learning and semi-supervised method for sea ice image classification[J]. Haiyang Xuebao(韩彦岭, 赵耀, 周汝雁,。 协同主动学习和半监督方法的海冰图像分类。 海洋学报), 2020421): 123-135. [百度学术

14

ZHAO Chao-FangXU RuiZHAO Ke. Research of polar sea ice detection methods based on JY-2A/SCAT[J]. Periodical of Ocean University of China(赵朝方, 徐锐, 赵可。 基于HY-2A/SCAT数据极地海冰检测方法研究。 中国海洋大学学报(自然科学版)), 20194910): 140-149. [百度学术

15

Long JShelhamer EDarrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence2015394):640-651. 10.1109/cvpr.2015.7298965 [百度学术

16

Chen L CPapandreou GKokkinos Iet al. Semantic image segmentation with deep convolutional nets and fully connected crfs [J]. arXiv preprint arXiv201414127062. [百度学术

17

Chen L CPapandreou GKokkinos Iet al. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs [J]. IEEE transactions on pattern analysis and machine intelligence2017404): 834-848. 10.1109/tpami.2017.2699184 [百度学术

18

Chen L CPapandreou GSchroff Fet al. Rethinking atrous convolution for semantic image segmentation [J]. arXiv preprint arXiv:1706055872017. 10.1007/978-3-030-01234-2_49 [百度学术

19

Chen L CZhu YPapandreou Get al. Encoder-decoder with atrous separable convolution for semantic image segmentation [C]. Proceedings of the European conference on computer vision (ECCV)2018801-818. 10.1007/978-3-030-01234-2_49 [百度学术

20

Ronneberger OFischer PBrox T. U-net: Convolutional networks for biomedical image segmentation [C]. International Conference on Medical image computing and computer-assisted intervention2015234-241. 10.1007/978-3-319-24574-4_28 [百度学术

21

ZHOU YingGONG Cai-LanHU Yonget al. Extraction of sea ice information in the Arctic Ocean by using FY-3/MERSI data[J]. Journal of Atmospheric and Environmental Optics(周颖, 巩彩兰, 胡勇, 。 风云三号 MERSI 数据提取北冰洋海冰信息方法研究。 大气与环境光学学报), 201381): 53-59. 10.5194/isprs-archives-xliii-b3-2020-925-2020 [百度学术

22

Chollet F. Xception: Deep learning with depthwise separable convolutions [C]. Proceedings of the IEEE conference on computer vision and pattern recognition20171251-1258. 10.1109/cvpr.2017.195 [百度学术

23

Lin T-YGoyal PGirshick Ret al. Focal loss for dense object detection [C]. Proceedings of the IEEE international conference on computer vision20172980-2988. 10.1109/iccv.2017.324 [百度学术

24

Winther J-G. Spectral bi-directional reflectance of snow and glacier ice measured in Dronning Maud Land, Antarctica [J]. Annals of Glaciology1994201-5. 10.3189/1994aog20-1-1-5 [百度学术

25

WU BoLIN Shan-ShanZHOU Gui-Jun. Quantitatively Evaluating Indexes for Object-based Segmentation of High Spatial Resolution Image[J]. Journal of Geo-information Science(吴波, 林珊珊, 周桂军。 面向对象的高分辨率遥感影像分割分类评价指标。 地球信息科学学报) , 2013154): 567-573. 10.3724/sp.j.1047.2013.00567 [百度学术