摘要
为解决遥感影像分割尺度自动选取难的问题,提出了融合层次聚类的高分辨率遥感影像超像素分割方法。首先采用自适应形态重建的分水岭分割算法将影像分割成多个超像素;然后提取各超像素的灰度特征向量;最后利用层次聚类方法进行超像素合并,实现高分辨率遥感影像的精确分割。实验选用4组景遥感影像;采用定性和定量相结合的方法评价实验结果。实验结果表明,该方法有效提高了遥感影像分割精度,并取得了较好的分割视觉效果。
随着对地观测卫星技术的不断发展,高空间分辨率遥感(High Spatial Resolution Remote Sensing, HSRRS)影像的地物纹理结构愈加丰富、轮廓和形状信息更加清晰、地物关系更为复杂,目前已在精准农业,环境监测,地质灾害调查等领域发挥着重要的作
尺度是分割的关键参数,尺度过小容易造成地物被过度分割,尺度过大则易造成欠分割使得地物分割错误。在后续的处理中,错误分割是无法逆转的和不可接受的,错误分割将直接影响后续处理的效果。因此,在无法确定最佳分割尺度的前提下,分割尺度的选择往往较小,在兼顾小尺度地物的同时,可通过后续区域合并实现大尺度地物的获取。目前,超像素分割已成为遥感影像分割的研究新热点,对小尺度地物可取得较好的分割效果。目前已有较多超像素生成算
综上所述,针对传统影像分割方法分割效果不理想的问题,采用超像素预分割和区域合并可提升分割质量。但现有方法仍面临着一些难题,如初始超像素分割尺度、合并策略等确定难的问题。为此,提出了一种融合层次聚类的高分辨率遥感影像超像素分割算法。
提出方法主要分为4个步骤:①对HSRRS影像进行自适应形态学重建;②采用分水岭算法对HSRRS影像进行过分割生成超像素;③提取各个超像素的灰度特征向量;④利用层次聚类方法进行区域合并,最终得到分割结果。提出方法的总体流程图如图1所示。
形态学重建能过滤种子(区域最小值)以减少过度分割,且对尺度不敏感,常用于梯度影像分
首先输遥感影像,求影像梯度为(以下用g代替),如
, | (1) |
. | (2) |

图1 分割流程图
Fig.1 Flow chart of remote sensing image segmentation

图2 实验影像梯度分布图 (a) 遥感影像,(b) sobel梯度影像,(c) 梯度分布图,(d) 遥感影像,(e) sobel梯度影像,(f) 梯度分布图
Fig.2 Gradient distribution of experimental images(a) remote sensing image, (b) sobel gradient image, (c) gradient distribution, (d) remote sensing image, (e) sobel gradient image, (f) gradient distribution
通常遥感影像中可以包括两种幅度和尺度噪声。因为开和闭运算可以极大程度地减轻尺度噪声对分水岭分割算法的影响。但是单一尺度的结构元素可能会错误地选择种子点,所以需要准确寻找有意义的种子点,因此研究一种自适应形态重建算法。首先,可以自适应地过滤无用的梯度信息,同时保存有意义的种子点;其次,采用了多尺度结构元素,它具有单调递增性和收敛性两个特性,这有助于梯度影像实现自适应分割。
虽然一些研究者提出了多尺度自适应形态学算
, | (3) |
是一个自适应的形态重建算子,随着结构元素的规模不断增大,其中满足 和,(∨代表形态学重建最大操作),这里∨表示影像像素点的最大值。设形态学重建结构元素为,其中i是结构元素的尺度参数,,其中。然而大的s值会导致了小区域的合并,但物体轮廓的精度将降低。
需要注意的是逐像素点最大运算只适用于,不适用于。因为 ,及,是无法获得收敛的梯度影像。
自适应形态学重建在确定有意义的区域最小能量或区域最小值的过滤。提出算法包含两个参数s和m,自适应形态学重建的计算效率受参数m的影响。较小的m表示计算复杂性较低。当时,重建的梯度图像和相应的分割结果不变,但得到的m通常较大。由于本文的目的是利用自适应形态学重建对种子分割算法进行改进,故将收敛条件替换为检查和之间的差异。收敛性的目标函数如下定义:
, | (4) |
其中,。很明显,当,η是常数,是一个最小的阈值误差时,分割结果将保持不变,但m是的变量,因此只有参数s需要自适应形态学重建调整,使用了三个参数s、m和η,因为可以根据m或η停止迭代。自适应形态学重建的计算复杂度取决于m或η的值。m的大值对应η的小值。m值越大,算法的执行时间越长。因此算法使用两个收敛条件m和η来加速算法的收敛。
分水岭分割是指获取最佳的分割区域像素的极小值点,从而得出集水盆的脊边界,脊边界形成的脊线即为分水岭脊线。针对分水岭算法过度分割及分割尺度难以选择的问题,在形态重建算法基础上,利用多尺度自适应形态学重建确定极小值。该方法在形态学重建基础上,采用多尺度自适应确定分割阈值,并完成影像的初始分割形成超像素,结果如

图3 自适应多尺度形态学重建分水岭分割参数图(a) s = 1,m = 1;(b) s = 2,m = 1;(c) s = 3,m = 1;(d) s = 4,m = 1;(e)S1 s = 1,m =1;(f)S2 s = 1,m = 6;(g) s = 1,m = 12;(h) s = 1,m = 20
Fig.3 Segmentation results using AMR-WT by changing the value of s and m(a) s = 1, m = 1; (b) s = 2, m = 1; (c) s = 3, m = 1; (d) s = 4, m = 1; (e) S1 s = 1, m =1; (f) S2 s = 1, m = 6; (g) s = 1, m = 12; (h) s = 1, m = 20
1)生成梯度遥感影像g;
2)对梯度影像进行自适应形态学重建。初始化设置参数s,m(最小和最大结构元素的比例)和η,m和η都是自适应形态学重建的收敛条件;
3)计算,其中;
4)更新和。若,则, 和J(g,s)=max;若,j是结构元素的半径,。满足以上条件分割结束,若不满足则返回步骤3)。
自适应多尺度形态学重建分水岭分割所有参数对于HSRRS影像需要通过其特征来适当地调节这些参数,其中有一些通用规则来指导这些参数的调整。本文提出了几个经验值来进行最优自适应多尺度形态学重建分水岭分
层次聚类无需预先设定聚类数目,对初始数据集不敏感,每次迭代都要更新距离矩阵,为了适应HSRRS影像分割的需要,采用凝聚层次聚类分割算法对相邻超像素进行合并和其它微小更
. | (5) |
假设自适应分割后,每个超像素可以用xi表示;其中,则n个超像素构成输入预分割处理影像,首先构造一个最常见的正态分布,定义如下:
, | (6) |
. | (7) |
正态分布p(x|µ,
. | (8) |
给定一个对象集,用最大似然方法度量所有对象形成的簇,代表划分的分割区域数量集,k为最后分割的簇数。
. | (9) |
按照正常的理解,如果两个区域的灰度规模相似度,它们就该有更大的可能在处理过程中被合并。
, | (10) |
, | (11) |
式中为簇Ci和 Cj的所在区域所有像素点的灰度平均值的最短距离。其中和Ci和 Cj为目标簇的所有像素点灰度平均值,重新计算使用平均距离法计算两个类之间的距离,取第一个簇内超像素点和第二个簇内超像素点之间的平均距离。以便使集群内所有点的概率和最大。重复进行上述步骤,直至收敛,既在每次迭代中参数改变小于某个阈值。当相邻的超像素相似度较大,距离相似值较小,意味着两个区域可能被合并。具体步骤如下:
1)影像包含n个超像素区域表示为xi,其中;
2)接下来为每个超像素xi区域创建一个簇;
3)计算簇与簇之间的相似性,计算 ;
4)如果满足大于0 ,则合并;
5)否则重复2)∼4)直至所有超像素都被处理,输出聚类结果。
融合层次聚类的高分辨率遥感影像超像素分割方法步骤如下:
步骤1:超像素获取。对高分辨率影像进行自适应形态学重建,然后进行分水岭分割,生成超像素,根据本文实验经验所得,本组实验参数设置s=2,m=7,η=1
步骤2:超像素合并。基于凝聚层次聚类的思想,超像素进行初次聚类,选择每个超像素表示每个簇,选择每个超像素中心表示每个簇的中心,位于大小为w(w=5)的窗口内,表示在超像素的每一行和每一列之外,得到5个中心像素;然后应用PCA对整体缩小尺寸,将其转换为灰度特征,每个簇由它自己和相邻超像素来表示。计算各候选簇的相似度,找出两个相似度最大且符合合并条件的簇进行合并,合并后的簇集,重复步骤2,直至得到符合需求的结果,获得预期的簇数且所有簇的簇相似度均小于合并的误差阈值;最小误差默认值为1。
步骤3:在步骤1和2的基础上,运用层次聚类算法对超像素进行合并,得到最终分割的结果,如

图4 聚类仿真图(a)聚类仿真,(b)结果图,(c)聚类仿真,(d)结果图
Fig.4 Simulation graph of clustering(a)clustering simulation, (b)segmentation results, (c)clustering simulation, (d)segmentation results
为验证提出方法的有效性,选取了4景HSRRS影像,如

图5 实验数据集(a) S1参考影像,(b) S2参考影像,(c) S3参考影像,(d) S4参考影像,(e) S1参考影像,(f) S2参考影像,(g) S3参考影像,(h) S4参考影像
Fig.5 Test data sets (a) S1 imag, (b) S2 image, (c) S3 image, (d) S4 image, (e) S1 image, (f) S2 reference image, (g) S3 reference image, (h) S4 reference image
为了更好的验证实验的分割效果,实验采用定性和定量方法进行精度评价。实验选用了两种分割算法与提出的方法进行对比,这两种方法分别为eCognition软件中的多尺度分割算法(即分形网络演化方法,FNEA)和基于SLIC算法的层次聚类(Hierarchical clustering)算法(记作SH方法),其中经过多次实验,设置初始超像素个数为300~500个。其中,FNEA算法进行了2组实验,形状异质度和紧致度固定为0.4和0.5。根据文献[
, | (12) |
, | (13) |
式中:Precision为分割精度,值越大,精度越高;Recall为边界召回率,值越大,边界附着效果越好;TP为地物被正确分割的结果像素的样本个数;FP为背景像素被分为地物像素的分割结果的样本个数;FN为地物分割结果被分为背景像素的样本个数。
实验所使用的试验平台CPU为Inter(R)Pentium(R)四核,4GB内存,Windows10操作系统,软件为 matlab2018a和eCognition Developer进行实验。
采用提出的超像素算法、SLIC算法、LSC算法和MeanShift算法对原始影像S1 、S2 、S3和 S4进行超像素分割,并对四种算法的分割效率进行对比。利用代码循环进行实验,并对其时间消耗进行记录,耗时单位为秒,实验结果如

图7 过分割用时结果图
Fig.7 The time of over-segmentation

图6 影像过分割实验结果 (a) S1本文超像素算法,(b) S1 SLIC算法,(c) S1 LSC算法,(d) S1 MeanShift算法,(e) S2本文超像素算法,(f) S2 SLIC算法,(g) S2 LSC算法,(h) S2 MeanShift算法,(i) S3本文超像素算法,(j) S3 SLIC算法,(k) S3 LSC算法,(l) S3 MeanShift算法,(m) S4本文超像素算法,(n) S4 SLIC算法,(o) S4 LSC算法,(p) S4 MeanShift算法
Fig.6 Experimental results of over-segmentation(a) S1 proposed superpixel algorithm, (b) S1 SLIC algorithm, (c) S1 LSC algorithm, (d) S1 Meanshift algorithm, (e) S2 proposed superpixel algorithm, (f) S2 SLIC algorithm, (g) S2 LSC algorithm, (h) S2 MeanShift algorithm, (i) S3 proposed superpixel algorithm, (j) S3 SLIC algorithm, (k) S3 LSC algorithm, (l) S3 Meanshift algorithm, (m) S4 proposed superpixel algorithm, (n) S4 SLIC algorithm, (o) S4 LSC algorithm, (p) S4 MeanShift algorithm
将两景QuickBird影像数据作为第一组实验。为了便于视觉比较,在实验影像中标注了蓝色矩形框。S1为建筑区,建筑物类型多样,内部纹理结构丰富,具有一定的分割难度。从S1影像的实验分割结果可看出,在

图8 实验1影像数据及实验结果-(a) S1 FNEA 50;(b) S1 FNEA 100;(c) S1 SH方法;(d) S1本文方法结果;(e) S2 FNEA 50;(f) S2 FNEA 100;(g) S2 SH方法;(h) S2 本文方法结果
Fig.8 Segmentation results of S1 and S2 (a) S1 FNEA 50, (b) S1 FNEA 100, (c) S1 SH method, (d) result of S1 by proposed method, (e) S2 FNEA 50, (f) S4 FNEA 100, (g) S2 SH method, (h) result of S2 by proposed method
S2覆盖了公园景观,较S1的面积更大;影像中主要包含道路、水体、绿地和建筑物等地物。在影像S2的分割结果中,使用FNEA(50)算法分割产生了严重的过分割;采用FNEA(100)算法减少了过分割,但影像过分割的问题仍未得到较好地解决,如水体还是不能被完整分割。
从

图9 第一组实验精度评价
Fig.9 Segmentation results of Test1
将两景无人机遥感影像数据作为第二组实验。与第一组相比,S3和S4的分辨率更高,地物轮廓更加清晰,纹理信息更加丰富。分别在S3和S4分割结果中标定蓝色矩形框,如

图10 实验2影像数据及实验结果 (a) S3 FNEA 50,(b) S3 FNEA 100,(c) S3 SH方法,(d) S3本文方法结果,(e) S4 FNEA 50,(f) S4 FNEA 100,(g) S4 SH方法,(h) S4 本文方法结果
Fig.10 Segmentation results of S3 and S4(a) S3 FNEA 50, (b) S3 FNEA 100, (c) S3 SH method, (d) S3 result by proposed method, (e) S4 FNEA 50, (f) S4 FNEA 100, (g) S4 SH method, (h) S4 result by proposed method
从

图11 第二组实验精度评价
Fig.11 Segmentation results of Test2
通过对比实验中两组分辨率不同的四景影像,提出方法都获得了最高的精度。相比于第一组分割结果,第二组获得了更好的分割结果,其中第二组选取的影像的分辨率更高,说明分割效果与分辨率有关,分辨率越高效果越佳。实验结果充分证实了提出方法的可行性和适用性,为下一步的遥感影像的识别或分类提供了很好的基础。
提出了一种融合层次聚类的高分辨率遥感影像超像素分割方法。通过对4景不同分辨率和场景的HSRRS影像分割结果的实验对比,得出结论如下:
1) 利用自适应多尺度形态学重建分水岭分割生成超像素,通过自适应迭代自动选择确定分割尺度,并克服了噪声对影像分割的影响,获得整体分割效果良好的影像分割结果。
2) 采用融合层次聚类的合并方法,可以充分利用超像素区域的信息表达,从而可以较好的获得区域的分割结果,是一种较为有效的方法。
3) 当待分割影像中地物的内部特征相似性较弱时或者是对特殊地物的分割,提出的方法不能很好地分割相应区域及其边界。同时针对地物更加复杂且更大范围的遥感影像进行分割时精度和效率有小幅下降。接下来将在提出方法的基础上进一步提高算法性能,同时提高算法的泛化能力和效率。
References
Chehata N, Orny C, Boukir S, et al. Object-based change detection in wind storm-damaged forest using high-resolution multispectral images[J]. International Journal of Remote Sensing, 2014, 35(13): 4758-4777. [百度学术]
JIANG Feng, GU Qing, HAO Hui-Zheng, et al. Survey on content-based image segmentation methods [J]. Journal of Software (姜枫, 顾庆, 郝慧珍, 等. 基于内容的图像分割方法综述.软件学报), 2017, 28(01): 160-183. [百度学术]
Wang HY, Liang Y Y, Wang Z H. Otsu image threshold segmentation method based on new genetic algorithm[J]. Laser Technology, 2014, 38(3): 364-367. [百度学术]
Deng X Y, Ma Y D. PCNN model analysis and its automatic parameters determination in image segmentation and edge detection[J]. Chinese Journal of Electronics, 2014, 23(1): 97-103. [百度学术]
Ren X F, Fowlkes C C, Malik J. Learning probabilistic models for contour completion in natural images[J]. International Journal of Computer Vision, 2007,77(1-3): 47-63. [百度学术]
Wang C, Wang Y, Li Y. Automatic choroidal layer segmentation using markov random field and level set method[J]. IEEE Journal of Biomedical and Health Informatics, 2017, 21(6): 1694-1702. [百度学术]
Pablo A, Barath H, GU C, et al. Semantic segmentation using regions and parts[C]. 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012, 1: 3378-3385. [百度学术]
SU T. Efficient paddy field mapping using landsat-8 imagery and object-based image analysis based on advanced fractel net evolution approach[J]. GIScience & Remote Sensing, 2017, 54(3):354-380. [百度学术]
Chaibou M S, Conze P H, Kalti K, et al. Adaptive strategy for superpixel-based region-growing image segmentation[J]. Journal of Electronic Imaging, 2018, 26(6): 1-24. [百度学术]
Lei T, Jia X, Zhang Y, et al. Superpixel-based fast fuzzy c-means clustering for color image segmentation[J]. IEEE Transactions on Fuzzy Systems, 2019, 27(9): 1753-1766. [百度学术]
DONG Zhi-Peng, WANG Mi, LI De-Ren. A high resolution remote sensing image segmentation method by combining superpixels with minimum spanning tree[J]. Acta Geodaetica Et Cartographica Sinica(董志鹏, 王密, 李德仁. 一种融合超像素与最小生成树的高分辨率遥感影像分割方法. 测绘学报), 2017, 46(6):734-742. [百度学术]
Liu T G, Miao Q G, Tian K, et al. SCTMS: Superpixel based color topographic map segmentation method[J]. Journal of Visual Communication and Image Representation, 2016, 35: 78-90. [百度学术]
Fu Z, Sun Y, Fan L, et al. Multiscale and multifeature segmentation of high-spatial resolution remote sensing images using superpixels with mutual optimal strategy[J]. Remote Sensing, 2018, 10(8): 1289. [百度学术]
Devkota B, Alsadoon A, Prasad P W C, et al. Image segmentation for early stage brain tumor detection using mathematical morphological reconstruction[J]. Procedia Computer Science, 2018, 125: 115-123. [百度学术]
Zhou C, Liang D, Yang X, et al. Recognition of wheat spike from field based phenotype platform using multi-sensor fusion and improved maximum entropy segmentation algorithms[J]. Remote Sensing, 2018, 10(2): 246. [百度学术]
Lei T, Jia X, Liu T, et al. Adaptive morphological reconstruction for seeded image segmentation[J]. IEEE Transactions on Image Process, 2019, 28(11): 5510-5523. [百度学术]
Zhou S, Xu Z, Liu F. Method for determining the optimal number of clusters based on agglomerative hierarchical clustering[J]. IEEE Transactions on Neural Networks & Learning Systems, 2017, 28(12): 3007-3017. [百度学术]
Dragu L, Tiede D, Levick S R. Esp: a tool to estimate scale parameter for multiresolution image segmentation of remotely sensed data[J]. International Journal of Geographical Information Science, 2010, 24(6): 859-871. [百度学术]
Wang M, Liu X, Gao Y, et al. Superpixel segmentation: a benchmark[J]. Signal Processing Image Communication, 2017, 56: 28-39. [百度学术]
Chen J, LI Z, Huang B. Linear spectral clustering superpixel[J]. IEEE Transactions on Image Processing, 2017, 26(7):3317-3330. [百度学术]
Achanta R, Shaji A, Smith K, et al. Slic superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(11): 2274-2282. [百度学术]