基于超像素的高分辨率影像建筑物提取.doc

1、基于超像素的高分辨率影像建筑物提取 莫中夏 张新长 张志强 中山大学地理科学与规划学院 摘 要： 建筑物提取对于基础地理数据获取与更新具有重要意义。针对传统的基于像元方法难以利用影像空间、上下文信息以及面向对象方法最优分割尺度难以确定等问题, 该文提出一种基于超像素的高分辨率影像建筑物提取方法。首先利用LiDAR 点云数据生成归一化高程模型以获取地物的高度特征, 并通过Layerstacking 方式与高分辨率影像融合;随后基于 Simple Linear Iterative Clustering (SLIC) 算法分割高分辨率影像的 RGB 彩色图像生成超像素;继而基于分割所得的超像素中的每

2、个像元对超像素进行特征计算;最后使用基于 RBF 核的支持向量机方法进行超像素级别分类, 得到建筑物提取结果。实验结果表明, 该方法能够有效识别出简单场景和复杂场景下的建筑物, 显著消除了传统基于像元方法出现的“椒盐效应”, 同时避免了面向对象方法中最佳分割尺度选择的难题, 取得了较好的建筑物提取效果。关键词： 建筑物; 超像素; SLIC; LiDAR; 作者简介：莫中夏 (1992-) , 女, 硕士研究生, 主要研究方向为城市地理信息系统。E-mail:收稿日期：2017-07-18基金：国家自然科学基金重点项目 (41431178) ;国家自然科学基金面上项目 (41671453) B

3、uilding Extraction Based on Superpixels of High-Resolution ImageMO Zhong-xia ZHANG Xin-chang ZHANG Zhi-qiang School of Geography and Planning, Sun Yat-sen University; Abstract： Traditionally, the space and context information are difficult to be used in pixel-based method and the optimal segmentatio

4、n scale is hard to be determined in the object-oriented method.To solve the problem, a high-resolution image building extraction method based on superpixel was proposed in this paper.Simple Linear Iterative Clustering (SLIC) is a kind of superpixels segmentation algorithm which has been developed in

5、 recent years.It has the following characteristics, which includes simple principle, fast segmentation, high degree of attachment to the boundary of the feature, and more attention to the shape.However, there are relatively few studies on the use of SLIC in the field of remote sensing.In this study,

6、 the RGB color image of the high-resolution image was segmented based on the SLIC algorithm to generate superpixels.Then, the normalized elevation model was generated by using the LiDAR point cloud data to obtain the height information of the features, and then it was merged with the high-resolution

7、 image by the way of layerstacking.Finally, the Support Vector Machine (SVM) method based on RBF kernel was used to classify the superpixels, and the result of building extraction was obtained.The experimental results showed that the proposed method could effectively identify the buildings in simple

8、 scenes and complex scenes, and eliminate the “ salt and pepper effect“ of the traditional pixel-based method.At the same time, it avoided the problem of the optimal segmentation scale selection in the object-oriented method and got a better building extraction.This building extraction method has a

9、certain reference value in practical application.Keyword： buildings; superpixels; SLIC; LiDAR; Received： 2017-07-180 引言建筑物是城市的重要组成要素, 在城市规划、制图、民用和军事应急响应等方面有着广泛应用1。城市的高速发展对建筑物的提取和更新提出了新的需求, 特别是利用遥感技术实现建筑物的快速、精确提取具有重要的现实意义。高空间分辨率遥感影像 (简称“高分辨率影像”) 为城市区域的建筑物提取提供了有效途径2。然而, 这种分辨率的提高会导致影像高度细节化, 空间信息丰富, 单个像

10、元无法准确表示地物空间结构信息, 使基于传统的像元分类方法进行地物识别难以获得理想效果2。面向对象的方法以对象为基本单元, 在利用对象光谱特征的同时, 综合了高分辨率影像的空间、纹理、上下文等信息, 与基于像元的方法相比, 在高分辨率影像的地物识别上更具优势。已有不少学者尝试利用面向对象的方法对高分辨率影像进行建筑物提取3-7, 如利用基于知识规则的面向对象分类提取城区建筑物8以及利用多特征融合的方法提取建筑物9, 均取得了较高的精度。然而, 大多数面向对象的建筑物提取方法是基于初始分割, 结果直接受到分割性能的影响10。而目前常用的分割方法 (如多尺度分割) 存在效率低下、最佳分割尺度难以确

11、定等问题11, 严重制约了面向对象方法的应用推广。为此, 亟须发展一种分割效率高、提取效果好的建筑物提取方法。Simple Linear Iterative Clustering (SLIC) 是近年兴起的一种超像素分割算法, 因其原理简单、分割速度快、与地物边界附着度高、形状较规整而受到关注12。在计算机视觉领域中, 已有不少学者尝试使用超像素进行对象检测13-15, 表明超像素在对象检测方面具有广泛的应用前景。但目前在遥感领域中使用超像素进行地物识别的研究相对较少16-18, Csillik11对高分辨率影像使用 SLIC 超像素分割算法进行分割后, 利用随机森林分类器进行了影像分类, 取

12、得了较高的分类精度。然而, 现有研究仅基于影像数据的光谱信息而未融合多源数据, 由于城市环境复杂, 单纯利用影像数据实现建筑物的精确提取还有一定难度。鉴于上述分析, 本研究提出一种基于 SLIC 超像素分割的建筑物提取方法, 将高分辨率影像与 LiDAR 点云数据提取的归一化数字表面模型 (nDSM) 融合, 采再用 SLIC 超像素分割算法分割融合图像生成超像素, 再以超像素为处理单元, 使用非线性 RBF 核的支持向量机 (SVM) 提取建筑物。1 研究方法本文基于超像素的建筑物提取方法步骤如下:1) 首先从 LiDAR 点云数据中提取nDSM, 通过 Layerstacking 方式将

13、nDSM 与高分辨率影像融合, 生成一幅具有 5个波段的图像;2) 采用 SLIC 超像素分割算法将融合图像中的 RGB 彩色图像分割成形状规整的超像素;3) 以超像素为基本处理单元, 计算每个超像素的特征;4) 最后基于 RBF 核的支持向量机进行建筑物提取 (图 1) 。图 1 基于超像素的建筑物提取方法流程 Fig.1 Flowchart of building extraction based on superpixels 下载原图1.1 LiDAR 点云数据与影像融合由于本研究的目的是进行建筑物的提取, 而 LiDAR 点云特征中的 nDSM 表示地物的高度信息, 能够弥补高分辨率影

14、像在获取地物高度信息上的不足, 理论上最有助于建筑物的提取, 为此, 实验选择将 nDSM 与高分辨率影像融合。首先, 对原始 LiDAR 点云数据进行插值, 生成数字表面模型 (DSM) ;其次, 对原始 LiDAR 点云作滤波后得到数字高程模型 (DEM) ;最后, 将 DSM 与 DEM 进行差值运算, 生成 nDSM。Layerstacking 是一种波段叠加方式, 能将多个波段叠加得到一幅多波段图像。这种方式不会对高分辨率影像带来信息损失, 同时能够利用 LiDAR 点云数据提取的特征提高建筑物提取精度。在对高分辨率影像与 nDSM 进行精确配准后, 采用 Layerstacking

15、 方式将 nDSM 与高分辨率影像的 R、G、B、IR 4 个波段融合, 生成具有 5 个波段的图像。1.2 基于 SLIC 的超像素分割超像素是一组空间相邻的相似像元19, 在计算机视觉领域广受欢迎。作为目前较高效的超像素分割算法, 基于 SLIC 的超像素分割算法20只需设置一个参数 K, 即超像素的预设数量, 简单、易于实现。该算法将彩色图像转换为CIELAB 颜色空间, 生成包括 x, y 坐标在内的 5 维特征向量l, a, b, x, y, 然后对 5 维特征向量构造度量标准, 对图像像元进行局部聚类。该算法速度较快, 能生成紧凑、近似均匀的超像素。算法具体步骤为:(1) 初始化聚

16、类中心。将预设的超像素个数 K 作为算法输入, 对于有 N 个像元点的图像而言, 生成的超像素的大小为 N/K;设 K 个聚类中心为 Ci=li, ai, bi, xi, yi, 则每个聚类中心的距离近似为 。为避免聚类中心处于图像的边缘位置而对后续的聚类过程造成干扰, 算法将聚类中心在以其为中心的33 的窗口内移动到梯度值最小的位置, 同时为每个聚类中心分配一个单独的标签。图像梯度计算公式为:式中:I (x, y) 是对应于 (x, y) 处像元的 lab 向量, lab 指前文提到的CIELAB 颜色空间;是 L2 范数。(2) 相似度衡量。对于每个像元点, 分别计算与其距离最近的聚类中心

17、的相似程度, 并将最相似聚类中心的标签赋给该像元, 不断迭代该过程, 直至收敛。相似度的计算公式如下:式中:d lab为像元点间的颜色差异;d xy为像元点间的空间距离;L 为聚类中心的间距;m 为平衡参数, 用于衡量颜色值与空间信息在相似度衡量中的比重;D L是由网格间隔 L 归一化的 lab 距离和 xy 平面距离的总和, 用于控制超像素的紧凑度, DL取值越大, 说明两个像元越相似。SLIC 是一种自适应的 k 均值聚类, 为了提高算法的运算速度, 每个聚类中心只在以其为中心的 2L2L 区域内搜索相似像元, 而非在整张图像中寻找。1.3 超像素的特征计算与单个像元不同, 超像素是由一组

18、具有相似光谱特征的像元构成, 每个超像素的特征是其组成像元的综合表征。因此, 这里以超像素内所有像元的特征均值作为超像素的特征值。令 Im表示遥感影像数据, 生成的超像素为 S=S1, S2, , Sk, 其中 k 是影像的超像素的个数。设第 i 个超像素 Si由 n 个像元组成, 则超像素 Si的特征值计算公式为:式中: 分别表示超像素 Si的红、绿、蓝、近红外 4 个波段的特征值及由 LiDAR 点云生成的归一化数字表面模型 (nDSM) ;同理, Rxj、G xj、B xj、IR xj和 nDSMxj表示像元 xj相应波段的特征值;Mean () 为均值函数。1.4 基于支持向量机 (S

19、VM) 的建筑物提取支持向量机是建立在统计学习理论上的一种机器学习方法, 体现了学习过程的一致性和结构风险最小化原理, 无需特征空间正态分布的假设21, 是目前较为理想的地物识别方法。其基本原理是在一个线性可分的数据集中寻找最优超平面以达到分类目的, 是一种二分类器。同时, 该方法也是一种监督分类器, 需要输入训练样本。如图 2 所示, 图中两种颜色的圆点分别代表两类样本, H 表示分类线, H1、H2 为过各类中距分类线最近样本且平行于分类线的直线, 两条直线间的距离称为分类间隔 (m) 。最优分类线是能将类别正确分开的同时达到最大分类间隔的直线。通过分类线性方程 (式 (6) ) 确定最优

20、分类线, 对其进行归一化, 使线性可分的样本集 (x i, yi) 满足式 (7) , 其中, 图 2 最优超平面 Fig.2 The optimal hyper plane 下载原图在线性可分的情况下, 支持向量机是以最优超平面实现分类。当分类间隔为2/时, 满足式 (7) 且使分类间隔最大的超平面即为最优超平面, 此时, H1、H2 上的样本点为支持向量。由于实际应用中不完全是线性可分的情况, 对于非线性问题, 支持向量机引入了核函数, 将非线性映射到高维特征空间, 在高维特征空间中构建线性判别函数以实现非线性分类。常用的核函数有线性函数、多项式函数、径向基函数 (RBF) 及 Sigmo

21、id 函数, 通常 RBF 核函数适应性较强, 应用效果优于其他核函数。因此, 本文以超像素为基本单元, 采用非线性径向基函数 (RBF 核) 的支持向量机 (SVM) 进行建筑物提取。2 实验与分析2.1 实验数据为验证本文方法的有效性, 从美国印第安纳州选取了 2 个研究区域 (图 3, 彩图见封 3) , 区域大小分别为 1 387*1 736、1 054*911。区域 1 的建筑物分布较稀疏, 且无高大树木遮挡;区域 2 的建筑物较密集, 颜色斑杂, 有高大树木遮挡, 提取难度相对较大。两个区域均使用 NAIP 高空间分辨率影像和相应的LiDAR 点云数据。其中, 高空间分辨率影像获取

22、时间为 2013 年, 分辨率为0.5Feet (约为 0.2m) , 包括 R、G、B 和 IR 4 个波段;同期的 LiDAR 点云数据平均点云密度约为 1 个/m, 包含 X、Y、Z 坐标及多次回波强度信息。对实验结果的精度评价所用的地面参考数据是人工解译的建筑物矢量结果图 (图 4) 。图 3 研究区高分辨率影像 Fig.3 High-resolution images of the study area 下载原图图 4 研究区地面参考图像 Fig.4 Ground reference images of the study area 下载原图2.2 实验结果2.2.1 分割结果本文方

23、法首先基于 SLIC 超像素分割算法对研究区域融合图像中的 RGB 彩色图像进行分割, 生成超像素。研究表明, 当超像素的尺寸为像元大小的 10 倍时, SLIC 超像素分割算法的效率及分割效果均较佳11。为此, 实验中将每个超像素的大小预设为 10*10 像元, 则分别设定区域 1 和区域 2 生成的超像素个数为24 078 和 9 600。为同面向对象的方法进行对比, 采用面向对象方法中常用的多尺度分割算法 (MultiResolution Segment, MRS) 分别对两个研究区域进行分割处理。根据实验结果, 区域 1、区域 2 在分割尺度分别为 100 和 50 时分割结果最佳。两

24、种分割方法的分割效果如图 5 所示。图 5 基于 SLIC 超像素和多尺度分割局部结果 Fig.5 The local results based on SLIC superpixels segmentation and multi-scale segmentation 下载原图由图 5 可以看出, 基于 SLIC 超像素分割算法得到的结果是形状较为规则的超像素, 边缘附着性较好, 内部同质性高。而多尺度分割方法则生成一个个对象, 分割尺度的设置直接影响对象的尺寸, 在分割尺度选取不当的情况下, 一个对象可能包含多种地物, 直接影响提取效果。目前多尺度分割方法尺度的选取依赖于经验, 需要不断尝

25、试, 而 SLIC 分割只需确定超像素的数量, 无需花费时间重复试验以获取最佳分割尺度。2.2.2 归一化数字表面模型据前文所述, 对原始 LiDAR 点云数据进行处理, 可生成研究区的 nDSM, 结果如图 6。图 6 LiDAR 点云数据特征 Fig.6 LiDAR point cloud datas features 下载原图2.2.3 基于 SVM 的建筑物提取结果SVM 方法需要选取训练样本, 且样本选取时要充分考虑各种地物的光谱、结构、纹理特征及地物分布情况等因素22。本研究将训练样本分为建筑物和非建筑物两大类, 根据地面参考图像, 采用分层随机抽样 (Stratified Ran

26、dom Sampling) 的方法选取样本, 得到各类别样本统计结果如表 1 所示。为检验本文方法的有效性, 本研究基于训练样本, 针对两个研究区的高分辨率影像、高分辨率影像融合 LiDAR 两种数据组合, 分别采用基于像元、基于超像素和基于多尺度分割的面向对象方法进行建筑物的提取, 并分析融合 LiDAR 点云数据对提高建筑物提取精度的贡献度, 实验结果如图 7、图 8 所示。表 1 训练样本统计结果 Table 1 Statistical results of training samples 下载原表 图 7 区域 1 建筑物提取结果 Fig.7 Building extraction

27、results of area 1 下载原图图 8 区域 2 建筑物提取结果 Fig.8 Building extraction results of area 2 下载原图图 7、图 8 中, (a) - (c) 分别为采用 3 种方法对高分辨率影像进行建筑物提取的结果, 可以看出, (b) 和 (c) 明显优于 (a) , 且 (b) 、 (c) 两者视觉效果相差不大, 表明高分辨率影像上基于面向对象的方法和基于超像素的方法结果相近。 (d) - (f) 则分别为采用 3 种方法对高分辨率影像融合 LiDAR 点云数据后进行提取的结果, 可以看出, 从左往右提取效果逐渐变优, 表明基于超像

28、素的方法在建筑物提取上比基于像元的方法和面向对象的方法略优。纵向比较结果图, 即 (a) 与 (d) 、 (b) 与 (e) 、 (c) 与 (f) 进行比较, 发现融合 LiDAR 点云数据的提取结果比高分辨率影像的提取结果好, 表明 LiDAR 点云数据能够优化建筑物的提取效果。2.3 精度评价为定量分析建筑物提取的效果, 用人工解译的矢量结果作为地面参考数据, 对实验结果进行基于像元的全样本精度评价 (表 2) 。其中, “Pixels”表示基于像元的方法;“MRS-Object”为基于多尺度分割的面向对象方法;“SuperPixels”为基于超像素的方法;“Image”、“Image+

29、LiDAR”分别为高分辨率影像及其融合 LiDAR 点云数据后的影像。表 2 建筑物提取的总体精度和 Kappa 系数 Table 2 Overall accuracy of building extraction and Kappa coefficient 下载原表 对于区域 1, 本文基于超像素的方法对融合图像进行建筑物提取的总体精度高达 94.95%, 高于基于像元方法与基于多尺度分割的面向对象方法的总体精度 (二者分别为 90.93%、92.93%) 。由图 7f 可以看出, 基于超像素的方法能有效提取面积较小的建筑物。同样, 对于高分辨率影像下的建筑物提取, 基于超像素的方法在建筑物

30、分布较为稀疏、场景复杂度较小的情况下能够有效提取建筑物, 且提取结果优于基于像元的方法和基于多尺度分割的面向对象方法。另外, 在融合 LiDAR 点云数据的情况下, 3 种方法的提取精度都高于单纯使用高分辨率影像提取的结果的精度, 表明将 LiDAR 点云与高分辨率影像融合能够有效提高建筑物的提取精度。值得说明的是, 由于 SLIC 超像素分割算法与地物边界附着性好, 对比高分辨率影像可知, 基于超像素的方法提取的结果边缘与建筑物顶部细节紧密贴合, 以至于与地面参考图中极为规则的建筑物轮廓略有差异。区域 2 的结果与区域 1 的情况类似, 基于超像素方法的建筑物提取效果最佳 (总体精度 90.

31、48%) 。此外, 由于超像素能够利用高分辨率影像的纹理、空间、上下文信息, 有效地减弱了基于像元的方法中存在的“椒盐效应”, 其所得结果精度更高。但由于超像素的大小是 10*10 像元, 而区域 2 是建筑密集分布的场景, 建筑物间隔小于 10 个像元, 因而提取结果显示为建筑物连续分布, 说明使用超像素的方法在识别建筑的细微间隔方面尚存改进之处。3 结论本文提出一种基于超像素分割的建筑物提取方法, 采用目前较为高效的 SLIC 分割算法对高分辨率影像进行分割, 生成与实际地物边缘附着性好的超像素, 并以超像素代替单个像元作为基本处理单元, 有利于降低对噪声的敏感性及计算的复杂度, 提高了后

32、续处理的效率, 同时能够充分利用高分辨率影像的纹理、空间及上下文信息。研究结果表明:1) 在建筑物分布密集或稀疏的场景下, 基于超像素的建筑物提取, 既显著减弱了基于像元方法的“椒盐效应”, 又避免了多尺度分割方法最佳尺度选择的难题, 提取的建筑物边缘较贴合实际边界;2) 融合 LiDAR 点云数据能有效弥补高分辨率影像缺乏高度信息的不足, 显著提高了建筑物的提取精度。总体而言, 基于超像素的建筑物提取方法在实际应用中具有一定的价值。然而, 由于超像素的尺寸大于像元, 在建筑物分布密集的情况下, 基于超像素的方法在提取建筑物的细小间隔方面存在不足, 导致提取的结果呈现连续分布的现象, 这是今后

33、需要解决的问题。另外, 本文仅融合了一个 LiDAR 点云数据特征, 后续研究可考虑结合其他信息 (如强度信息) 以改进提取精度。参考文献1SOHN G, DOWMAN I.Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extractionJ.ISPRS Journal of Photogrammetry and Remote Sensing, 2007, 62 (1) :43-63. 2CHEN L, ZHAO S, HAN W, et al.Building de

34、tection in an urban area using lidar data and QuickBird imageryJ.International Journal of Remote Sensing, 2012, 33 (16) :5135-5148. 3TEO T A, CHEN L C.Object-based building detection from LiDAR data and high resolution satellite imageryA.Proceedings of the 25th Asian Conference on Remote SensingC.20

35、04.6. 4陈杰, 邓敏, 尚鹏峰, 等.粗糙集高分辨率遥感影像面向对象分类J.遥感学报, 2010, 14 (6) :1139-1155. 5王旭东, 段福洲, 屈新原, 等.面向对象和 SVM 结合的无人机数据建筑物提取J.国土资源遥感, 2017, 29 (1) :97-103. 6乔程, 骆剑承, 吴泉源, 等.面向对象的高分辨率影像城市建筑物提取J.地理与地理信息科学, 2008, 24 (5) :36-39. 7周亚男, 沈占锋, 骆剑承, 等.阴影辅助下的面向对象城市建筑物提取J.地理与地理信息科学, 2010, 26 (3) :37-40. 8陶超, 谭毅华, 蔡华杰, 等.

36、面向对象的高分辨率遥感影像城区建筑物分级提取方法J.测绘学报, 2010, 39 (1) :39-45. 9谭衢霖.高分辨率多光谱影像城区建筑物提取研究J.测绘学报, 2010, 39 (6) :618-623. 10KARADAC, SENARAS C, VURAL F T Y.Segmentation fusion for building detection using domain-specific informationJ.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,

37、 2015, 8 (7) :3305-3315. 11CSILLIK O.Fast segmentation and classification of very high resolution remote sensing data using SLIC superpixelsJ.Remote Sensing, 2017, 9 (3) :243. 12ACHANTA R, SHAJI A, SMITH K, et al.SLIC superpixels compared to state-of-the-art superpixel methodsJ.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34 (11) :2274-2282.