1、基于 Kinect 传感器的移动机器人室内三维环境创建 刘继忠 吴文虎 程承 曾成 王光辉 南昌大学机电学院 堪萨斯大学电子工程与计算机科学系 摘 要： 针对移动服务机器人需要感知室内工作环境问题, 提出了一种基于低成本Kinect 传感器的三维环境创建实用方法。机器人在移动过程中, Kinect 传感器实时采集 RGB 信息和深度信息, 将 RGB 图像信息映射到深度图像信息中, 采用联合双边滤波对深度图像进行预处理, 获得质量比较高的点云数据。对采集到的大量点云数据, 采用半径滤波器算法对点云进行精简, 剔除离群点, 减少点云数量, 提高匹配速度。点云配准时, 采用 NDT 算法完成初始配
2、准, 从而得到图像帧间粗略的转换关系, 并运用 GICP 算法对采集的多视角点云数据进行精确配准, 得到拼接的三维点云场景。实验结果表明:本文方法具有更好的重建效果和更高的效率, 可以应用于室内场景三维环境创建。关键词： Kinect 传感器; 联合双边滤波; NDT; GICP; 三维环境创建; 作者简介：王光辉 (1968) , 男, 吉林长春人, 南昌大学讲座教授, 博士;E-mail:ghwangku.edu。收稿日期：2017-06-28基金：国家自然科学基金面上项目 (61273282) Kinect-based 3D indoor environment building for
3、 mobile robotLIU Ji-zhong WU Wen-hu CHENG Cheng ZENG Cheng WANG Guang-hui School of Mechanical and Electrical Engineering, Nanchang University; Abstract： In order to solve the problem of indoor environment self-perception for mobile service robots, a new 3 D environment reconstruction method based o
4、n low cost Kinect sensor is proposed.Kinect sensor can collect RGB information and depth information in course of robot moving. Firstly, the RGB image information is mapped to the depth image information; and then, the Joint Bilateral filtering is used to preprocess the depth image to obtain the hig
5、h quality point cloud data. Secondly, the radius filtering algorithm is used for the simplification of the collected large point cloud data to eliminate outliers, reduce the number of cloud points, and improve the matching speed. Thirdly, the NDT ( Normal Distributions Transform) algorithm is adopte
6、d to complete the initial registration, and the rough transition relation between frames is obtained. Finally, the GICP ( GeneralizedIterative Closest Point) algorithm is used to register the multi view point cloud data accurately and the reconstruction 3 D scenes of indoor environment are obtained.
7、 The experimental results show that the proposed method has better reconstruction effect and higher efficiency, and can be applied to 3 D scene construction of indoor environment.Keyword： Kinect sensor; joint bilateral filtering; Normal Distributions Transform; Generalized Iterative Closest Point; 3
8、D environment modeling; Received： 2017-06-280 引言微软公司的产品 Kinect 传感器, 可以实时获得场景深度信息, 近年来在机器视觉, 三维重建, 目标跟踪等研究领域内得到广泛应用。由于镜头自身的原因以及周围环境的影响, Kinect 设备采集的深度图像常常含有较多噪声和空洞。深度图像如果不经预处理, 会导致采集的点云数据丢失特征信息, 增加了三维重建的误差, 为此有必要设计适当的滤波器对其进行修复去噪。为了实现三维场景重建, 使用双边滤波器对深度图像进行滤波的方法被学者应用在 Kinect Fusion 系统中。徐欢等1结合时间相关性和空间相关
9、性对双边滤波进行改进, 深度图像质量大大提高;陈晓明等2分析了噪声的范围, 将双边滤波的权值函数修改为二值函数, 降噪性能和计算效率都优于传统双边滤波方法;吴倩等3提出了一种与彩色图像结合的局部分割的深度图像修复方法。三维重建是获得帧间的相对位置, 根据帧间变换矩阵将其转换到同一坐标系下。目前配准的方法有特征点法和迭代最近点法。特征点法又分为 3D 特征点法, 如快速点云直方图法 (FPFH) 和同时考虑多对 3D 与 2D 匹配点法, 如 PNP 法。在实际运用中, 当无法检测到足够多的特征点, 未得到充足有效的匹配时, 以上两种基于特征的方法就会失效。考虑到算法的鲁棒性, 业内把迭代最近点
10、法作为主流方法, 迭代最近点 (iterative closest point, ICP) 算法4是 Besl在 1992 年提出的, ICP 算法经过十几年的发展, 被大量研究者不断完善和补充。Senin 等5提出能够增强 ICP 配准精度的方法;Lena 等6分析并改进了 ICP 算法的匹配错误;Sacharow 等7提出 ICP-NI 的改进算法;张金魁8提出了基于曲率的局部配准算法;周春艳等9研究了三维点云的特征对 ICP 算法进行改进;Servos 等10引入点云特征法向量, 将目标函数改为面到面的距离, 同时在计算残留误差时引入概率模型, 求取变换矩阵。笔者提出了基于 Kinect
11、 传感器的三维环境重建方法, 环境创建过程分为图像数据预处理和点云数据配准两大步骤。首先对 Kinect 传感器采集的 RGB 图像和深度图像进行融合, 然后采用联合双边滤波算法对深度图像进行修复, 得到较清晰的深度图像。结合 Kinect 深度摄像头和 RGB 摄像头的内外参数, 获取每帧RGB 三维点云数据。点云配准阶段, 本文首先采用 NDT (normal distributions transform) 算法11进行粗配准, 得到初始变换矩阵;精确配准阶段采用广义ICP (iterative closest point) 算法12-13迭代求取变换参数, 完成三维环境重建。1 复杂场
12、景数据获取1.1 深度图预处理修复受噪声以及成像原理等相关因素的影响, Kinect 采集的深度数据是不稳定的, 某些帧中点的深度信息会丢失, 会在深度图像中形成空洞, 因此需要对深度信息进行修复预处理。Kinect 传感器可以同时采集 RGB 信息和深度信息, 本文采用联合双边滤波对深度图像进行预处理。联合双边滤波器是一种双边滤波器改进算法, 它综合使用了距离项与颜色相似项。同一场景拍摄的 RGB 图和深度图, 分别作为引导图像和修复图像。根据联合双边滤波的原理, 深度图像的修复公式定义如式 (1) :其中, I (x, y) 是处理后的图像, D (i, j) 是待处理的初始图像, 是当前
13、处理像素的邻域, w (i, j) 是滤波器在点 (i, j) 处的权。w p是一个标准量, 可用式 (2) 表示:联合双边滤波器同时关注了像素在空间和幅度两个域上的相似性, 所以权值 w (i, j) 表示为:权值 w (i, j) 和像素的空间距离线性相关, 距离越近, 权值 wk (i, j) 也越大, 其滤波核函数可以定义如下:权值 w (i, j) 和像素值线性相关, 图像边缘处像素值变化大, 权值 wg (i, j) 值较小, 其滤波核函数可以定义如下:其中, k、 g分别为 wk (i, j) 与 wg (i, j) 的标准差。1.2 点云数据获取点云数据获取是根据深度图像的深度
14、信息计算出空间点在世界坐标系中的坐标。相机成像模型中世界坐标系与深度图像投影坐标系的原点并不是重合的, 因此, 空间点三维坐标需要根据两坐标系的相关关系计算求得。像机成像模型可以看作理想的针孔成像模型。Kinect 摄像头采集的深度图像的分辨率为 512424, 根据简单的相似三角形原理, 得到 X、Y 坐标分别为:图 1 可视化的室内场景点云信息 Fig.1 Visual indoor scene cloud information 下载原图式中, u、v 分别为图像坐标系中的横坐标和纵坐标, X、Y 分别为世界坐标系中的横坐标和纵坐标, Z 为深度信息, f 为标定后获取的焦距。Kinec
15、t 深度摄像头获取场景深度信息, 经过坐标变换可以得到三维场景的点云信息 (X, Y, Z, R, G, B) , 利用 PCL 开源库的 Viewer 类显示, 如图 1 所示。2 点云配准2.1 NDT 算法初始配准在对点云进行精确配准之前, 需要对点云数据进行初始变换, 相对缩小配准误差, 为精确配准提供良好的初始值, DNT (normal distributions transform) 配准算法耗时稳定, 跟初值相关不大, 初值误差大时, 也能很好地纠正过来, 适合处理大数据量点云, 具有很好的实时性, 能为 ICP 精配准提供初始值, 为此, 本文采用 NDT 算法初始配准。算法
16、步骤如下:(1) 将点云模型空间细分为均匀大小的单元格 b。(2) 计算每个单元格 b (最少包含 6 个点) 中点的均值向量 q 和协方差矩阵 C。xk=1, , n, 是方格中包含的点。(3) 对单元格 b 中每个点 x 进行正态分布建模, 概率密度函数 (PDF) 如下, m为常量:(4) 将点云空间表示为一组正态分布N (, ) , 形成一个分段光滑的空间。(5) 使用 Hessian 矩阵法对两幅点云空间的正态分布N (, ) 的概率密度值进行优化来配准点云。令 f=s (p) =p (x) , 为使函数 f 最小, 使用迭代处理一下方程:其中 g 为 f 的转置梯度, 是 f 的
17、Hessian 矩阵, 2.2 广义 ICP 算法精确配准在原始三维环境重建算法中使用标准 ICP 算法进行运动变换优化, 而标准 ICP算法进行点云配准时的误差较大, 本文采用一种用于高精度点云配准的算法, 即 G-ICP (Generalized-ICP) 算法。该算法的误差比标准 ICP 算法误差小一个数量级, 广义 ICP 加入了点云特征法向量, 通过加入几何特征的限制条件, 进一步降低了找到错误点对的概率, 可以快速确定候选点集, 大大地提高搜索速度。设有两个三维点集 X=x1, x2, , xn和 Y=y1, y2, , yn, 利用 ICP 算法求取空间 T (包括旋转矩阵和平移
18、矩阵) , 使得 X 经过 T 变换后的集合 X和 Y 的残留误差最小。广义 ICP 配准算法如下:在概率模型下, 假设存在点集 使得 xi, yi服从正态分布其中C i和C i是与测量点云相关的协方差矩阵。定义di=yi-T xi, 那么变换矩阵 T 需要满足:化简残留误差 E 得到:3 实验结果及分析本文方法是 Kinect2.0 传感器在 VS2013 的平台上结合 Open CV 和 PCL 用 C+实现, 处理器为一台 Intel 四核 3.6 GHz 主频的 PC 机, 运行 Windows8.0 操作系统。为了验证本文方法中点云配准的有效性, 以 Kinect2.0 采集的室内点
19、云数据为实验对象, 将本文方法与文献12、13中的方法进行比较。以 Kinect 采集的室内环境点云数据为实验对象, 采集的点云个数为 183 395 个, 实验结果和实验配准误差及算法时间如图 2 和表 1 所示。实验结果可以看出, 文献12和13的方法中柜子出现了叠影, 配准效果较差, 误差较大, 而本文方法柜子融合的很好, 配准误差小很多, 配准效果很好, 而且算法时间也大大减少, 提高了三维重建的效率。图 2 点云配准实验结果 Fig.2 Experimental results of point cloud registration 下载原图表 1 实验配准误差及算法时间 Tab.1
20、 Experimental registration error and algorithm time 下载原表 最后利用 Kinect 传感器结合本文方法搭建系统, 实现室内环境的三维重建。图3, 图 4 分别给出不同室内环境的重建效果图, 图 3 采集了 12 帧办公室多视角点云数据, 图 4 为 Kinect 传感器每转动 10采集一帧的会议室 360全方位点云数据。从实验结果图可以看出, 室内环境的实物如柜子、沙发、椅子等能很好的重现, 相对位置明确, 为移动服务机器人感知外部环境提供了数据参考。图 3 办公室配准效果 Fig.3 Registration drawing of off
21、ice 下载原图图 4 会议室配准效果 Fig.4 Registration drawing of conference room 下载原图4 结语本文提出了一种基于 Kinect 传感器的三维室内环境创建方法。采用联合双边滤波器算法对融合了彩色图像信息的深度图的进行预处理, 较好地填补了缺失的深度信息, 为后续拼接提供了质量较高的点云数据。点云配准时以 NDT 作为初始配准, GICP 算法为精配准, 该配准方法对室内场景的点云数据有较好的配准效果。该方法不仅对两帧点云数据有较好的配准效果, 多帧点云数据同样适用。实验结果验证了本文方法用于室内环境三维地图创建的有效性。参考文献1徐欢, 郑江
22、滨.Kinect 深度图像修复算法J.微电子学与计算机, 2013, 24 (11) :98-103. 2陈晓明, 蒋乐天, 应忍冬.基于 Kinect 深度信息的实时三维重建和滤波算法研究J.计算机应用研究, 2013, 30 (4) :1216-1218. 3吴倩, 史晋芳, 王德娇, 等.结合彩色图像局部分割的 Kinect 深度图修复算法J.计算机应用研究, 2017, 34 (12) :854-860. 4BESL P J, MCKAY N D.A method for registration of 3-D shapesJ.IEEE Transactions on Pattern
23、Analysis and Machine Intelligence, 1992, 14 (2) :239-256. 5SENIN N, COLOSIMO B M, PACELLA M.Point set augmentation through fitting for enhanced ICP registration of point clouds in multi sensor coordinate metrologyJ.Robotics and Computer-Integrated Manufacturing, 2013, 29 (1) :39-52. 6LENA M H, FRANZ
24、 A M, SANTOS H R D, et al.Convergent iterative closest-point algorithm to accomodate anisotropic and inhomogenous localization errorJ.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34 (8) :1520-1531. 7SACHAROW A, BALZER J, BIERMANN D, et al.Non-rigid isometric ICP:A practical
25、registration method for the analysis and compensation of form errors in production engineeringJ.Computer-Aided Design, 2011, 43 (12) :1758-1768. 8张金魁.基于曲面的局部配准算法J.科技资讯, 2011 (9) :68-69. 9周春艳, 李勇, 邹峥嵘.三维点云 ICP 算法改进研究J.计算机技术与发展, 2011 (8) :75-77. 10SERVOS J, WASLANDER S L.Multi-Channel Generalized-ICP:A robust framework for multi-channel scan registrationJ.Robotics and Autonomous Systems, 2017, 87:247-257. 11胡修祥, 张良.结合 NARF 特征的改进型 3D-NDT 多视点云配准J.信号处理, 2015, 31 (25) :1674-1679. 12陆军, 彭仲涛, 董东来, 等.点云 FPFH 特征提取优化配准算法J.新型功能工业化, 2014 (7) :75-80. 13王瑞岩.计算机视觉中的相机标定及点云配准技术研究D.西安:电子科技大学, 2015.
