1、352第二十八届（2012）全国直升机年会论文无人飞行器自动着陆目标图像处理与仿真验证刘昌盛 徐锦法（南京航空航天大学直升机旋翼动力学重点实验室，南京，210016）摘 要: 本文研究了基于投影关系的无人飞行器位姿估计方法，设计了以正方形顶点为角点的着陆目标图像，分析和讨论了图像获取、数据预处理、边缘检测以及角点检测和提取等算法，搭建了基于Simulink 的着陆目标图像处理算法仿真验证平台，进行了着陆目标图像特征角点提取仿真验证。表明无人飞行器位姿估计方法及相关算法是可行有效，仿真验证平台简单好用，仿真验证效果好，为后续无人飞行器位姿估计算法实现奠定了基础。关键词: 位姿估计；Simulin
2、k；图像处理；角点提取1 引言无人飞行器能用于完成搜索、救援、监督、检查（如地雷探测）等任务，可以胜任需要冒险近地飞行或靠近其他物体的飞行任务，不像有人飞行器那样给飞行员安全带来威胁。当无人飞行器低速飞行或悬停于特定目标上空时，对于低成本的惯导系统（INS）或全球定位系统（GPS）来说很难精确定位，需要有新的信息来辅助精确定位。视觉图像感知是一种很好的技术途径。由于经典 GPS/INS 组合导航很难在所有情况下为无人飞行器自主飞行提供精确导航信息 1-2，计算机视觉作为无人飞行器自主飞行控制的辅助导航技术已受到业界的高度重视，是目前飞行器自主导航技术领域中的研究热点。有人驾驶飞行器主要靠飞行员
3、的眼睛来观察、判断飞行器状态，然后操控飞行器。计算机视觉技术就是模拟飞行员视觉，由机载摄像机获取环境场景，通过视觉算法进行图像处理，估计无人飞行器的相对位置与姿态。为此，要想获得准确的无人飞行器位置和姿态，图像处理算法是关键。图像处理除了需要对算法研究外，算法实现也很重要。通常用 C/C+等高级语言来实现，但这种方式对研究人员编程能力有很高要求，不利于算法研究。Matlab/Simulink 提供有图像处理功能模块集，能实现与常用图像处理硬件的接口，为研究人员算法研究提供有丰富的 Matlab 函数库，非常有利于图像处理算法研究和仿真验证。本文着重研究了无人飞行器着陆目标图像处理算法，应用 M
4、atlab/Simulink 相关功能模块设计了算法仿真验证平台。在 Simulink 环境中将系统各算法进行模块化封装，将封装好的模块连接在一起，就可得到完整的图像处理系统，为图像处理算法研究提供良好的仿真验证环境。2 无人飞行器位置姿态估计基于视觉的无人飞行器位姿估计方法较多，按位姿参数求解方法不同，分为投影关系法、几何关系法、和模式识别法三类 3。本文采用特征角点提取法进行位姿估计，属于投影关系法的一种。在无人飞行器着陆平台上放置人工制作的着陆目标，由机载摄像机拍摄图像，从中提取出点、线、区域、圆等特征信息，根据已知的目标尺寸大小和方位，利用投影关系估计飞行器相对位置和姿态。2.1 着陆
5、目标353为简化图像处理，自行设计的着陆目标须容易与背景识别和分割，特征点清晰可辨，能满足实时处理要求。如图 1（a）为本文所设计的着陆目标，由 4 个黑色正方形组成，其中 3 个小正方形相同，大正方形边长为小正方形边长的 2 倍。将正方形的顶点作为特征点，共 16 个。图 1（b）为着陆目标的世界坐标系，x、y 轴分别平行于正方形边缘，z 轴通过右手定则确定。(a) 着陆目标 (b) 着陆目标世界坐标系图 1 着陆目标及其对应世界坐标系2.2 摄像机投影位姿估计摄像机获取的目标图像是二维图像坐标系中的像素点集合，像素点齐次坐标为 ，对应1,yx目标点在摄像机坐标系中用 表示，在世界坐标系中的
6、表示为 ，则三者,cZYX,wZYX之间的转换关系为：， （1）10ccZKyx 10wTccZRYX其中 为比例因子， 为摄像机标定矩阵， 和 分别为世界坐标系到摄像机坐标系间转换的旋RT转矩阵和平移矩阵。目标图像由针孔摄像机利用透视投影原理获得。不失一般性，假定标定矩阵 ，则参考3IK文献4，定义着陆目标中特征角点的齐次坐标为 ，对应图像中特征角点坐Tiiii qq1321标为 ，并定义 ，代入（1）式得：Tiiix121TrT321（2）0000 212221 Tiiiii ii rxxqxq目标中所有特征点与其在图像上的像点都满足式（2） 。无人直升机着陆过程中由机载摄像机获得着陆目标
7、图像，通过图像处理得到图像坐标系中特征点的坐标值，由比例因子折算到摄像机坐标系下的特征点坐标值。由多个特征点构成齐次方程组，再用标准奇异值分解（SVD）方法计算式（2）左边特征点矩阵零空间的最小二乘估计，求得 。由于 为 3*3 正交矩阵，且行列式值Tr21R为 1，则 可由 和 叉积求得，从而求得 。3r12rR假定摄像机坐标系与无人直升机体轴系一致，参考文献5，便可得到旋转矩阵 、平移矩阵R，从中可以得出无人飞行器相对位置姿态估计值。T3543 图像处理算法3.1 视频图像获取视频图像的获取利用 Matlab/Simulink 工具中的视频图像获取模块完成，Video and Image
8、Processing Blockset 模块集和 Image Acquisition Toolbox 工具箱都能实现，可以直接从本地路径或硬件设备获取实时图像和视频数据流。前者模块集中的 Image From File 模块可读取一幅本地图像，From Multimedia File 模块可读入一段本地视频，可通过对模块属性或参数的设置，从本地图像路径中获取图像或视频；后者工具箱中的 From Video Device 模块能自动检测图像获取硬件设备，得到实时视频图像数据流。3.2 数据预处理视频图像获取模块得到原始视频图像，在生成、传输、转换过程中由于多种因素影响，最终得到的图像会含有椒盐噪
9、声、高斯噪声、信道噪声等噪声。为得到更为准确的目标信息，需要在图像边缘检测之前进行数据预处理。预处理有：（1）色彩空间转换。原始视频图像一般为真彩色，为便于图像处理，需要通过 Color Space Conversion 模块将其转 换 为 256 色 灰 度 图 像 。 针 对 着 陆 目 标 ， 将 原 始 图 像 转 换 为 灰 度 图 像 ， 背 景和 目 标 的 信 息 并 没 有 减 少 ， 但 灰 度 图 像 的 存 储 量 比 真 彩 色 显 著 降 低 ， 这 就 使 处 理 过 程 更 加 简 单 和省 时 。（2）图像中值滤波，实现数字图像降噪。中值滤波是一种基于排序统计
10、理论的非线性数字滤波技术，它把图像中每一像素点的值用该点某邻域模版内所有像素的灰度中间值代替。（3）背景与对象分割。采用自动阈值 Autothreshold 模块完成背景与对象的分割，利用全局阈值分割的 Otsu 法计算阈值，即使用同一个门限阈值 T 分割图像。Otsu 法的实质是遍历所有像素，将灰度值大于 T 的像素标注为 1，对应于对象，灰度值小于 T 的标注为 0，对应于背景。（4）去除小区域。经阈值分割后的图像可能包含面积较小的区域，被错认为目标对象，影响后续边缘提取和角点的检测，可利用 bwareaopen 函数将面积小于一定像素数的对象删除，降低角点提取的错误率。将上述预处理算法模
11、块利用 Simulink 中的 Creat Subsystem 命令集成并封装为数据预处理模块，即 Pre-process 模块，可完整实现灰度转换-中值滤波-阈值分割-去除小区域的预处理流程。3.3 边缘检测边缘检测的目的是将目标边缘从阈值分割后的图像中提取出来，便于进行角点提取。边缘发生在灰度突变的地方，连续条件下即为函数梯度突变的地方，于是利用像素灰度变化敏感微分算子进行检测边缘，这是一经典边缘检测方法。在 Video and Image Processing Blockset 工具箱中有一 Edge Detection 模块，可用于视频图像边缘检测，输出为二值图像，该模块支持的边缘检测
12、算子有 Sobel算子、Prewitt 算子、Roberts 算子和 Canny 算子等。本文采用 Canny 算法进行边缘检测，它是目前为止基于图像一阶导数特性的检测效果最好的边缘检测算法，其基本原理是基于图像梯度（即一阶导数）局部最大值获取边缘信息，用 Gauss 滤波器计算图像梯度。Canny 算法采用双阈值提取边缘，高阈值用于提取梯度强度较大的边缘像素点，记为强边缘点。若梯度强度值介于高低阈值之间，且与已检测出的强边缘点在 8 连通区域相连，则确定为弱边缘点。上述强、弱边缘点即为最终边缘点。双阈值法一定程度上消除了噪声干扰，提高了边缘检测精度，使提取的边缘点更具鲁棒性。3553.4 角
13、点检测和提取图像特征角点包含较多描述对象特性的关键信息，且对特征角点进行处理，可大大减少运算数据量。角点提取的方法较多，常用的方法有基于一、二阶偏导微分算子的角点检测算法、Harris 算法、Susan 算法，和基于曲率尺度空间（CSS）的角点检测算法。本文利用全局和局部曲率特性来检测和提取角点 6，通过平衡全局和局部曲率对角点检测的影响获得特征角点，具体步骤为：(1) 由 Canny 边缘检测算法取得二值边缘图像；(2) 用经典 CSS 方法 7由边缘图像提取边缘轮廓，并填充轮廓中的裂缝；(3) 轮廓提取后，首先在每一个轮廓以同样的低尺度值计算曲率，曲率计算参考文献6 ，然后将所有绝对曲率局
14、部最大值点作为候选角点，包括真角点、圆角或者噪声；(4) 动态阈值计算与真实角点确定。根据支持区域（ROS）的平均曲率计算自适应阈值，由自适应阈值确定候选角点是否成为真角点。比较候选角点曲率与自适应阈值，曲率大于阀值，则为真角点，否则将该点判定为圆角，从候选角点中剔除。自适应阈值的计算公式为：（3） 12-21LuiKRKuT其中 R 为系数， 是支持区域（ROS）平均曲率， 是轮廓上候选角点的位置， 是以 为K 21Lu中心的 ROS 的尺寸；(5) 防止角点误选，剔除错误角点。以候选角点为中心，使用候选角点临近的左右两侧两个角点动态计算出支持区域（ROS ） ，支持区域由所选候选角点分为左
15、右两部分，分别计算各部分候选角点的切线角，候选角点角度 C 就由这两部分的切线角确定，即：（4）.-2,-2121其 他其中 分别为候选角点的左右两部分切线角，如图 2 所示，C 为候选角点，A、B 为其左右两21和侧临近角点，A、B、C 三点不共线，三点范围内的轮廓即是支持区域（ROS ） 。以候选角点左半部分切线角计算为例，C、A 为曲线 CA 端点，M 为曲线 CA 中点，由 C、M 、A 三点确定以 C0 为圆心的假想圆。从点 C 到 C0 的方向角 可通过四象限反正切函数得到，同样也可得到从点 C 到 M 的方向角 ，于是候选角点左半部分的切线角为：（5）2-sin1g其中 sign
16、 为符号函数。同理计算候选角点右半部分切线角 ，然后根据式（4）得到候选角点角度，将候选角点角度与设定的角度阈值比较，候选角点角度大于设定阈值时为错误角点，将该角点剔除，否则判定为真角点。356图 2 支持区域内切线角表示(6) 经（4） 、 （5）两步剔除候选角点里的圆角和错误角点后，将剩余角点作为特征角点，然后在着陆目标图像中，对每个轮廓曲线按照逆时针顺序标记出 16 个特征角点，并以 1-16 标号。4 算法实现针对上述图像处理算法，利用 Matlab/Simulink 工具可以快速进行图像处理仿真，以验证相关图像处理算法的适用性和准确性。利用 Simulink 中的相关工具实现视频图像
17、获取、数据预处理、边缘检测、角点检测和提取等功能，系统处理模块如图 3 所示。 图 3 图像处理模块示意图如图 3 所示，Image From File 模块实现图像获取，Pre-process 模块完成预处理功能，EdgeDetector 模块输出二值边缘图像特征。二值边缘图像特征和角点位置皆以矩阵信号形式表示，角点检测与提取由 Level-2 M-file S-Function 模块实现。Level-2 M-file S-Function 函数模板是一个用户可定制模版，用于实现自定义功能。定制功能模块时需要包含 setup 函数和其它一些基本的子函数，setup 函数和 Output 函数
18、必须包含，其它为可选函数。setup 函数的基本功能是完成对模块的初始化，包括模块输入/输出端口数目，端口信号维数、数据类型、采样时间，参数数目等；Output 函数是功能模块的输出函数 8，用于输出本模块的相关数据。在定制本 S 函数功能模块时除了配置 setup 和 Output 函数外，只需在此基础上添加角点检测与提取的子函数即可。setup 函数属性配置是实现角点提取的基本和前提，根据实际需要完成对 setup 函数参数设置，添加角点检测与提取算法，在 Output 函数中调用角点检测与提取子函数，最终输出角点位置。将系统各功能模块依次连接，最后得到完整的仿真验证平台，其中 Video
19、 viewer 模块用于显示各功能模块输出结果。3575 实验与结果将设计好的着陆目标固定在墙上，用摄像机从不同角度对着陆目标拍摄多幅图像，将多幅图像分别导入图像处理算法仿真验证平台，由视频图像获取模块得到视频图像信息，这些图像信息属于彩色图像，需要进行灰度处理才能进行特征提取处理。为方便图像导入，本文采用可与 Simulink 直接交互的 USB 摄像头，分辨率为 640*480 像素，运行在 PC 上。图 4 为图像处理过程各阶段所得结果，图 4(a)为原始采集图像，图 4(d)为边缘提取结果图。图 5 为带有提取特征角点标记的图像处理实例。(a)原始图像 (b) 灰度图像 (c) 阈值分
20、割二值图像 (d) 边缘提取图 4 图像处理过程结果图 5 着陆目标角点提取从实验结果来看，本文所研究的图像处理算法能准确地提取图像特征角点，特征角点的提取能为无人飞行器位姿快速估计提供准确的有效信息，为位姿快速估计创造条件。6 结论本文设计了以正方形顶点为角点的着陆目标图像，着重研究了无人飞行器着陆目标图像处理算法，包括图像获取、数据预处理、边缘检测以及角点检测和提取等算法。通过搭建的基于 Simulink的着陆目标图像处理算法仿真验证平台，对本文设计的着陆目标图像进行角点提取算法的仿真验证，结果表明图像处理算法能准确提取、标记特征角点，图像处理算法可行有效。图像处理算法提取的特征角点为无人
21、机位姿快速估计提供了准确的有效信息，并为后续位姿估计算法实现奠定了基础。参 考 文 献1 O. Amidi. An autonomous vision-guided helicopterD. Ph.D.dissertation, Robotics Institute, Carnegie Mellon University, 19962 O. Amidi, T. Kanade, and K. Fujita. A Visual Odometer for Autonomous Helicopter FlightJ. Robotics and Autonomous Systems,1999,28:18
22、5-1933 刘士清，胡春华，朱纪洪. 基于计算机视觉的无人直升机位姿估计方法研究J.计算机工程与设计,2004, 25(4):564-568 3584 Courtney S. Sharp, Omid Shakemia, and S.Shankar Sastry. A vision system for landing an unmanned aerial VehicleC. Proceedings of IEEE International Conferenceon Robotics and Auto- mation,2001:1720-17285 周富强,张广军.一种单摄像机视觉导引方法J
23、. 北京:仪器仪表学报, 2006, 27(9): 1129-11326 X.C.He and N.H.C.Yung. Corner detector based on global and local curvature propertiesJ.Optical Engineering, 2008,47(5):057008-1-057008-127 F.Mokhtarian and R.Suomela. Robust image corner detection through curvature scale spaceJ. IEEE Trans. Pattern Anal. Mach. In
24、tell.1998,20(12):1376-13818 刘杰. 基于模型的设计及其嵌入式实现M. 北京：北京航空航天大学出版社，2010Image Processing and Simulation Verificationfor UAV Landing TargetLiu Chang-sheng Xu Jin-fa(Science and Technology on Rotorcraft Aeromechanics Laboratory,NUAA,Nanjing 210016)Abstract: An attitude and position estimation algorithm of
25、 Unmanned Aerial Vehicle was investigated in this paper,which is based on the projection relationship. A landing target image was disigned, whose square vertexes are defined as corners .Image acquisition,data preprocessing,edge detection, as well as the corner detection and extraction algorithms wer
26、e analyzed and discussed. A landing target image processing platform based on Simulink for simulation verification of corners extraction was build. The simulation verification that corners were extracted from landing target image was conducted.The Simulation platform is simple and handy,and experime
27、nts result shows that the attitude and position estimation algorithms is feasible and effective.The effectiveness of simulation verification is better. The foundation of the follow-up UAV attitude and position estimation algorithms was established.Key words: attitude and position estimation; Simulink; image process;corner extraction
