1、基于立体视觉的工件识别与定位系统研究 兰佳 叶文华 南京航空航天大学机电学院 摘 要： 针对生产过程中工件等弱纹理目标的自动识别、定位问题, 建立了基于立体视觉的工件识别定位系统, 研究了基于改进形状描述符、轮廓矩特征、子轮廓的弱纹理目标识别算法, 避免了局部不变量特征难以识别弱纹理目标的问题, 应用对极线约束、双目测距原理及姿态计算方法完成目标的三维姿态估计。结合OpenCV 视觉库及机器人控制系统实现工件识别定位实验系统的软件开发, 经实验验证本系统能够实时准确地识别定位弱纹理工件并进行抓取。关键词： 立体视觉; 工件识别; 三维姿态估计; 轮廓匹配; 作者简介：兰佳 (1991-) ,
2、男, 湖南常德人, 硕士研究生, 研究方向为机器人应用。收稿日期：2016-02-01基金：江苏省重大科技成果转化项目 (BA2013053) Research on Parts Recognition and Orientation Algorithm Based on Stereo VisionLAN Jia YE Wenhua College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics; Abstract： Parts recognition an
3、d orientation system is constructed based on stereo vision, which is used to recognize and orient the parts with the weak texture target in production process.The recognition algorithm is researched on based on improved shape descriptor, contour moment feature and sub contour feature for increasing
4、the accuracy of the parts recognition.And then, the 3D position of key features is computed under the constraints of epipolar geometry based on the principle of binocular distance measurement.OpenCV library is used with robot control system to complete the software development and by the experiment,
5、 the feasibility of recognition and orientation algorithm is proved.Keyword： stereo vision; parts recognition; three-dimensional pose estimating; contour feature matching; Received： 2016-02-010 引言随着工业 4.0 战略风潮的兴起, 视觉与机器人系统相结合成为提高机器人智能程度的一种重要手段1。国内外研究者进行了一系列的探索, ABB 公司研制的快速分拣机械手 Flex Piker, 通过 2D 视觉集
6、成实现对运动目标的抓取, 具有速度快、柔性强、精度高的特点;保时捷、大众等企业汽车自动生产线中, 利用视觉技术完成焊接、铆接、检测等多种工作任务2;哈工大杨欗等将机器人技术与视觉技术相结合, 开发了一套视觉伺服系统, 实现视觉引导跟踪平面运动目标3。清华大学计算机系研制了“眼-手”机器人视觉系统, 能够完成自动搬运功能4。华中科技大学的彭刚等将视觉引导与超声测距技术相结合来指导机器人实现对运动目标的跟踪和抓取方法5。然而, 目前的实际工业应用中多采用 2D 视觉技术与机器人相结合, 难以获取目标的三维姿态信息, 而且识别算法常需要根据特定特征进行设计6, 对多变化类型工件的识别能力十分有限,
7、甚至无法识别工件等弱纹理目标。虽然在一定程度上提高了机器人的智能程度, 但仍然不能解决实际工况中工件姿态多变的、种类多变等问题。因此, 需研究适合工件等弱纹理目标的通用识别算法并将立体视觉应用于工件的定位中, 能够进一步提高机器人系统的智能程度。1 工件识别与定位系统的组成基于立体视觉的工件识别与定位系统由变位机、ABB IRB1410 机器人、机器人控制器 IRC5、PLC 总控器、末端执行器、大恒图像 MER-125-30UM 相机及上位机组成, 如图 1 所示。总体上, 机器人视觉工件识别定位系统分为视觉系统和机器人系统两部分。视觉系统由大恒图像 CCD 相机和上位 PC 机构成, 其中
8、, 相机采用双目“眼在手”的配准方法, 完成图像的采集、相机标定、手眼标定、图像预处理、轮廓特征提取、目标匹配识别、工件三维定位及位姿估计等功能, 各功能算法在 Open CV 基础上进行开发设计完成。机器人系统由变位机、PLC总控制器、IRB1410 机器人、IRC5 控制器、空压机及末端执行器构成。PLC 控制变位机和气缸实现工件的变位及手爪的开合, 并通过 IO 端子与下挂在IRC5 中 Device Net 总线上的 DSQC651 I/O 标准板通信, 完成机器人状态监控。相机通过 USB 与上位机通信实现图像信号的采集, 而上位机通过 Socket Message 与 IRC5 进
9、行实时通信, 实现机器人位姿的获取及目标的抓取控制, 控制部分采用 VC+编写, 主要实现视觉系统与上位机、上位机与机器人的通信。图 1 工件识别与定位系统的组成 下载原图2 工件识别算法的设计常用的识别方法有区域匹配和特征匹配, 其中区域匹配法是比较模板和待匹配区域的整体特征进行匹配, 常用的区域匹配算法有归一化互相关匹配、绝对误差和平方和匹配、神经网络模式识别等方法, 此类匹配算法的准确度和计算速度都受目标零件的姿态、匹配区域的大小等因素的影响, 计算速度和准确度并不理想。基于特征匹配的识别算法, 常用角点、极值点、线、轮廓、弧长等作为特征, 这些特征具有较好的旋转不变性、尺度不变性, 通
10、过特征的相似性检测能够获得稳定的识别效果7。2.1 基于轮廓特征的识别方法基于特征匹配的识别算法分为局部特征匹配和整体特征匹配 2 种。由于工件等弱纹理目标不具有足够多的局部不变量特征。因此本研究采用轮廓整体特征匹配方法, 设计形状描述符特征、轮廓矩特征、子轮廓特征、轮廓局部特征等相结合的算法进行工件目标识别。a) 基于改进形状描述符的粗识别算法图 2 是几种简单的形状描述符, 分别代表了凹凸性 (convexity) 、主轴 (principal axes) 、致密性 (compactness) 、差异性 (variance) 和椭圆差异性 (elliptic variance) 。凹凸性以
11、凸包轮廓与实际轮廓周长的比值 Ra1进行描述;主轴特性以过轮廓区域质心的正交长短轴比值 Ra2进行描述, 其中长短轴比值可以根据目标轮廓的协方差矩阵计算。致密性使用指轮廓周长与等面积圆周长的之比 Ra3进行描述, 反映目标与圆特征的相似性。差异性是指将同尺度模板轮廓区域与待匹配轮廓区域质心与主轴重合后的轮廓比例均方误差和 Ra4, 反映的是目标与轮廓的重合程度。同理, 椭圆差异性描述的是与椭圆轮廓的重合程度。由于形状描述符只对轮廓的整体特征进行描述, 损失了轮廓的局部特征, 因此需要进行一定的改进, 以便在描述符中包含一定的局部特征描述, 从而获取更准确的识别结果。图 2 5 种简单的形状描述
12、符 下载原图因此, 为了获得轮廓局部特征的描述, 将图像的椭圆差异性进行一定的改进, 如图 3 所示, 将待匹配轮廓与模板轮廓包含在最小外包椭圆内, 并定义高曲率点到椭圆边界的法线距离为 ai, 建立由 ai组成的 12 维归一化向量作为椭圆差异性描述向量 L, 其中 a1为椭圆长轴端点中离实际轮廓较远点至轮廓的最短距离, 然后逆时针搜索排列 ai。最后计算待匹配轮廓与模板轮廓椭圆差异性向量L 的欧式距离作为椭圆差异性的描述值 Ra5。在计算获取形状描述符算子 Rai后, 首先计算 Rai (i=1、2、3、4) 的欧式距离, 并与粗匹配阈值进行比较, 然后比较 Ra5是否满足粗匹配阈值。图
13、3 椭圆差异性特征描述 下载原图该算法计算量极小, 容易实现, 可以满足实时性, 改进后的描述符仍然具有平移、旋转及尺度不变性, 且包含了轮廓局部特征:高曲率点数量及相对特征描述, 具有更高的准确性, 可以剔除大部分的非目标轮廓, 能够较大的降低后续精匹配的运算量, 甚至在不需要进一步匹配的情况下就能识别目标, 从而提高识别算法整体速度及精度。b) 基于轮廓矩特征的匹配方法比较 2 个目标区域的相似性方法中, 计算目标轮廓矩的相似度是最快速有效的方法之一8, 通过对图像矩特征进行变换可以构建出目标的旋转、平移、尺度不变性特征, 从而保证不同环境下的识别准确性。1) 定义数字图像坐标点 (x,
14、y) 的灰度值函数 f (x, y) 的 p+q 阶原点矩为:其中 p、q=0, 1, 2, 3., N、M 为图像的高度和宽度;0 阶矩 m00是目标区域的积分, 物理意义为轮廓区域的面积;1 阶矩有 m01, m102 个用来描述轮廓区域的质心位置;2 阶矩有 m02、m 11、m 203 个意义为旋转半径。2) 利用质心坐标构造中心矩特征可以使矩特征具有旋转不变性。其中, , 其物理意义 为质心坐标。3) 进一步采用归一化方法构造矩特征的尺度不变性用表示面积的矩 0 阶中心矩对其余各阶中心矩进行归一化处理, 可以避免面积大小对矩特征的影响, 从而具有尺度不变性质, 处理后的矩特征称为归一
15、化中心矩, 定义为式 (3) 。4) Hu 矩的实质是对归一化中心矩进行线性组合构建多个矩特征, 使得矩特征对缩放、旋转、平移和镜像等空间变换具有不变性9, 其定义如式 (4) 所示, 能够对多个角度的同一轮廓特征具有同样的描述效果。这 7 个矩可以组成具有多种空间变换不变性的七维向量, 使用这个七维向量作为轮廓特征进行匹配, 具有较高的准确度。实际使用中, 分别计算出模板 T 和待匹配轮廓 I 的 Hu 矩特征, 然后通过式 (5) 计算模板和目标的轮廓的 Hu 向量的相似程度, k 值越接近于零表示相似程度越高。其中, m i和 mi被定义为:hi和 hi分别是模板轮廓和待匹配轮廓的 Hu
16、 矩。在进行轮廓匹配之前, 需要对所有的 Hu 矩特征分别进行规范化处理。因为 Hu矩的每个矩特征的数量级存在较大的差别, 若不进行规范化处理难以获得理想的识别效果。c) 弱纹理工件目标识别算法源图像在经过图像预处理算法以后, 便能够从图像区域内提取出多组连通轮廓, 每组轮廓包括多个层次, 最外层的称为外轮廓, 次内层轮廓相对于外层轮廓称为子轮廓。按图 4 所示流程进行工件目标识别, 首先选取待匹配轮廓与模板轮廓进行基于改进的形状描述符进行外轮廓匹配, 若满足粗匹配要求则进行 Hu 矩特征的特征匹配, 否则认为该轮廓是非目标轮廓并重新选取轮廓进行匹配;在Hu 矩匹配过程中, 若满足阈值要求则认
17、为疑似轮廓, 否则重新选取轮廓进行匹配;最后判断疑似轮廓是否存在子轮廓, 若存在子轮廓则对疑似轮廓进行子轮廓匹配, 否则将该轮廓作为目标轮廓并重新选取轮廓进行匹配, 直到所有轮廓匹配完全。图 4 目标识别流程图 下载原图图 5 所示为法兰零件、盘类零件、立方体零件、轴类零件等几类工件的图像模板的轮廓特征图。图 5 多种工件模板边缘提取图像 下载原图图 6 所示为不同模板对应的识别结果, 识别结果使用最小外接矩形标记。其中图 6 (a) 的法兰盘与图 6 (b) 的盘零件的外轮廓比较相似, 因此需要进行子轮廓匹配才能加以区分, 图 6 (c) 所示为立方体目标识别结果, 图 6 (d) 所示为圆
18、柱目标识别结果, 其中识别出 2 个尺寸相异的同类目标, 此需要根据相对面积大小或在三维重建后的真实面积特征才能完全区分开。图 6 目标识别结果 下载原图综上所述, 模板图像与目标图像存在较大旋转、视角变化、尺度变化和平移, 但仍然具有较准确的识别效果。实验证明, 本文算法所选用的特征具有较好尺度、旋转、平移不变性, 而且较模式识别或局部不变量特征识别算法具有更好的实时性。3 工件的三维定位目标识别完成后, 需要对识别目标的关键特征进行标记, 以便进行目标三维位姿计算。假设法兰盘工件为所需识别目标, 其关键特征 pi (i=1, 2, 3, .) 定义如图 7。其中, 圆弧特征以最小外包椭圆质
19、心作为关键特征进行标记, 直线段特征以端点特征进行标记, 其他轮廓以高曲率点作为关键特征进行标记。图 7 法兰盘关键特征点的定义 下载原图双目相机经过标定后不仅可以对图像进行畸变矫正, 提高准确性, 而且可得双目相机的位置关系。通过标定结果根据双目测距原理可以将二维的图像信息转化为三维的空间信息, 从而确定工件在世界坐标系下的姿态。3.1 双目测距原理双目立体成像方法是一种利用三角测距原理获取深度信息的重要方法, 其关键在于根据视差计算出目标的深度信息10。如图 8 所示, 利用摄像机获取不同位姿时相同目标物体 2 幅图像, 对于光轴平行的相机, 2 次拍摄时相机的光心为 O1、O 2, 焦距
20、 f 根据相机标定所得, 基线距离 b 可以根据基础矩阵中提取, 或者通过 2 次相机移动距离确定。u 和 u分别为 2 次成像的像素水平坐标, 其中 u 及 u的位置根据外极线约束距离最短约束使用 NCC 算法进行快速匹配确定。图 8 双目测距原理 下载原图将视差 d 定义为:根据几何知识的相似三角形定理可知:化简整理可得到 z 方向坐标:图 9 所示为理想情况下立体成像视觉模型, (u 0, v0) 表示光轴与像素平面相交处的像素坐标, 根据几何关系可以计算出目标的位置 (x c, yc, zc) 。图 9 理想情况下立体视觉模型 下载原图结合式 (9) 、式 (10) 可知:4 工件的识
21、别定位于抓取实验实验系统软件界面如图 10 所示, 主要包含实时信息显示模块、图像采集模块、识别与定位功能模块、参数选择模块、位姿结果显示模块、通信模块等几个部分。实时信息显示部分显示左右相机图像实时处理结果;图像采集模块主要包括设备的开关、采集的触发控制、图像参数的设置, 图像的采集和保存等部分;识别与定位功能模块包含了视觉伺服系统的主要功能:双目相机标定、手眼标定、图像预处理、目标识别、三维位姿计算等;参数选择模块主要是用来选择载入模板参数, 包括模板灰度阈值、模板图像、周长、面积等特征信息;通信模块实现上位机与 ABB 机器人之间的通信, 实时读取机器人信息并反馈控制信息。图 1 0 软
22、件界面图 下载原图实验系统程序流程如图 11, 系统开始运行后调用枚举设备函数 GXUpdate Device List () 获取相机设备个数, 再调用 GXUpdate Device Base Info () 函数获取设备相关信息并在关键信息显示窗中显示;选中合适设备后点击打开设备按钮调用 GXOpen Device By Index () 函数根据设备序号打开相机;然后在界面上设置合适的采集参数, 开始采集按钮调用 GXSet. () 函数设置对应的采集参数, 调用 GXRegister Capture Callback () 注册回调函数, GXSend Command (m_h De
23、vice, Start) 接口调用采集开始命令, 其中 m_h Device 为摄像机句柄, Start 为开始采集命令;采集开始后首先判断是否收到 GXSend Command (m_h Device, Stop) 发送的停止采集命令, 若收到则停止采集、注销回调并关闭设备, 否则调用回调函数开始进行图像处理, 在图像处理后结束此次回调并进入下一次回调。假设注册的回调函数命名为 On Frame Callback Fun, 则将回调函数定义为:OnFrame Callback Fun (GX_Frame Callback_PARAM*p Frame) 系统回调开始, 首先需要判断系统是否已经
24、标定, 若已标定则调用 Image_Pre Treatment () 进行图像预处理, 若系统未标定则调用 On Calib_Camera () 和On Eye_hand_calibrate () 分别进行相机标定和手眼标定再进行下一步;在经过图像预处理后调用函数 Template_match () 识别与所选模板相对应的目标, 然后调用 Correspond Epilines () 对图像对进行极线校正图像配准, 并计算出三维点云;最后调用 On_Communicate_ABB () 函数驱动机械手末端趋近目标位姿11。图 7 所示关键特征点 P1、P 2、P 3的三维坐标如表 1 所示。为
25、方便计算定义P1、P 3的中点为 P0做为坐标原点。图 1 1 程序流程图 下载原图表 1 关键特征点基座坐标系下三维坐标 下载原表 根据本文姿态计算方法确定 P0P2方向作为 x 轴方向, P 0P1方向为 y 轴方向, z轴确定根据右手螺旋法则确定12。在工件坐标系确定后, 结合夹持点相对工件坐标系的位置驱动机器人进行抓取实验, 图 12 所示为机器人抓取工件, 基本能够实现目标工件准确的定心和稳定抓取, 证明了基础矩阵估计和三维姿态计算方法的有效性。图 1 2 机器人抓取法兰盘 下载原图5 误差分析及结语为分析算法的重建精度, 计算 P1与 P2点的距离与实际距离间的误差, 实际距离由游
26、标卡尺测量得到, 结果如表 2 所示。可知, P 1P3的相对位置存在约 2 mm 的偏差, 误差约为 1.7%, 误差形成原因主要包含如下几个方面:1) 标定误差;2) 特征点提取误差;3) 图像畸变误差;4) 对极距离误差。表 2 位姿测量误差分析 下载原表 本文应用立体视觉技术对机器人系统进行开发设计, 研究图像处理算法、任意姿态弱纹理工件识别算法及三维位姿估计算法, 并结合机器人控制技术、通信技术建立基于立体视觉的工件搬运实验系统, 验证任意姿态工件的识别与定位算法。弥补人工示教、离线编程方法及 2D 视觉引导的缺陷, 增加机器人系统的柔性和智能程度。为立体视觉与机器人结合的实际应用提
27、供参考。参考文献1刘恋.机器视觉在电子制造行业的应用C.东莞:2011 中国高端 SMT 学术会议论, 2011. 2周孚成.基于图像的机器人视觉伺服控制D.长沙:中南大学, 2012. 3杨楠.PUMA560 机械臂视觉伺服系统设计D.哈尔滨:哈尔滨工业大学, 2013. 4徐德, 谭明.机器人视觉测量与控制M.北京:国防工业出版社, 2011. 5彭刚, 黄心汉.基于视觉引导和超志测距的运动目标跟踪和抓取J.高技术通讯, 2002 (6) :74-78. 6韩九强.机器视觉技术及应用M.北京:高等教育出版社, 2009. 7Chanda B, Majumder D D.Digital im
28、age processing and analysisM.PHI Learning Pvt.Ltd., 2011. 8Gary Bradski, Adrian Kaebler, 学习 Open CV 中文版M.于仕琪, 译.北京:清华大学出版社, 2009. 9Richard S.计算机视觉:算法与应用M.艾海舟, 等, 译.北京:清华大学出版社, 2012. 10赵颜利.计算机视觉三维重建若干技术研究D.南京:南京理工大学, 2007. 11叶辉.工业机器人典型应用案例精析M.北京:机械工业出版社, 2015. 12Lepetit V, Moreno-Noguer F, Fua P.Epnp:An accurate o (n) solution to the pnp problemJ.International journal of computer vision, 2009, 81 (2) :155-166.
