1、微装配中零部件搜索方法 刘艳余 康辉民 胡斌梁 许功元 周知进 湖南科技大学机电工程学院 湖南科技大学难加工材料高效精密加工湖南省重点实验室 贵州理工学院机械工程学院 摘 要： 针对如何快速且准确地在微装配的显微视野中寻找到目标零部件, 并获取目标零部件的全局视觉信息的问题, 提出了一种基于显微视觉倍率切换的微装配零部件搜索机制。详细分析了如何确定自动搜索步长;论述了自动搜索策略的原理与过程:通过自动扫描目标平面, 以准确识别出目标平面内的微零部件, 有效地克服了大范围微装配中显微视觉范围远小于操作域的局限性, 保证了微装配零部件目标始终呈现在不同显微倍率视野中, 为微装配机器人的进一步操作奠
2、定了视觉基础。实验结果表明:提出的搜索方法搜索成功率达到了 95%, 平均搜索时间为 28 s。关键词： 微装配机器人; 搜索机制; 连续变倍; 显微视觉; 作者简介：刘艳余 (1993-) , 女, 硕士研究生, 主要研究方向为显微视觉系统, E-mail:。作者简介：康辉民 (1975-) , 男, 通讯作者, 博士, 副教授, 主要从事数控技术及装备、机器人技术研究工作, E-mail:。收稿日期：2017-10-23基金：湖南省教育厅基金资助项目 (12B042, 15A063) Method of component searching in micro-assemblyLIU Ya
3、n-yu KANG Hui-min HU Bin-liang XU Gong-yuan ZHOU Zhi-jin College of Mechanical and Electrical Engineering, Hunan University of Science and Technology; College of Mechanical Engineering, Guizhou Institute of Technology; Abstract： Aiming at problem of how to find target components quickly and accurate
4、ly in microscopic field in micro-assembly, and obtain global visual information of target components, micro-assembly component search mechanism based on micro-visual magnification switching is presented. Analyze on how to determine automatic search step size. Discuss on principle and process of auto
5、matic search strategy. By automatically scanning target plane, micro-components within target plane are accurately identified, effectively overcome limitation that the micro-visual range in a wide range of micro-assembly is much less than limitation of operating domain, guarantee that the micro-asse
6、mbly components target has always been presented in different micro-magnification field of view, which lay a visual basis for further operation for the micro-assembly robot. The experimental results show that the searching successful rate of the search method is 95 % and the average search time is 2
7、8 s.Keyword： micro-assembly robot; searching mechanism; zoom; microscopic vision; Received： 2017-10-230 引言微装配机器人主要以工艺复杂、精度要求极高且技术难度大为技术特点1, 在超精密机器、医疗、生物细胞等研究领域获得广泛应用, 近年来已成为国内外机器人研究的热点之一。其显微视觉系统是微装配中获取图像信息的重要组成部分, 涉及到两大关键技术:1) 在微装配过程中, 为了保证视野图像细节的清晰度和精确性, 通常采用提高显微放大倍数的方法来获得, 但因显微视场范围的有限性, 对于不确定分布的微装
8、配零部件而言, 提高显微放大倍数会降低显微视场的可视范围, 不利于全局视觉信息的获取, 而且产生较大的视野误差;2) 为增大视野范围而选择降低视野倍率, 目标尺寸的减小会导致目标微零部件分辨率的降低, 从而增加显微图像处理与分析的难度, 更不利于微零部件全局视觉信息的获取。因此, 如何实现对不确定分布整体目标的快速自动搜索并准确获取微零部件的全局视觉信息, 是微装配机器人研究领域所面临的难题。目前, 国内外围绕微装配机器人的搜索识别算法和全局信息获取进行了大量研究, 取得了很多有价值的研究成果, 但多数需要依赖操作人员的经验判断, 效率较低且增加不便性。为此, 本文利用连续变倍显微镜本身的特点
9、, 提出了一种快速而有效的微零部件自动搜索与识别方法, 首先在低倍率显微视觉中, 通过对比二值化后的图像灰度值判别微零部件是否进入视野, 经确认后将显微倍率切换至高倍率视野中;然后通过基于霍夫圆检测的显微图像处理方法识别微零部件, 以获取微零部件的全局视觉信息。1 显微视觉系统的构成显微视觉系统如图 1 所示, 主要由 CCD 摄像头、微动平台、上位机及单筒显微镜构成。其中, CCD 一端与单筒显微镜连接, 另一端通过 USB 接口与上位机相连, 用于采集显微图像并储存至上位机, 系统基于平台已可自动聚焦的基础下进行操作11。图 1 显微视觉系统 下载原图2 微零部件变倍自动搜索策略2.1 显
10、微系统参数系统中显微镜光学变倍范围为 0.352.25 倍, 摄像机选择的是黑白 CCD 摄像机 (具备 USB2.0 接口) , 像素尺寸为 2.2m2.2m, 摄像机分辨率设定为 1 280960 (BIN) , 可以得到 22 帧左右的连续动态图像, CCD 摄像机的靶面尺寸为 1/2.5 in (1in=25.4 mm) , 对应的传感器对角线尺度为 7.2 mm, 根据数码显微镜放大原理可得实验中采集的显微图像大小均为 1 280m960m, 则图像实际尺寸为通过对实验中使用的微装配机器人在不同放大倍数下的当前视窗进行标定, 确定了不同放大倍数下图像像素的实际尺寸与屏幕视野的实际大小
11、, 如表1 所示。表 1 显微镜标定结果 下载原表 一般人眼可以观测到的宏观景物范围应在平方厘米 (cm) 级以上, 从表 1 可知, 在 0.35 倍显微镜下, 一个屏幕视野为 3.796 8 cm, 所以, 要在 0.35 倍的显微镜下观测全局空间布局范围为 20 mm20 mm, 且在此范围内快速搜索目标具有可行性。2.2 搜索步长确定利用连续变倍显微系统能够提供不同视野范围以及不同定位精度的特性, 采用“全局粗搜索、局部精检测”原则, 完成了由整体到局部、由粗到精的搜索过程。同时为了满足微零部件快速搜索的需要, 根据目标亚毫米级大小、显微倍率大小以及全局空间布局 (20 mm20 mm
12、) , 初步设定粗检测搜索步长为40m。由表 1 可知, 在显微镜最低的光学放大倍率 0.35 倍下, 单位像素的尺寸为17.6m, 视场范围 22.6 mm16.8 mm, 足够包含宽视野内一个边长的所有信息 (22.6 mm20 mm) 。即目标在 0.35 倍的光学倍率下为 42m 时, 不会将目标当噪声忽略, 亦不会遗漏目标。当显微镜的光学放大倍率为 2.25 倍时, 对应的像素尺寸为 2.2m2.2m, 屏幕视野范围为 2.8m2.1m, 此时目标放大 4.5/0.7=6.43 倍, 目标尺寸为 426.73=270m, 精检测搜索步长定为 200m。对于此倍率下直径为270m 的微
13、零部件可以保证足够的精度, 且在此步长内微零部件不可能完全越过视野, 或被作为噪声忽略, 由此推断漏判的概率很小。将视野宽阔的方向 (从左至右) 定为移动搜索方向, 在 0.35 倍的光学显微倍率下带动控制平台 (载物台移动, 即平台从右向左移动) 搜索。2.3 自动搜索策略基本原理是在对目标范围进行搜索时, 根据整幅图像的平均灰度值判断微零部件是否在视野范围内。当目标微零部件在视野之外时, 整幅图像的背景几乎无变化, 灰度值不变;当疑似目标进入视野后, 其平均灰度值会发生相应变化, 且变化值随目标的清晰度、大小和材质的不同而异。该算法在一定情况下对目标微零部件是否进入视野能够做出正确的判断,
14、 但也存在一定的缺陷:当疑似目标微零部件进入视野之后, 图像平均灰度值会有一定的变化, 但是由于目标细小, 平均灰度值的变化不大, 可能作为噪声被忽略;在搜索过程中疑似目标进入视野的区域不确定, 微零部件可能仅有部分进入视野, 不易判断是否为疑似目标。针对这上述陷, 通过改变搜索步长的方法获取显微图像, 并根据步长分为全局粗检测和局部精检测;对显微图像的平均灰度值进行阈值处理, 以达到准确判断疑似目标是否进入视野的目的。微零部件搜索流程如图 2 所示。1) 对系统进行初始化后采集图像, 并将采集的图像进行实时二值化处理, 以便将视野内无目标的起始图像的二值化灰度值作为起始灰度值;2) 在全局大
15、范围搜索中设定粗检测搜索步长搜索疑似目标, 当实时二值化后的显微图像灰度值改变时, 作为搜索到疑似目标的视域选择区域, 并将其切换至高倍率物镜且保证目标在高倍视野中央, 同时加大搜索步长并缩小显微视觉视野, 以放大疑似目标做局部精检测;3) 根据基于霍夫圆检测识别是否为目标微零部件, 若不是, 则重回低倍率全局大范围搜索。图 2 微零部件搜索流程 下载原图图 3 补充搜索流程 下载原图另一个问题是当开始位置可能在视野范围中的任何地方时, 如何搜索到目标位置。如果起始位置为目标位置的左侧, 直接控制搜索平台从右至左移动。如果起始位置不在有效区域左侧内, 沿搜索方向一直搜索均无灰度值的大变化, 根
16、据搜索方法, 不能找到正确的目标位置。此时, 搜索策略中需要添加补充策略。如果搜索方向错误, 搜索位置从有效区域移动到无效区域, 则需要转换搜索方向, 进行第二轮的搜索过程, 搜索结束, 灰度值最大差值处的位置为目标位置。如图 3 所示。为了节省在转换搜索方向后再重复已搜索过程的时间, 本文设定从开始位置获取图片起始, 将实时所获取的在线显微图像均按照获取顺序依次标记序列号。如图 3 所示, 当出现补充搜索策略中需要转换搜索方向进行第二次搜索时, 实时在线快速搜索, 根据显微序列图像记忆库的信息进行高效率的反向回到起始位置, 恢复初始化时的搜索速度与搜索策略。3 实验结果与分析根据上述原理,
17、以 0.15 mm 的亚毫米级钢珠作为实验材料进行搜索和识别实验。钢珠的全局空间范围 20 mm20 mm, 设粗检测搜索步长为 25m。3.1 微零部件自动搜索实验首先对起始位置进行一个经过二值化的图像灰度值计算, 然后每移动一个设定的搜索步长便与初值进行一次比较, 若超过设定值, 则认为疑似目标已进入视野。实验过程中所拍摄的图像如图 4 (a) 、图 4 (b) 所示。分别是疑似目标尚未进入视野和疑似目标进入视野时所拍摄的照片。图 4 显微图像及其直方图 下载原图对图 4 (a) 、图 4 (b) 直接求灰度值后, 所得图像分别如图 4 (c) 、图 4 (d) 所示。显然, 两幅显微图像
18、的灰度值差别太小, 不足以作为目标是否进入视野的评判依据。在实验过程中, 由于存在角度因素, 镜头到跟踪目标的工作距离会随移动平台的移动而变化, 且显微镜头的景深浅会导致移动过程中目标零件成像出现模糊的情况。同时实验中存在光照变化的情况, 视野越小, 光线越暗, 越容易影响判断。故本文在获取图像时, 首先通过对图像背景二值化处理, 保留原始图像的基本信息, 通过比较处理后的图像灰度直方图判断微零部件是否进入目标。图 5 (a) 、图 5 (b) 为目标未进入视野和目标进入视野时二值化后的显微图像。经过二值化后的显微图像仅处理了背景, 目标依旧保持在显微图像中, 便于进行搜索判断。对图 5 (a
19、) 、图 5 (b) 进行灰度值的计算, 结果如图 5 (c) 、图 5 (d) 所示, 由图 5 (c) 、图 5 (d) 中的灰度直方图可知, 图 5 (c) 中的像素仅最右侧存在峰值, 最大值为 255 (代表白色) ;而图 5 (d) 中存在 3 个峰值, 最左侧的 0 (代表黑色) 说明已有目标进入视野中。于是 0 峰值成为判断是否有目标进入视野的关键依据。图 5 二值化后的显微图像及其直方图 下载原图3.2 微零部件检测识别实验在搜索到目标后可通过鼠标左键点击目标, 即可自动识别所跟踪的目标, 并快速自动且大步长地将目标置于视野中心位置。为了获取目标的细节信息, 逐步放大显微倍率和
20、分辨率, 缩小视野范围, 直到获取目标的更多细节信息。目标的视野切换过程如图 6 (a) 图 6 (c) 所示, 分别为显微光学放大倍率 0.35 倍、1 倍以及 2.25 倍的目标图像, 图 6 (c) 中得到最高分辨率图像。通过不同显微倍率的连续变化, 能同时获取微零部件 (钢珠) 的整体轮廓和微观细节信息, 微零部件 (钢珠) 的金属属性和圆形特征均可在高倍率视野中清晰地观测到。图 6 不同层次结构的全局视野 下载原图对最大显微光学放大倍率下的显微图像进行基于霍夫圆检测的微零部件识别, 实验检测结果如图 7 所示。可快速且准确地识别出显微图像中的钢珠为圆, 用时 0.05 s。图 7 基
21、于霍夫圆检测的微零部件识别 下载原图实验过程中, 显微镜头的景深, 视野光线等均对扫描有一定影响。为了排除偶然性, 对 10 个 120180m 的微零部件进行了 100 次搜索实验, 搜索成功率达到了 95%, 平均搜索时间为 28 s (人工搜索在 2 min 以上) , 识别准确性高且速度快。表明方法既提高了目标判断的效率, 也为后续精检测提供了准确的位置信息, 以便精检测放大的同时移动目标至视野中央, 并且在实时条件稍有光照变化干扰的情况下进行快速准确的判断。4 结束语提出了一种基于显微视觉倍率切换的微装配零部件搜索机制。该搜索机制结合显微单元参数、全局布局大小和微零部件的特征设定搜索
22、步长, 快速地搜索目标位置, 根据二值化后的图像灰度值变化判断目标是否进入视野, 并基于霍夫圆检测识别, 以便获得准确的全局视觉信息。实验结果表明:方法检测效率高, 且适应性强, 有效地减少了操作人员的工作量;利用单筒显微镜连续变倍的特点, 使大范围微装配目标的视觉信息获取更便捷, 为进一步的微装配中视觉伺服奠定基础。参考文献1沈飞, 徐德, 唐永建, 等.微操作/微装配中微力觉的测量与控制技术研究现状综述J.自动化学报, 2014, 40 (5) :785-797. 2李海鹏, 邢登鹏, 张正涛, 等.宏微结合的多机械手微装配机器人系统J.机器人, 2015 (1) :35-42. 3胡小平
23、, 陈国良, 阳小燕, 等.微操作机器人显微视觉系统研究J.自动化仪表, 2007, 28 (2) :5-9. 4陈国良, 黄心汉, 王敏.面向微装配的显微视觉伺服J.机械工程学报, 2008, 44 (2) :82-86. 5吴叶兰, 杨飞, 刘阳, 等.基于显微视觉的微小型零件跟踪系统J.传感器与微系统, 2015, 34 (2) :95-98. 6吴叶兰, 秦艳红, 张之敬.基于显微视觉的微小型零件边缘检测技术研究J.计算机工程与应用, 2016, 52 (17) :266-270. 7叱干鹏飞, 宁纪锋, 石武祯.基于全局搜索的实时分布场目标跟踪方法J.计算机应用研究, 2014, 3
24、1 (10) :3169-3172. 8聂海涛, 龙科慧, 马军, 等.采用改进尺度不变特征变换在多变背景下实现快速目标识别J.光学精密工程, 2015, 23 (8) :2349-2356. 9贾平, 徐宁, 张叶.基于局部特征提取的目标自动识别J.光学精密工程, 2013, 21 (7) :1898-1905. 10Rosten E, Porter R, Drummond T.Faster and better:A machine learning approach to corner detectionJ.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32 (1) :105-119. 11刘畅, 甘奇, 马驰, 等.触控自动化显微成像系统J.传感器与微系统, 2015, 34 (3) :106-109.
