1、基于视觉的航天电连接器的智能识别与装配引导 汪嘉杰 王磊 范秀敏 尹旭悦 上海交通大学机械与动力工程学院智能制造与信息工程研究所 上海航天精密机械研究所 摘 要： 为提高操作空间狭小的精密航天产品的手工装配效率, 提出一种基于视觉的航天电连接器的智能识别与装配引导方法。利用肤色特征与零件的轮廓特征提取原始图像中零件所在的区域。提取电连接器的斑点特征和尺度不变特征变换特征放入支持向量机的分类器, 训练得到零件训练模型。借助 Hough 变换与零件训练模型实现了电连接器的在线分类识别, 整个识别过程无需人工干预。通过预先构建完善的三维装配工艺信息模型, 利用识别结果实时触发并调取对应零件的装配工艺
2、信息, 用于指导装配。实例验证表明, 零件识别平均准确率达 90%以上, 单幅图片识别时间在 2s 内, 能够满足在线识别精度和效率的要求。关键词： 零件识别; 图像特征提取; 霍夫变换; 支持向量机; 智能引导; 航天电连接器; 作者简介：汪嘉杰 (1992-) , 男, 安徽六安人, 硕士研究生, 研究方向:机器视觉、图像处理等;E-mail:;作者简介：王磊 (1982-) , 女, 吉林白城人, 高工, 研究方向:航天器总装;作者简介：范秀敏 (1971-) , 女, 福建南平人, 教授, 博士, 博士生导师, 研究方向:VR/AR 辅助智能制造技术等, 通信作者;E-mail:;作者
3、简介：尹旭悦 (1988-) , 女, 吉林吉林人, 博士研究生, 研究方向:增强现实、智能制造等。收稿日期：2016-09-30基金：上海航天先进技术联合研究中心资助项目 (UACAST2015-17) Vision based intelligent recognition and assembly guidance of aerospace electrical connectorsWANG Jiajie WANG Lei FAN Xiumin YIN Xuyue Institute of Intelligent Manufacturing and Information Enginee
4、ring, School of Mechanical Engineering, Shanghai Jiao Tong University; Shanghai Spaceflight Precision Machinery Institute; Abstract： To improve the manual assembly efficiency of aerospace products, a visual-based intelligent recognition and assembly guide method of aerospace electrical connectors wa
5、s proposed.The area of parts in the original image was extracted with skin color feature and contour feature of electrical connector.The feature of electrical connector and SIFT feature were extracted into support vector machine classifier training to get the part training model.With Hough Transform
6、 (HT) and part training model, the on-line classification and identification of electrical connectors were realized.The whole process was automated.Through the pre-construction of three-dimensional assembly process information model, the corresponding parts of assembly process information was trigge
7、red and retrieved with identification results in real time to guide the assembly.The test result of the proposed method proved that the average accuracy rate of part recognition was more than 90% and the recognition time of each image were in two seconds, which could meet the requirements of identif
8、ication accuracy and efficiency.Keyword： part recognition; image feature extraction; Hough transformation; support vector machine; intelligent guidance; aerospace electrical connection; Received： 2016-09-300 引言随着计算机视觉理论的快速发展, 其在工业上的应用越来越广泛。机器视觉即用机器代替人眼进行检测与判断的技术, 其优点主要有: (1) 智能化程度高, 识别结果具有人无法比拟的高精度与
9、一致性; (2) 信息获取手段丰富, 可以采用多种特征检测方式获取物体的信息; (3) 实时性好, 可满足高速在线检测的需求。目前, 机器视觉技术已经广泛应用于机械产品装配系统1、智能机器人2、人脸识别、零件识别、无人驾驶汽车3等领域。零件识别是计算机视觉与模式识别在机械工业领域中的一个重要应用, 作为机械加工自动化的基础, 它将人们从繁重的劳动中解放出来, 不但降低了工业生产成本, 而且提高了工业生产效率4。精密航天装备装配质量要求高, 不同品种产品有不同的装配工艺过程, 且检验环节繁多, 目前主要依赖手工装配操作。航天装备中使用广泛的航天电连接器因外形相似不易区分、装配操作过程复杂而对装配
10、工人技能要求高, 使得装配过程耗时长, 影响了装配效率。图像识别算法具有应用对象差异较大, 应用环境较为理想等特点, 其发展和应用已经取得了一定成果。图像识别技术主要对以下 3 个关键内容进行研究:(1) 对识别对象的定位金鹏等5利用去噪、增强对比等方法改善图像质量, 并利用灰度值差异分割出管路和靶标区域, 来确定图像的关键区域;王晓华等6通过采集图像的稳定边缘特征, 运用形态学方法获得零件质心在二维空间的坐标, 来对零件进行定位;艾泽潭等7提出一种亚像素边缘定位算法, 通过提取亚像素边缘点并进行坐标排序形成封闭曲线来定位零件。现有方法主要通过提取对象边缘特征进行定位, 因此对噪声较敏感, 无
11、法适用于环境复杂的手工装配图像的定位。(2) 对图像的特征提取主流的特征算子包括方向梯度直方图 (Histogram of Oriented Gradient, HOG) 特征8、尺度不变特征变换 (Scale-Invariant Feature Transform, SIFT) 9、加速稳健特征 (Speed Up Robust Features, SURF) 10等。曲永宇等11提出基于 HOG 特征加颜色频率和肤色特征进行行人检测;袁安富等12基于 SURF 特征将物体识别应用于传统的机械零件上, 提取零件的局部特征并形成特征向量;张鹏等13改进传统 SIFT 特征, 提出稀疏SIFT
12、特征对车型进行识别。(3) 对特征向量的分类现有的主流分类算法有支持向量机、神经网络等。匡逊君等14提出基于不变矩特征的零件支持向量机 (Support Vector Machine, SVM) 分类识别;李鹏宇等15利用局部尺度分解的时频分析方法结合 SVM, 实现了齿轮故障的分类;李静蕊等16基于 ART2 神经网络方法对常见标准件进行了分类识别。然而, 现有分类方法针对的研究对象辨识度高, 对外形差异小的零件不具有普适性。精密航天设备需要手工装配, 由于装配过程环境复杂、装配对象外形相似等, 所获取的零件图像质量较差、噪声较多, 传统的特征提取与分类方法并不适用。本文结合航天电连接器的实
13、际装配操作开展研究, 对零件图像进行预处理并对图像进行肤色区域提取, 自动检测出零件区域, 然后结合 SIFT 特征与simpleblob 特征提取零件区域特征, 采用 Hough 变换与 SVM 对图像进行分类识别, 获得对应的电连接器型号, 整个识别过程不借助人工交互, 自动化程度较高。最后, 通过实例验证了系统的实时性与准确性。1 总体框架图针对航天产品电连接器提出的基于视觉的智能识别与装配引导方法, 其方案研究与实现的总体框架如图 1 所示, 具体分为 3 部分:(1) 图像离线训练对航天电连接器的图像预先进行训练, 获取 N 张训练图像, 对每张训练图像进行图像预处理, 自动检测图像
14、中的零件区域, 并提取零件区域图像的特征, 得到相应的特征提取向量, 所有训练图像的特征向量组成特征提取矩阵, 将特征提取矩阵放入分类器中进行训练得到对应的电连接器训练模型。(2) 图像在线识别利用摄像头采集现场图像, 对现场图像依次进行图像预处理、自动零件区域检测以及零件区域特征提取, 得到现场图像的特征向量, 调用连接器训练模型中的参数实时识别零件的具体型号, 整个图像在线识别过程没有人工参与, 均通过计算机自动完成。(3) 装配信息智能引导利用 (2) 识别的零件具体型号作为自动输入的信号, 触发对应的操作顺序 ID、操作文字说明、三维零件信息、操作工具信息、虚拟手信息以及对应的装配路径
15、信息。将上述信息结合起来得到装配引导信息模型, 指导装配人员进行装配操作, 实现了装配过程的智能引导。2 零件区域智能提取2.1 图像的预处理为适应航天产品内部的小空间, 航天电连接器的体积较小, 相应图像的面积占比很小, 无关背景对零件的识别干扰很大。所采集到的原始图像易受光照明暗、设备性能的限制而存在图像模糊、对比度不够等问题, 本文采取的预处理措施包括图像的灰度化、中值滤波、边缘检测与轮廓提取。灰度化减少了原始图像的数据量, 便于后续处理;中值滤波是典型的非线性低通滤波器, 它能够有效去除图像噪声并保护零件的图像边缘。整个图像预处理流程如图 2 所示。通过图像预处理得到可能的电连接器区域
16、后, 需要进一步定位。2.2 基于肤色区域的定位通过设定阈值得到的感兴趣区域往往不止一个, 为检测并提取含有零件图像的感兴趣区域, 结合航天电连接器手工装配的特点, 利用肤色特征找出图像中的手部区域, 基于手部区域和 2.1 节得到的感兴趣区域对零件进行智能定位。由于肤色在 RGB 色彩区间内不易分解, 需要先将色彩空间转换为 HSV 色彩空间, 其中色度 H 表示不同的颜色, 饱和度 S 表示颜色的深浅, 亮度 V 表示颜色的明暗程度。从 RGB 模型转换到 HSV 模型的转换公式17为式中:R, G, B 的取值范围为0, 255;H 的取值范围为0, 360;S 的取值范围为0, 1;V
17、 的取值范围为0, 255;图像处理中将 H, S, V 的取值范围归一化为0, 1。根据肤色阈值, 将肤色区域提取出来得到肤色所在轮廓, 原图与提取肤色后的图像如图 3a 和图 3b 所示。将肤色区域提取后, 确定肤色区域所在的中心坐标, 和 2.1 节所得的图像封闭轮廓中心计算差值, 差值最小的封闭轮廓即为所需的航天电连接器区域, 将其提取出来, 如图 3c 所示。提取连接器区域, 以减少后续计算量。3 电连接器的特征选取3.1 插针特征提取结合航天电连接器的矩形插头插针识别度高且不同类型插头插针数目不同的特点, 针对图像的斑点特征采用 simpleblob 算法进行检测。算法流程如图 4
18、 所示。通过设置不同灰度值作为图像二值化的阈值, 将灰度图像转换为一个二值图像集合, 阈值范围为 (T 1, T2) , 固定步长为 t, 集合内的二值图像阈值为 T1, T1+t, T1+2t, T1+3t, , T2;然后找出每幅二值图像的边界, 确定其对应的封闭轮廓区域, 并计算每个封闭轮廓的中心点坐标;最后对不同阈值下得到的中心点坐标进行分类。定义斑点间的最小距离 Tm, 不同阈值下中心点坐标间的距离小于 Tm的坐标被定义为一个斑点, 得到斑点特征集合。提取后的插头插针位置如图 5 所示。由于每帧图片的质量不同, 部分图像会受手部和边缘特征的干扰, 所得斑点数目不可能完全相等。本文根据
19、每类矩形插头的插针数 P 设置阈值 U, 最终检测到的插针特征点 X 满足 X (P-U, P+U) 则认为符合该类插头特征。3.2 零件特征提取图像的特征提取方法多样, 而图像特征描述的核心问题则是鲁棒性和可区分性18。结合电连接器型号多样、外形相似的特点, 本文采用 SIFT 特征描述子描述图像特征, 并将 SIFT 特征子聚类成规范的特征矩阵。SIFT 算法是 Lowe 等9提出并进行完善和总结的一种特征描述算法, 也是目前具有很好稳定性和鲁棒性的特征提取算法。该算法有以下 3 个优点: (1) 在适当参数设置下提取到的特征点的数目理想; (2) 通过 SIFT 算法提取到的图像特征具有
20、相当高的独特性, 能够较好地区分外形区别不大的物体; (3) SIFT 特征具有旋转、尺度、平移及亮度不变性, 并具有一定的仿射不变性。SIFT 算法对图像局部特征点的提取主要包括尺度空间极值点检测、特征点精确定位、特征点方向分配、特征点描述 4 个步骤。图 6 所示为同一矩形插头在不同角度下的 SIFT 特征点提取效果及对应特征点的匹配效果。从匹配效果可以看出, 绝大多数 SIFT 特征点都聚集于零件周围, 手部干扰造成的影响较小。因为预处理后每一帧图像所得的特征描述子数量均不同, 每一个特征描述子都对应 128 维的特征向量, 所以无法直接生成规则的特征矩阵 M1对特征描述子进行分类。采用
21、聚类的方法构建视觉词袋模型19, 将图像的特征转换成视觉词, 以便图像的分类识别。具体流程如图 7 所示。将提取到的 N 张电连接器图像特征通过聚类形成视觉词汇, 并构造包含 K 个词汇的词汇表, 每幅图像均由这 K 个视觉词汇组合描述;统计每个单词在每幅图像中出现的次数, 构建视觉词汇直方图并归一化;将每幅图像表述为一个 K 维数值向量, 所有图像的数值向量组成了图像的特征矩阵 M1, 矩阵 M1是 N 行 K 列矩阵, 矩阵的行表示电连接器图像, 列表示对应的特征向量。4 航天电连接器图像的分类4.1 基于几何形状的预分类采用 Hough20变换对电连接器图像进行几何形状的预分类。Houg
22、h 圆检测具有对噪声不敏感、算法效率高等特点, 可以快速有效地对圆形插座与其他类型电连接器进行分类, 并防止样本类别过大造成的运算速度慢及数据过拟合等现象, 提高分类的准确度和效率。Hough 圆检测的基本思想是提取图像边缘特征点并映射到参数空间中, 将全局检测转换为局部峰值检测问题。对参数空间得到的所有坐标点元素对应的累加值进行累加统计, 根据累加值判断圆心坐标和半径。如图 8 所示, 中心点表示圆心坐标, 圆形轮廓即为检测出的特征圆。检测出特征圆后, 将电连接器分为两大类, 分别对两大类进行更加细致地分类, 最终得到连接器的准确型号。4.2 支持向量机的图像多分类结合 3.2 节得到的 S
23、IFT 特征向量与 4.1 节的预分类结果, 本文采用 SVM 对电连接器特征进行分类器训练。SVM 是 vapnik 等21于 1995 年基于统计学习理论提出的一种新的机器学习方法。该方法通过适当地选择函数的子集以及该子集中的判别函数, 依据有限样本信息, 在模型的复杂性与学习能力之间寻求最佳折中, 使实际风险达到最小化, 从而得到最好的泛化性能力。使用 SVM 进行训练的算法流程如下:(1) 不同种类的电连接器分别对应不同数字进行标记, 所有训练样本构成标记矩阵 M2, 与特征矩阵 M1共同输入到 SVM 中。(2) 选择合适的核函数和惩罚因子等 SVM 参数对样本矩阵进行训练。(3)
24、保存所有分类器训练得到的训练模型用于识别。核函数反映了低维空间与映射的高维空间之间的关系, 通过核函数可以利用线性的方法解决非线性问题, 图像分类就是典型的非线性问题。常用的核函数有线性核函数、多项式核函数和径向基核函数, 本文根据航天电连接器型号多样、总体样本数少的特点选择径向基核函数作为核函数, 经过大量实验调整得到合适的惩罚因子参数值 C。SVM 是一种二类问题分类器, 而航天电连接器的分类为多类问题。考虑到数据量和计算的复杂性, 本文将多类问题分解成多个二值分类问题, 具体来说是采用“一对一”的组合结构, 其分为:每次从总体样本数据的 N 类别中任取两个不同类别, 对这两类样本进行 S
25、VM 分类, 构建出 N (N-1) /2 个分类器;每个待识别的样本对这 N (N-1) /2 个分类器进行投票, 所得票数最多的类别即为待识别的样本类别。5 装配引导信息的建立为实现装配过程的智能引导, 需要建立完善的装配引导信息模型 (如图 9) 。预先对航天电连接器及对应待装配的设备进行建模, 得到零件与待装配体的三维模型。针对手工装配操作添加虚拟手的模型与操作工具模型, 部分三维模型如图 10 所示。针对不同型号的电连接器, 建立与其相关的操作顺序 ID 与识别得到的零件型号相对应, 并添加操作文字说明, 结合真实环境下对电连接器的装配操作建立一系列关键帧, 调整零件、工具和虚拟手的
26、位置记录一系列关键点, 保存各关键点位置构成装配路径信息。通过关键帧之间的运动解算进行装配过程仿真, 如图 11 所示。6 实验结果与分析6.1 实验环境的构建本实验图像选用罗技 C920 (分辨率 1 9201 280) 高清摄像头进行拍摄, 实验编程环境为 VisualStudio 2010, 操作系统版本为 Windows 8.1, 系统参数为IntelCorei5-4460CPU、内存 8G。实验选取 8 类具有典型特征的航天电连接器作为实验目标体 (如图 12) , 分别为不同插针的矩形插头 (R 1R4) 和圆形插座 (C1C4) 各 4 类。对每类目标体分别采集 200 张手工装
27、配图像 (1 9201 280) 作为训练样本, 采集 50 张图像作为测试样本对算法进行测试。6.2 实验结果的对比分析为检验本文所提算法的优越性, 将典型的 SIFT+SVM 和 SURF+SVM 算法进行对比。实验结果统计如表 1 所示。表 1 航天电连接器识别算法性能对比 下载原表 每类电连接器单独的识别准确率如表 2 所示。表 2 每类航天电连接器的识别准确率 下载原表 对实验结果分析如下:(1) 本文对航天电连接器的综合识别精确率为 90.25%, 且每类航天电连接器的识别率均达到 84%以上, 具有很好的鲁棒性。对于噪声多, 光照条件较差的图片, 经典 SIFT+SVM 与 SU
28、RF+SVM 算法的识别能力较低, 综合识别精确率分别为77.5%和 71.25%;对于相似度较大的插头插座类电连接器, 如 R2和 R3、C 1和 C2, 其识别准确率均低于其他型号的电连接器。(2) 对航天电连接器单张图片的识别时间低于传统分类算法。由于在预处理环节对原始图像进行了选择性提取与定位, 在分类环节综合采用了 Hough 变换和支持向量机分类, 使本文算法的效率较传统算法要高。6.3 连接器智能识别的装配引导在实验室原有 VESP (virtual engineering simulation platform) 虚拟仿真平台基础上建立了零件识别模块, 并对零件装配过程进行智能
29、引导。如图 13 所示, 通过零件识别模块开启摄像头采集现场图像, 对图像进行实时处理并显示零件型号识别结果。以识别结果为触发调取对应的装配引导信息显示在计算机上, 提示操作者以何种操作姿态进行装配操作, 然后将电连接器安装到哪个最终配对的零件上。7 结束语针对精密航天产品手工装配操作复杂、防错检验环节繁多导致装配效率低的问题, 本文结合航天电连接器的自身特点, 从图像预处理、特征提取和分类 3 方面出发, 综合运用多种图像处理方法实现了对航天电连接器的智能识别, 并构建装配引导信息模型对航天电连接器的装配过程进行实时提示, 指导装配人员进行装配。结果表明, 本文提出的智能识别算法较传统算法准
30、确率高、检测时间短。智能引导系统能够实现装配工艺信息的智能提示, 并减少装配耗时, 提高装配效率。本文所提算法目前只针对航天电连接器进行识别, 所采用的图像处理方法适用范围较窄。如何提取更加细致的图像特征来达到更好的通用性与更高的识别准确率, 将是今后进一步努力的方向。参考文献1LIU Mingzhou, MA Jing, ZHANG Miao, et al.Online operation method for assembly system of mechanical products based on machine visionJ.Computer Integrated Manufac
31、turing Systems, 2015, 21 (9) :2343-2353 (in Chinese) .刘明周, 马靖, 张淼, 等.基于机器视觉的机械产品装配系统在线作业方法J.计算机集成制造系统, 2015, 21 (9) :2343-2353.2LIU Haitao, GUAN Shengxiao, QIN Liang, et al.Study on vision-based navigation system of intelligent-robotJ.Computer Applications And Software, 2010, 27 (12) :218-220 (in Ch
32、inese) .刘海涛, 关胜晓, 秦亮, 等.智能机器人视觉导航系统的研究J.计算机应用与软件, 2010, 27 (12) :218-220. 3TANG Zhiwei.A review of driverless cars based on visionJ.Manufacturing Automation, 2016, 38 (8) :134-136 (in Chinese) .唐智威.基于视觉的无人驾驶汽车研究综述J.制造业自动化, 2016, 38 (8) :134-136. 4YAN Kaihua, SU Zhenwei, HUANG Mingfei.Application of
33、SVM in recognition of mechanical partsJ.Application of Electronic Technique, 2008, 34 (11) :108-110 (in Chinese) .晏开华, 苏真伟, 黄明飞.支持向量机在机械零件识别中的应用J.电子技术应用, 2008, 34 (11) :108-110. 5JIN Peng, LIU Jianhua, LIU Shaoli, et al.Measuring method of pipeline endpoints based on two-dimensional point-targetJ.Computer Integrated Manufacturing Systems, 2014, 20 (11) :2758-2766 (in Chinese) .金鹏, 刘检华, 刘少丽, 等.基于二维靶标的管路端点位置测量方法J.计算机集成制造系统, 2014, 20 (11) :2758-2766.
