1、基于 Hough 变换的高精度机器视觉对准系统的研究 魏丽 郭玉静 陆向宁 唐山学院机械工程省级实验教学示范中心 江苏师范大学机电工程学院 华中科技大学数字制造装备与技术国家重点实验室 摘 要： 随着集成电路特征尺寸的不断减小, I/O 引脚数日益增加。对于高密度封装, 尤其是 2.5D/3D 封装中, 电子元件和基底快速而准确的对准十分关键。利用高性能 CCD 搭建了一套精密的光学视觉对准系统, 并采用 Hough 变换算法对芯片和基底进行对准试验。采集的图像经过去噪预处理后采用形态学边缘检测方法提取对齐标记, 并通过 Hough 变换得到 4 组平行直线, 然后计算基底的位移和旋转角度并完
2、成对准。使用 Matlab 编程配准, 程序运行时间约为 4.2s, 旋转参数的误差小于 1.2, x 和 y 轴的平移误差均小于 1pixel。试验结果表明基于 Hough 变换算法的光学视觉对准系统可以快速而精确地实现芯片和基底对准, 满足 IC 封装需求。关键词： 对准系统; 霍夫变换; 机器视觉; 倒装芯片; 作者简介：魏丽 (1981-) 女, 河北衡水人, 讲师, 主要从事光电检测及图像处理技术的研究工作。E-mail:收稿日期：2017-05-17基金：国家自然科学基金 (51305179) High-precision alignment system of machine v
3、ision based on Hough transformWei Li Guo Yujing Lu Xiangning Provincial Experimental Teaching demonstration Center of Mechanical Engineering, Tangshan College; School of Mechanical Abstract： As the integrated circuit (IC) characteristic size continues to decrease, the number of I/O pins is increasin
4、g.For high-density packaging, especially in 2.5 D/3 Dpackages, fast and accurate alignment of electronic components and substrates is critical.A precise optical vision alignment system was set up by using the high precision charge coupled device (CCD) , and the Hough transform algorithm was utilized
5、 to calibrate the chip and the substrate.The image captured was preprocessed to remove the noise, and the alignment marks were extracted by using morphological edge detection method, and 4 sets of parallel straight lines were obtained by Hough transform.Finally, the displacement and the rotation ang
6、le of the substrate were calculated and the alignment was completed.The running time of the Matlab program is about 4.2 s, the rotation parameter error is less than 1.2 , xand yaxis translation errors are less than 1 pixel.The experimental results demonstrate that the optical visual alignment system
7、 based on the Hough transform algorithm can realize chip and substrate alignment quickly and accurately to meet the IC packaging requirements.Keyword： alignment system; Hough transform; machine vision; flip-chip; Received： 2017-05-17引言随着光电信息技术的发展, 机器视觉在微电子制造领域应用广泛, 如信息采集、自动检测和信号分类等领域, 尤其是精度要求较高的微电子制
8、造设备中电子元器件的对准和定位。另外在集成电路后端检验和封装生产设备中, 图像处理技术是完成模式识别和伺服控制的重要手段。自动封装设备结构十分复杂, 而其中的视觉对准系统尤为重要1。视觉自动对准技术包括主动和被动两种对准方式。其中主动式对准系统要求待对准物体充分接近, 并成像于同一个视场当中, 该技术虽然能够计算出组装精度, 但对准耗时过长。而被动式对准系统采用间接方式, 不是直接将两个器件对准, 而是让器件和基底分别对准2。被动式对准方法因对准精度高、用时短而广泛应用。对准过程中, 通过视觉引导, 推动贴装头运动, 并将芯片放置于基底的对应位置上进行键合封装。在芯片的整个封装键合过程中, 机
9、器视觉对准单元决定了键合的精度和质量2-3。视觉图像中的典型特征可以为对准系统提供有效的匹配信息, 因此, 准确提取图像中的特征并选择合理模板是实现图像配准的前提4-6。为了实现高精度定位, 需要深入研究以亚像素级特征提取方法为基础的模板匹配及定位技术, 该技术能较好地适应图像旋转、图像灰度变化、图像的比例尺寸变化、扭曲和遮挡等复杂状况。要求视觉对准系统软件不仅能完成图像定位、图像处理等基本操作, 还必须满足实时性对准要求。本文通过对芯片和基底图像中的十字对准标记进行特征提取与图像匹配, 先对图像进行平滑滤波, 然后用形态学方法检测图像的边缘, 再对图像进行 Hough变换提取边缘直线, 进而
10、求出十字架中心点的坐标。最后根据图像中提取的直线和中心点的坐标计算出两幅图像间的变换参数, 并驱动移动平台来补偿这一位差, 从而实现高精度对准。1 视觉自动对准系统的结构和设计本文设计的视觉自动对准系统结构及组成如图 1 所示, 系统由光学对准单元、CCD 光学成像单元, 图像处理单元、运动控制单元组成。其中光学对准单元对视觉对准系统的精度起关键作用。当系统进行垂直方向对准时, 光源发出强度适中的一束光, 当这束光通过分光镜时被分成两束, 分别照射于基底和芯片上, 并发生反射。来自芯片和基底表面的两束反射光经过分光镜时被会聚成一束光, 并通过 CCD 成像, 然后将这幅同时包含芯片和基底对准标
11、记的图像送入计算机控制系统。图 1 视觉自动对准系统 Fig.1 Visual automatic alignment system 下载原图光学成像单元如图 2 所示。芯片和基底分别位于 CCD 双成像系统的上部和下部, 来自芯片和基底的两路光束经分光镜、反射镜和棱镜聚焦在 CCD 上成像。图像处理单元检测该图像中的芯片和基底两表面上的标记位置, 控制单元调整工作台完成垂直对准。图 3 (a) 和 (b) 为实验用的倒装芯片 FA10 和基底, 芯片尺寸为 5.08 mm5.08mm。芯片和基底上均有对准十字标记。图 2 光学成像系统 Fig.2 Optical imaging system
12、 下载原图图 3 芯片和基底图像 Fig.3 Images of chip and substrate 下载原图在视觉对准系统中, 贴装头能够沿 Z 轴方向进行垂直运动, 而工作台可以沿 X和 Y 轴方向移动, 并绕 Z 轴转动。将芯片和基底通过真空装置分别吸附于贴装头和工作台上。系统工作时, 首先将贴装头对准系统工作台。然后沿 Z 轴方向移动贴装头, 直至基底和芯片成像清晰;再沿 X 和 Y 轴方向移动对准系统工作台进行粗对准, 使芯片、基底在视场中大致重合;然后由视觉系统测量芯片和基底上的定位标志的位置偏差, 根据此偏差对工作台进行相应的移动和转动, 从而使基底到达目标位置实现精对准。最后
13、光学对准系统退出工作区域, 垂直向下移动贴装头, 使芯片和基底接触, 选取合理的键合工艺, 调整温度、压力等工艺参数完成芯片和基底的键合。2 对准系统图像处理算法为了保证实验选取的倒装芯片与对应基底进行精确键合, 视觉对准系统的图像采集处理单元需要测量出芯片和基板上对准标志的位置偏差量, 并通过驱动台来补偿这一位差。因此, 图像处理的结果将直接影响芯片键合的精度。对准系统图像处理主要包括图像预处理、图像阈值分割、图像边缘检测、Hough 变换及图像配准。2.1 图像的预处理由于受杂散光的影响及 CCD 制作工艺水平的限制, 系统采集到的光学图像中含有噪声和缺陷, 造成图像灰度的急剧变化, 出现
14、边界不连续等现象, 致使图像边缘识别时产生错误的目标边缘或轮廓, 对图像后处理产生误导。因此, 输入计算机的图像首先要进行平滑预处理运算, 去除部分图像噪声, 提高图像质量, 为图像边缘检测奠定良好的基础5。为提高信噪比, 通常采用滤波技术对图像进行平滑化处理。常用的滤波处理技术主要有邻域平均滤波技术 (简单平滑) 、高斯滤波、中值滤波和双边滤波等。2.2 图像阈值分割图像阈值分割是图像分析的基础, 是目标跟踪、定位、对准中重要的初级处理环节。其目的是有效地将目标和背景分离出来。常用的方法有基于阈值的图像分割、基于边缘的图像分割和基于区域的图像分割。2.3 图像的边缘检测图像边缘检测通常采用微
15、分算子进行处理, 在实验中比较了常用几种算子的优缺点, 并采用了形态学方法对图像进行边缘检测, 该方法可以有效克服几种常用算法在边缘不连续、检测边缘出现多像素宽度和对噪声敏感等方面的不足8-9, 还能够很好地消除图像中的噪声, 提取的图像边缘清晰可见。2.4 Hough 变换及图像配准Hough 变换是从二维空间到参数空间的一种映射, 其基本原理是利用点线对偶, 将原始图像中的曲线映射到通过极坐标表达式变为参数空间上的一个点, 实现对原图像解析式的识别。这样, 图像空间中的曲线便与参数空间上的对偶点一一对应, 即把线匹配转化为点匹配。比如直线、圆、椭圆、弧线等。Hough 变换的优点是受到图像
16、中噪声和边界间断的影响比较小, 它的鲁棒性能比较好10-12。对于直线, Hough 变换的映射表现为从二维空间上的某点到参数空间上的某条曲线的对应关系, 由数学对偶性原理知二维空间上的点的共线性对应于参数空间上曲线的共点性, 以此为依据来提取直线的相关参数。其原理如图 4 所示, 其映射关系为式中: 为直线 l 到远点的距离; 为 与 x 轴的夹角。图 4 Hough 变换的原理 Fig.4 Principle of Hough transform 下载原图如果建立二维空间 (, ) , 那么图像中的任意一点都能在参数空间中找到对应的一条曲线。所以空间直线匹配的问题就转换为参数空间上点匹配的
17、问题。根据 Hough 变换提取出来的特征信息计算出两幅图像之间的偏差, 通过平移和旋转实现图像的配准。3 实验和结果实验中采用微电子制造设备中最常见的十字架标记对准法, 提取倒装芯片 FA10及其基底图像中对应的十字标记, 如图 5 所示。根据上述图像处理及配准步骤, 先对图像进行平滑滤波。图像的简单平滑和高斯平滑虽然能够对图像进行有效去噪, 但会导致图像对比度下降, 图像会变得模糊。中值滤波却很好地解决了这个问题, 去除噪声的同时还能较好地保留图像中的边缘信息。图 5 (b) (c) 是利用这 3 种方法对图像进行滤波处理后的结果。图 5 滤波结果对比 Fig.5 Contrast of
18、filtering results 下载原图根据标记的特征, 背景和目标有比较明显的灰度变换, 所以采用双峰法进行阈值分割, 结果如图 6 所示。图 6 阈值分割处理 Fig.6 Process of threshold segmentation 下载原图图像分割后使用形态学方法进行图像边缘检测, 具体步骤如下:1) 先对图像进行二值化, 然后通过开运算把图像中相对于结构元素缺损的部分过滤掉;2) 然后进行闭运算, 对图像中一些细小的缝隙和独立的部分进行填补;3) 最后用选定的结构元素对二值化图像进行腐蚀, 然后用原图像与腐蚀后的图像相减得到边缘检测后的图像。图 7 是利用几种不同算子进行边缘
19、检测的结果, 从图中可以看出形态学提取的图像边缘清晰, 只有一个像素宽度, 检测精度高, 对图像噪声不敏感, 为图像的 Hough 直线变换提供了极其有利的条件。图 7 采用不同算子对图像进行边缘检测的效果图 Fig.7 Result images after edge detection with different operators 下载原图图像中十字对准标记的主要特征是以两组平行直线为边缘。将改进的 Hough 变换方法与最小二乘法相结合对十字标记中的直线进行提取, 得到十字对准标志的中心点坐标, 计算出基板和芯片上标志的位置偏差, 驱动工作台实现对准。图 8 是对边缘检测后的图像进行
20、 Hough 变换得到两组平行的直线, 即 4 条长直线。图 8 图像的 Hough 变换处理 Fig.8 Hough transform process of image 下载原图为了实现芯片与基底的对准, 须计算对准十字标记间的偏差量, 该偏差则是通过对图像 Hough 变换提取的直线进行求解的, 包括 x、y 轴平行偏移量和 x-y 平面内的旋转角度。基底在 x 轴和 y 轴上的偏移量可以通过求解十字架中心点的坐标来算出。设在芯片上图像检测到的 4 条直线如 (2) 式所示。设在基底上图像检测到的 4 条直线如 (3) 式所示。这 8 条直线分别互相对应, 根据芯片图像上提取到的直线端点
21、计算出它们各自的中心点分别为 (w 11, w12) 、 (w 21, w22) 、 (w 31, w32) 、 (w 41, w42) , 根据基底上检测到的直线端点计算出它们各自的中心点分别为 (t 11, t12) 、 (t 21, t22) 、 (t 31, t32) 、 (t 41, t42) 。这样就可以计算出两幅图像各自的中心点, 芯片图像上的中心点为 (w 11+w21) /2, (w32+w42) /2, 同理基底图像上的中心点为 (t 11+t21) /2, (t32+t42) /2, 然后芯片图像和基底图像在 x 轴和 y 轴上的偏差就很容易的求解出来了。在 x 轴和 y
22、 轴上的偏差和如 (4) 式所示, 计算结果如图 9 所示。图 9 Matlab 计算中心坐标 Fig.9 Calculation of central coordinate by Matlab 下载原图基底的旋转角度可以通过求解两位置相应的直线斜率来求解。根据 (2) 式和 (3) 式先求解出芯片图像中第 1 条直线的斜率 k1=-b1/a1, 基底图像中与之相对应的直线的斜率为 k2=-d1/c1, 然后把对应斜率转化为角度 1和 2。这样芯片图像和基底图像之间的旋转角为 。根据计算得出的 x 和 y 可以先让芯片图像和基底图像的中心点重合, 然后通过计算得出的角 让其中的一副图像旋转来和
23、另一幅图像完成对准。实验结果如图 10 所示。在图像匹配实验中, 模板图像与目标图像大小为 248236 像素。从模板图像和目标图像中提取的直线段数量为 8 条, 分成 4 组。使用 Cognex 公司的视觉软件中的 PatMax 模块的匹配结果作为真实值, 旋转参数的误差小于 1.2, x 和 y轴的平移误差均小于 1pixel。使用 Matlab 编程配准, 运行时间约为 4.2s;其他能达到同等配准效果的程序运行时间约为 4.6s。因此, 在同样的配准要求下, 本文配准程序运行较快, 能满足封装设备中视觉对准系统的要求。图 1 0 实验结果 Fig.10 Experimental res
24、ult 下载原图4 结论本文研究并设计了一套高精度、光学视觉对准系统, 并以倒装芯片 FA10 为实验对象, 实现了芯片和基底的精确对准。对准系统通过 CCD 光学图像采集单元, 将倒装芯片和基底成像于同一视场中, 提取图像中的对准十字标记。经图像预处理、中值滤波后用形态学方法进行图像边缘检测, 得到了单像素点线宽的对准标线边缘, 然后通过 Hough 变换获取 4 组平行直线及其对应参数, 计算得出芯片和基底相对应的位移和旋转角度, 并驱动移动平台进行补偿, 从而实现了芯片和基底的精确对准, 旋转参数的误差小于 1.2, x 轴和 y 轴的平移误差均小于 1pixel。实验结果表明, 采用
25、Hough 变换算法的视觉对准系统可用于高密度微电子封装键合, 实现高精度对准。参考文献1Lecarpentier G.High accuracy machine automated assembly for optoelectronicsC/Electronic Components and Technology Conference.Nevada:IEEE, 2000:1-4. 2Wang Hongsheng, Shi Tielin.High precision alignment system research and development in machine visionJ.Opt
26、ical Technique, 2004, 30 (2) :235-236.汪宏昇, 史铁林.高精度机器视觉对准系统的研究与设计J.光学技术, 2004, 30 (2) :235-236. 3Sun Xiangcheng.Control system design and implementation of XY platform for high density bondingD.Wuhan:Huazhong University of Science and Technology, 2014:2-9.孙湘成.高密度键合 XY 平台控制系统设计与实现D.武汉:华中科技大学, 2014:2-9
27、. 4Nakasuga Y, Hashimoto T, Yamada Y, et al.Multichip hybrid Integration on PLC platform using passive alignment techniqueC/Proceedings of the 46ECTC.Florida:IEEE, 1996:20-25. 5Nickels K, Hutchinson S.Estimating uncertainty in SSD-based feature trackingJ.Image and Vision Computing, 2002, 20 (1) :47-
28、58. 6Tang Weihong, Luan Shengli, Li Liangfu.Feature detection method for parabola object in optical imageJ.Journal of Application Optical, 2013, 34 (4) :609-612.汤卫红, 栾胜利, 李良福.光学图像中的抛物线目标特征检测方法研究J.应用光学, 2013, 34 (4) :609-612. 7Liu Ying, Cao Jianzhong, Xu Zhaohui, et al.Improvement of image matching a
29、lgorithm based on gray correlationJ.Journal of Applied Optics, 2007, 28 (5) :536-539.刘莹, 曹剑中, 许朝晖, 等.基于灰度相关的图像匹配算法的改进J.应用光学, 2007, 28 (5) :536-539. 8Han L, Han A L.An improved edge detection algorithm based on morphological operators and gradientJ.Journal of Computational and Theoretical Nanoscience
30、, 2015, 12 (7) :1121-1125. 9Sun Q, Hou Y, Tan Q.A subpixel edge detection method based on an arctangent edge modelJ.OptikInternational Journal for Light and Electron Optics, 2016, 127 (14) :5702-5710. 10Fernndez A, Flores J L, Alonso J R, et al.Ferrari real-time pattern recognition using an optical
31、generalized Hough transformJ.Applied Optics, 2015, 54 (36) :10586-10591. 11Chen H Y, Lin Y, Chen B Y.Co-segmentation guided Hough transform for robust feature matchingJ.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37 (12) :2388-2401. 12Wang Jingxue, Zhu Qing, Wang Weixi, et al.Straight line extraction algorithm by Hough transform combining edge groupingJ.Journal of Remote Sensing, 2014, 18 (02) :378-389.王竞雪, 朱庆, 王伟玺, 等.结合边缘编组的 Hough 变换直线提取J.遥感学报, 2014, 18 (02) :378-389.
