1、华中科技大学硕士学位论文基于机器视觉的工业机器人抓取技术的研究姓名：董文辉申请学位级别：硕士专业：机械工程指导教师：叶伯生2011-05-25华 中 科 技 大 学 硕 士 学 位 论 文 I摘 要 目前在生产线上工作的搬运工业机器人大都是通过示教或预编程对其进行操作的，这样操作目标物体的初始位姿和终止位姿都是严格限定的，机器人只是完成点到点的动作，这样一来，生产线的柔性就很差，满足不了柔性生产系统对物料输送系统的要求。在这种情况下，为保证搬运工业机器人顺利高效的完成工作任务，引入视觉识别和定位就显得很有必要。小批量多品种的生产模式是未来制造业的发展趋势。而示教和离线编程会花费大量的生产准备时
2、间，生产效率的问题将尤为突出。 本文研究的目的是对生产线上的工业机器人控制系统进行开发设计，将计算机视觉技术引入原有的搬运工业机器 人领域，利用机器视觉技术 获取工件及其周围环境的信息，识别出所要操作的目标工件，并能做出决策来引导工业机器人完成对工件的抓取和放置等操作，提高生产线上工业机器人的柔性和智能水平。 本文提出了一种基于五轴工业机器人系统中加入计算机视觉的解决方案。主要的研究工作如下：提出了一种简单且准确度较 高的实现单目摄像机标定的方法， ；对五轴机器人的运动学进行了分析并实现了目标定位；通过以太网实现了上下位机的通信；针对实验抓取的特定目标物体设计了手爪的夹持规划；根据机器人软件平
3、台的特点，采用两种方案对控制软件进行开发设计：通过操作控制面板上特定按键实现视觉控制视觉控制和通过执行宏变量程序实现视觉控制。 关键词 五轴工业机器人，摄像机标定，位姿计算，上下位机通信，夹持规划 华 中 科 技 大 学 硕 士 学 位 论 文 IIAbstract At present, the industrial robots for carrying which are used in production generally utilize teaching or pre-programming mode. Under this ways, operation of initial
4、object pose and terminate pose is limited strictly. Robots can only complete point-to-point movements. So the flexibility of production line is unsatisfactory, can not to meet the flexile production systems requirements for material conveying system. In this case, it is necessary to introduce visual
5、 identification and positioning to ensure the smooth and efficient handing industrial robot task. The production mode of small batch but many varieties is the development trend of future manufacturing, and demonstration and off-line programming will cost a lot of time to prepare for production, the
6、production efficiency problem will be particularly outstanding. The purpose of this study is to design the line of industrial robot control system. By taking computer vision technology into the original hanging industrial robot field, using the machine vision technology acquire the information of wo
7、rkpiece and its surrounding environment, identify the target workpiece to operate and make decision to guide industrial robots to finish the grab and place operation to improve the flexibility and intelligence robots. This paper puts forward a solution to join computer vision in which based on the f
8、ive axis industrial robot system. The main research work are as follows: putting forward a simple and accurate method to realize the monocular camera calibration ; analysing kinematics of the five axis of robot and realizing the target; throgh the Ethernet to realize the communications between fluct
9、uation place machine;designing the clamping pianning of the paw,aimed at the particular target object that grabbed in the experiment;according to the characteristics of the robot sofeware platform,by using two kinds of schemes to design the control software to realize the visual contral: through the
10、 operation panel on the special keys achieve visual control and through performs macro variable program realization visual control. . Keywords five-axis industrial robots, camera calibration, pose estimation,fluctuation place machine communication, Clamping planning 独创性声明 本人声明所呈交的学位论文是我个人在导师指 导下进行的研
11、究工作及取得的研究成果。尽我所知，除文中已经标明引用的内 容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的 研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用 学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 （请在以上方框
12、内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 保密，在 年解密后适用本授权书。 不保密。 华 中 科 技 大 学 硕 士 学 位 论 文 11 绪论 1.1 工业机器人的现状与发展趋势 机器人作为一种最典型的应用范围广、技术附加值高的数字控制装备，在现代先进生产制造业中发挥的作用越来越重要，机器人技术的发展将会对未来生产和社会发展起到强有力的推动作用。 2l 世纪日本创建机器人社会技术发展战略报告指出， “机器人技术与信息技术一样，在强化产业竞争力方面是极为重要的战略高技术领域。培育未来机器人产业是支撑 2l 世纪日本产业竞争力的产业战略之一，具有非
13、常重要的意义。 ”1。 研发工业机器人的初衷是为了使工人能够从单调重复作业、危险恶劣环境作业中解脱出来，但近些年来，工厂和企业引进工业机器人的主要目的则更多地是为了提高生产效率和保证产品质量2。因为机器人的使用寿命很长，大都在 10 年以上，并且可以全天后不间断的保持连续、高效地工作状态，因此被广泛应用于各行各业，主要进行焊接、装配、搬运、加工、喷涂、码垛等复杂作业5。伴随着工业机器人研究技术的成熟和现代制造业对自动生产的需要，工业机器人越来越被广泛的应用到现代化的生产中。 现在机器人的价格相比过去已经下降很多，并且以后还会继续下降，但目前全世界范围的劳动力成本都有所上涨，个别国家和地区劳动力
14、成本又很高，这就给工业机器人的需求提供了广阔的市场空间，工业机器人销量的保持着较快速度的增长。工业机器人在生产中主要有机器人工作单元和机器人工作生产线这两种应用方式，并且在国外，机器人工作生产线已经成为工业机器人主要的应用方式4。以机器人为核心的自动化生产线适应了现代制造业多品种、少批量的柔性生产发展方向，具有广阔的市场发展前景和强劲生命力，已开发出多种面向汽车、电气机械等行业的自动化成套装备和生产线产品2。在发达国家，机器人自动化生产线已经应用到了各行各业，并且已经形成一个庞大的产业链。像日本的 FANUC 和 MOTOMAN、瑞典的 ABB、德国的 KUKA、意大利的COMAU 等都是国际
15、上知名的被广泛用于自动化生产线的工业机器人。这些产品代表着当今世界工业机器人的最高水平。 华 中 科 技 大 学 硕 士 学 位 论 文 2我国的工业机器人前期发展比较缓慢。当将被研发列入国家有关计划后，发展速度就明显加快。特别是在每次国 家的五年规划和“ 863”计划的重点支持下，我国机器人技术的研究取得了重大发展。在机器人基础技术和关键技术方面都取得了巨大进展，科技成果已经在实际工作中得到转化。 机器人涉及到多学科的交叉融合，涉及到机械、电子、计算机、通讯、控制等多个方面。在现代制造业中，伴随着工业机器人应用范围的扩大和机器人技术的发展，机器人的自动化、智能化和网络化的程度也越来越高，所能
16、实现的功能也越来越多，性能越来越好。机器人技术的内涵已变为“灵活应用机器人技术的、具有实在动作功能的智能化系统。 ”3目前，工业机器人技术正在向智能机器和智能系统的方向发展，其发展趋势主要为：结构的模块化和可重构化；控制技术的开放化、 PC 化和网络化；伺服驱动技术的数字化和分散化；多传感器融合技术的实用化；工作环境设计的优化和作业的柔性化以及系统的网络化和智能化等方面2。 1.2 视觉工业机器人的应用和研究现状 伴随着科技的进步和生产技术的发展，基于机器视觉技术的工业机器人的研究越来越得到广泛的关注， 并且已经出现一大批科技成果， 并在实际生产中得到了很好的应用。 国外在对基于机器视觉的工业
17、机器人的研究上已经做了很多工作，并且已经有很多突破性成果。日本学者 S.Murakami 等研究的弧焊机器人焊缝跟踪控制系统，采用了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数据， 能有效地进行焊缝跟踪5。澳大利亚 Western 大学研制的 Australia s Telerobot，它是一个带有摄像机的具有六个自由度的工业机器人，用户可以控制拍摄静态图像并对图像进行处理，生成空间位置，通过不断拍摄和更新图像得到空间位置后，通过对位置信息的处理实现了基于空间坐标系的积木块的摆设。欧宝、保时捷等知名品牌汽车的生产线，使用了 12 台摄像机进行模式识别和 3D 定位6,8，可以对车身进行
18、高精度的密封生产； 。瑞士 SIG 公司研发的一种结合视觉系统，适用在高速输送机上取件的并联机器人 XR22，可以通过 2D 定位5，迅速将输送机上随机的货物抓取，并在包装盒中按顺序序摆放整齐。图 1.1 为 2007 年日本机器人 顶级荣誉获得者 Fanuc 公司的超快双臂工业机器人系统。该系统装配有两个华 中 科 技 大 学 硕 士 学 位 论 文 3M-430iA 机器人手臂和可视跟踪功能的食品、药品操作系统，它的每只手臂每分钟可以精确的捡起 120 件物品且可以每天 24 小时不间断的工作。瑞典 ABB 公司最新推出的“第二代”拾取机器人 FlexPicker IRB360（图 1.2
19、 所示） ，拥有有效载荷更大、操作速度更快、占地面积更小等优势，在简单有效的 2D 视觉的帮助下，可以以高达 2 次 /秒的速度快速捡取传送带上的物品。 而芬兰 RTS 公司研制的机器人视觉系统则成功地用于舰船螺旋桨推进器的生产过程中，通过机器视觉的监控，可按照 CAD 模型对螺旋桨叶片进行精密的磨制7。图 1.3 所示的是工作在生产线上的码垛机器人和卸垛机器人，对环境的适应性很好，能够自主识别工作目标，进行任务操作。 图 1.1 Fanuc 公司的超快双臂工业机器人系统 图 1.2 ABB 公司展示的 FlexPicker 工业机器人 华 中 科 技 大 学 硕 士 学 位 论 文 4图 1
20、.3 生产线上的码垛和卸垛工业机器人 1.3 课题研究的目的和意义 搬运机器人作为最早应用于生产的两种工业机器人之一，在工业生产自动化中，一直扮演着非常重要角色。并且在现有的工业机器人已装机总数中，搬运机器人也占着较大的比例。伴随着工业机器人应用范围的不断扩展，搬运机器人呈现向食品饮料、家用电器、半导体晶圆、液晶面板等多元行业发展的趋势，成为工业机器人领域发展的一个新增长点4。 目前生产线上应用的搬运工业机器人大多是通过示教再现或预编程来实现机器人的操作，这样物体的初始位姿和终止位姿都是严格限定的，机器人只是完成点到点的任务动作，外部参数变化的物体发热操作则是无能为力。这样一来，生产线的柔性就
21、差，满足不了柔性生产系统对物料输送和搬运的要求。在这种情况下，为保证机器人顺利高效的完成工作任务和减少生产准备时间，引入机器视觉技术来实现对工作目标物体的识别和定位就显得很有必要。 在现代自动化生产的过程中，计算机视觉技术正成为一种保证产品质量和提高生产效率的关键技术手段，如实现智能机器人的控制、对机械零件的自动加工和检测和柔性生产线的自动监控等。本文所作的研究就是对生产线上的工业机器人控制系统进行开发华 中 科 技 大 学 硕 士 学 位 论 文 5设计，将计算机视觉技术应用于搬运工业机器人的工作领域，利用机器视觉技术获取工件及其周围环境的信息，从中识别出所要的操作的目标物体，并能做出决策来
22、引导工业机器人完成对目标物体的抓取、放置等操作。这不但提高了产品的质量和生产效率，同时对增强工业机器人对环境的 适应能力以及拓展机器人应 用范围都具有十分重要的意义3。 1.4 本文主要研究内容 本文以 Dainichi Kiko PT-300V 五轴工业机器人为研究平台， 对如何依据机器视觉信息来控制机器人进行了研究和实践。 本文的主要研究内容是利用视觉传感器反馈的位姿信息， 使得 PT-300V 五轴工业机器人的末端执行器即手爪，能够自动对准目标物体，并对目标物体进行抓取。本文中的目标物体定为圆柱体和长方体。完整的控制过程如下 :利用日本 ARTRAY 公司生产的型号为 ARTCAM 13
23、0MI 的 CCD 摄像机来获取目标物体的位置信息， 经过运算变换转化成机器人手爪的抓取信息， 然后再利用所研究的 PT-300V 五轴工业机器人运动学的逆解算法计算出一组机械臂各个关节的转角，再通过控制机器人各个关节的转动，使机器人的手爪以特定的姿态到达目标物体的位置并实现对目标物体的准确抓取。 本文主要分为以下章节： 第一章首先介绍了工业机器人的现状及发展趋势，接着分析视觉工业机器人的研究现状，再阐述本课题的来源、研究的目的和意义，最后给出本论文的研究内容。 第二章介绍了基于单目视觉的五轴工业机器人控制方案的设计， 包括以下几个部分 :五轴工业机器人系统和视觉系统的方案设计、机器人系统和视
24、觉系统的交互以及所采用的 ARTCAM 130MI CCD 摄像机的基本参数和控制方式。 第三章提出基于单目视觉的 eye-to-hand 系统的摄像机的标定方法。 通过图像的采集和处理识别出目标工件之后， 根据摄像机的标定原理， 提出了一种简单准确的标定方法，确定了目标工件在图像坐标系中的坐标和在机器人基坐标系中的坐标的相对关系，并通过实验完成了单目摄像机的标定，验证了方法的可行性和准确性。 第四章对 PT-300V 五轴工业机器人进行运动学分析。 利用 D-H 方法建立了 PT-300V华 中 科 技 大 学 硕 士 学 位 论 文 6五轴工业机器人的运动学模型，并在这个模型的基础上，推导
25、出五轴工业机器人的正运动学方程并研究了机器人逆运动学问题的求解方法， 得到了 PT-300V 五轴工业机器人运动学逆问题的各个关节的转角。除此之外，还考虑了如何对不同的特定尺寸目标物体进行定位，指导机器人操作。 第五章是在 PT-300V 五轴工业机器人建立的目标物体抓取系统的软硬件环境和运动学算法的基础上，建立上下位机通信的连接，应用第四章中的摄像机标定数据和目标定位的方法，将识别出的目标物体的空间位姿信息，发送到机器人控制系统中，再对原有工业机器人的控制软件进行二次开发实现视觉控制，还要根据接收到的位姿信息进行夹持规划，最后控制机器人实现抓取目标工件的操作。 第六章为本文的总结和展望部分。
26、对本文的研究工作进行了总结，并根据自身实践体会提出了可能需要进一步研究的方向。 华 中 科 技 大 学 硕 士 学 位 论 文 72 基于视觉的 PT300V 工业机器人控制系统的方案设计 本章主要对基于视觉的机器人控制系统的方案设计进行介绍和说明。整个系统是在原有的工业机器人控制系统基 础上添加了机器视觉系统而 组成的，主要由视频采集设备、上位机、机器人工控机、控制柜和机器人本体等部分组成。 图 2.1 基于视觉的机器人控制系统实体组成图 本文中视频采集设备选用的是日本 ARTRAY 公司生产的型号为 ARTCAM 130MI的 CCD 摄像机；上位机采用普通 PC 机，也可以是笔记本电脑，
27、安装 Windows XP 操作系统；数控装置采用的是华中数控世纪星，选用的型号为 HNC-210B。 2.1 机器人系统的方案设计 机器人系统由机器人本体、控制柜和数控装置这三部分组成。 本文机器人本体采用的是日本 Dainichi Kiko PT-300V 五轴工业机器人， 实体如 图 2.2所示。结构上主要由底座、腰、大臂、小臂和手腕五个部件组成。各部件之间的连接部华 中 科 技 大 学 硕 士 学 位 论 文 8分被称为机器人的关节或轴。底座与腰之间为关节 1，腰与大臂之间为关节 2，大臂与小臂之间为关节 3，小臂和手腕之间为关节 4，手腕部件还包含关节 5。关节 1 到 3 为定位关
28、节，手腕的位置主要由这三个关节决定；关节 4 和关节 5 为定向关节，主要用于改变手腕姿态。机器人每个关节均由伺服电机驱动，以实现机器人的整体运动。机器人上各个关节的电机选用的是华大电机生产的交流伺服电机。 控制柜内安装了机器人的五个伺服驱动器，变压器，继电器和 I/O 端子板以及其它的一些相关辅助设备元件。伺服驱动器采用的是华中数控研发的型号为 HSV-16 的全数字交流伺服驱动单元。 工控机采用的是华中数控世纪星 HNC-210B 数控装置， 该数控装置采用先进的开放式体系结构， 内置了嵌入式工业 PC 机， 并配置 10.4 寸彩色液晶显示屏和标准控制面板，使用和对其进行二次开发都比较方
29、便。 图 2.2 机器人本体、控制柜和工控机 选用的华中数控世纪星 HNC-210B 作为机器人的工控机， 可以为外部提供丰富的接口功能，如图 2.3 所示。这里我们将五个交流伺服电机连接好的五个交流伺服驱动单元分别通过进给驱动装置的接口 XS30、 XS31、 XS34、 XS35 和 XS36 接入到工控机上。机器人各个关节上的行程开关、限位开关等系统外部的开关量则通过接到电柜里的 I/O端子板上后，再经过一一对应从端子板引线通过 XS10 这个开关量输入接口接到工控系统中。 华 中 科 技 大 学 硕 士 学 位 论 文 9图 2.3 HNC-210B 的外部接口 对于本实验用的工业机器
30、人的软件 系统的研发是基于华中数控世纪星 HNC-210B的系统平台而进行的二次开发。它采用了开放式的数控系统体系，如图 2.4 所示。 华中数控系统使用 DOS 操作系统 + 实时多任务扩展系统软件平台作为通用系统软件；华中数控系统的 CNC 软件平台可以提供运动控制；应用软件则可以按用户的需求进行不同的组合和配置；硬件驱动软件是软件与硬件通讯的接口；应用软件 + CNC软件平台 + 硬件驱动软件就构成了能实现特定功能的应 用软件；系统硬件提供外部接口连接系统外的特定硬件12（专为某种应用选择的硬件设备, 如本实验用到的华中数控生产的 HSV-16 交流伺服驱动模块和华大的交流伺服电机等）
31、。 华 中 科 技 大 学 硕 士 学 位 论 文 10图 2.4 华中数控开放式的数控系统体系 华中数控开放式的数控系统软件结构可以分为系统软件、应用平台与应用程序这三个层次。华中数控的系统软件将提供通用的 DOS 操作系统和实时多任务应用程序接口等来对上层的应用进行支撑。应用平台这一层中除了包含系统提供的特定 API 接口外，还可以集成用户根据系统软件平台提供的 API 接口来根据自己的需要自定义的一些功能接口。 这样外部二次开发程序就可以通过自定义的 API 接口与数控系统的实时多任务调度功能模块连接起来。这样二次开发的应用程序与系统的硬件就可以完全的隔离，它就将只作为数控系统中的一个扩
32、展功能模块，这样就避免了二次开发应用程序与数控系统的接口不兼容的状况，提高了整个系统开发的效率和可靠性12。应用程序这一层包含有人机界面、过程控制和系统集成与配置支撑环境这三部分，可为用户提供一个友好的人机接口，实现图形显示、编辑、和网络等功能。 华中数控开放式的数控系统软件结构为我们对工业机器人的控制系统进行二次开发提供了一个很好的平台。本文中对 PT-300V 五轴工机器人运动学的设计和修正，工控系统中建立通信来通过以太网发送指令和接受数据等，以及通过调用系统中的轴运动接口函数来实现机器人手爪抓取 规划等，这些开发都是基于 这个开放式数控平台来完成的。 2.2 机器视觉系统的方案设计 视频
33、采集装置选用的日本 ARTRAY 公司 ARTCAM 130MI 型号的 CCD 摄像机，需要给其提供 5V 的直流电源，功耗为 2 瓦。图像尺寸大小可调，最大图像分辨率为华 中 科 技 大 学 硕 士 学 位 论 文 1112801024 像素。并且提供 BNC 插头和 USB 2.0 接口，当 USB 2.0 接口与外部 PC 机连接时，就可以在给 CCD 摄像机提供外部电源的同时又能完成视频的采集功能，从 USB 2.0 接口输出的信号是数字信号，详细的使用说明参看参考文献 16。 图 2.5 RTCAM 130MI CCD 摄像机 使用该摄像机时，需要在计算机中安装 ARTCAM 13
34、0MI CCD 摄像机驱动程序，这样计算机视觉软件就能通过调用安装的摄像机驱动程序中特定的 API 接口函数来控制电子快门实现 CCD 摄像机图像的采集等控制操作。 RTCAM 130MI CCD 摄像机提供了丰富的 API 函数接口供图像采集处理使用。 表 2.1 RTCAM 130MI CCD 摄像机的 API 函数接口函数及功能14 GetMaxCameraNum Get max supported camera numberIsCameraValid Test camera is installedSelectCamera Select cameraGetCurrentCameraIn
35、dex Get current camera indexSetSensorType Set Sensor Type GetSensorType Get Sensor Type SetTransMode Set image acquisition format GetTransMode Get Image acquisition format SetROI Set Region of Interest and subsample format GetROI Get Region of Interest and subsample format SetVerMirror Set Vertical
36、mirror mode GetVerMirror Get Vertical mirror mode SetRGBGain Set RGB Gain Value GetRGBGain Get RGB Gain Value SetRGBOffset Set RGB offset Value GetRGBOffset Get RGB offset Value SetCaptureTimeout Set Capture wait time 华 中 科 技 大 学 硕 士 学 位 论 文 12GetCaptureTimeout Get internal Capture wait time Capture
37、 Capture image IsCaptureFinish Confirm capture thread finish GetCaptureTime Get last capture time GetStillImage Get image from capture buffer StartPreview Start preview thread StopPreview Stop preview thread IsNextPreviewReady Confirm next preview page is ready to transfer GetPreviewImage Get next p
38、review page from preview buffer GetPreviewTime Get preview time elapse GetPreviewCount Get preview page count SetExtTrigger Set capture modeGetExtTrigger Get capture modeAutoWhiteBalance Auto White Balance CalculationSetHalfClock Set Master Clock IsHalfClock Get Master ClockGetPreviewStat Get Previe
39、w StatusChangePIDtoDS Change PID to use DirectShow driverReadSromID Read EEPROM IDWriteSromID Write EEPROM ID机器人视觉系统可分为图像获取、图像处理、图像理解、图像存储等功能模块。但在实际的机器人视觉系统中可能不会全部包括这些，但最基本的组成部分是图像获取和图像处理。 本实验中图像获取部分所需要的硬件设备主要有光源和 ARTCAM 130MI CCD摄像机两部分部分。光源是获取良好图像质量的保证；因为通过 ARTCAM 130MI CCD 摄像机输出的信号是数字信号，可以直接由计算机处理
40、，而不需要像传统摄像机那样需要通过图像采集卡对其进行 A/D 转换后形成数字图像，才能被计算机处理。 图像处理部分主要实现了图像的灰度化、图像的二值化、图像轮廓的提取以及中心点的生成等功能模块。 根据机器人视觉系统使用的摄像机数目的不同，机器人视觉系统可分为单目、双目以及多目视觉系统7。单目视觉系统是通过采用一台摄像机来对目标物体进行测量，常见于平面视觉。在平面视觉中，摄像机的内参数一般不需要标定，标定相对方便，使用比较简单。 根据摄像机与工业机器人的相互位置的不同，摄像机与工业机器人的腕部末端构成手眼系统可以分为 Eye-in-Hand 系统和 Eye-to-Hand 系统15。 Eye-i
41、n-Hand 系统中的摄华 中 科 技 大 学 硕 士 学 位 论 文 13像机一般都是安装在机器人腕部末端，在机器人工作过程中随机器人手部的运动而一起运动，而 Eye-to-Hand 系统中的摄像机则是安装在机器人本体外的固定位置，在机器人运动过程中摄像机的位置和姿态一直保持改变。 本文采用的机器人视觉系统为基于单目视觉的 Eye-to-Hand 系统。 本实验将 CCD 摄像机安装在机器人工作台的正上方并安装在固定墙上的悬架上，通过 CCD 摄像机的USB 2.0 接口与 PC 机相联接， 在 PC 机上安装好 ARTCAM 130MI CCD 摄像机的驱动程序，这样就构成了机器视觉系统。
42、 图 2.6 ARTRAY CCD 摄像机及其安装 2.3 机器人系统和机器视觉系统的交互 本文采用的基于视觉的工业机器人的控制体统是由两个子系统组成的，下位机为PT-300V 五轴工业机器人系统，用来控制机器人，上位机为机器视觉系统，来控制 CCD摄像机和图像的处理。两个子系统通过各自的软件平台进行网络通信。整个系统的硬件连接如图 2.7 所示。 华 中 科 技 大 学 硕 士 学 位 论 文 14图 2.7 基于视觉的 PT-300V 五轴工业机器人硬件系统的组成 华 中 科 技 大 学 硕 士 学 位 论 文 153 基于 EyeToHand 的单目视觉的标定 要想让工业机器人抓取到目标
43、物体，首先就要确定目标物体的位置。本章所研究的单目视觉的标定就是为了确定目标物体的位置。主要研究内容分为两个部分：目标物体图像坐标的获取与处理和目标物体图像坐标到世界坐标系下的坐标的转换。 3.1 目标物体图像的获取与处理 3.1.1 单帧图像的获取 ARTCAM 130MI CCD 摄像机通过 USB 2.0 接口输出到计算机中的是数字信号，并且可以通过计算机来完成采集视频 中的单帧图像（数字图像） ，数字图像在计算机中是以二维数组 MN 的形式存储起来的， M 表示图像在水平方向上的像素点个数， N 表示图像在垂直方向上的像素点个数。 MN 也就是该单帧图像像素的大小。 本实验用的视觉控制
44、软件是通过调用安装在计算机中的相机驱动程序中的CACamMI130Sdk: Capture ( ) 这个接口函数，来完成摄像机单帧图像的采集。 3.1.2 图像的处理 图像处理部分主要实现了图像的灰度化、图像的二值化、图像轮廓的提取以及中心点的生成等功能模块。 3.1.2.1 图像的灰度化 图像的灰度化就是将彩色图像转化为黑白图像。因为转化为黑白图像后，就会更容易对所采集的数字图像进行后续的处理和运算，所以在视觉图像处理中经常会把采集到的彩色图像转化成灰度图像18。 华 中 科 技 大 学 硕 士 学 位 论 文 163.1.2.2 图像的二值化 在实现了图像的灰度化操作之后，我们还要对图像进
45、行二值化操作。图像的二值化就是在显示图像时，图像只显示有两种颜色，通常都是黑色和白色。图像二值化的方法有很多种，较常用到的是阈值判别法26。 阈值判别法就是通过区分灰度图像中各个像素点亮度值的大小来判定该像素点二值化后是白色或是黑色。当我们使用阈值判别法来对灰度化后的图像进行二值化时操作时， 就需要给定一个具体的判别数值， 当灰度图像中的像素点亮度值小于这个设定值时，就把像素点设置成为黑色，而当图像中的像素点亮度值大于这个设定值时，就会把像素点设置成为白色26。 阈值的选取方法分为自动和手动阈值选取法。在自动阈值选取法中，首先是对灰度图像进行扫描，再根据得到的图像中点的亮度情况，自动地为其设定
46、了一个阈值。而手动阈值得设定比较简单，就是通过人为的设定一个阈值，但这就需要我们在设定之前对整个图像中各部分的亮度有大致地了解。在本实验中，工件为白色，工作台是是深灰色，色差很大，所以采用手动选取阈值的方法。 3.1.2.3 图像轮廓的提取和中心点的生成 实现了图像的二值化后，就要对图像进行分析运算，进行边缘的检测、轮廓的提取以及图像轮廓中心点的提取。 在 OpenCV 中通过调用接口函数 int cvFindContours( ) 来实现对轮廓的提取，通过调用 CvRect cvBoundingRect( CvArr* points, int update=0 )来实现对中心点的提取。 3.
47、2 单目摄像机的标定 摄像机的标定就是来确定摄像机的内外参数。摄像机标定的途径就是根据确定的摄像机模型，通过已知若干特征点的图像坐标和该这些特征点的世界坐标这两组坐标值来求解摄像机的内外参数。 华 中 科 技 大 学 硕 士 学 位 论 文 17本实验中工作台平面与安装的摄像机的位置关系为摄像机的轴心垂直于工作台平面且安装在正中央的位置，鉴于工件不高且工作台也不大的特点，这样因为摄像机的安装误差引起的图像的畸变就会较小，工件不高就会使图像采集到的目标物体上表面的中心位置与理论需求的下表面的中心位置的误差就会较小。而对于本实验这将是目标物体定位误差产生的主要原因。所以本实验选 用单目平面视觉也足
48、够满足实验要求。 基于单目平面视觉的标定简单，并且不用考虑 CCD 摄像机的内参数，只需计算出 CCD 摄像机的外参数就可以完成摄像机的整体标定。这样摄像机的位姿相对于机器人基坐标系就是不变的，这样相机安装位置标定好后，就是常值。 图 3.1 基于单目视觉的 Eye-to-Hand 系统 3.2.1 坐标系的定义 在对线性摄像机进行标定的过程中，一般需要建立世界坐标系、摄像机坐标系和图像坐标系这三个坐标系，这三个坐标系的相互位置关系如图 3.2 所示，在平面视觉中，标定用的更多的是图像坐标系和世界坐标系。 华 中 科 技 大 学 硕 士 学 位 论 文 18图 3.2 世界坐标系、图像坐标系以
49、及摄像机坐标系 世界坐标系（ XW， YW， ZW）是在外部环境中选择的一个基准坐标系，用来描述目标物体的位置，可以根据描述和计算的方便等原则自由选取，在机器人视觉标定中我们把世界坐标系设为机器人的基座标系。当中的任一点都用（ xw， yw， zw）表示。这样对于选取线性摄像机模型，选择机器人基坐标系为摄像机标定的世界坐标系可以大大简化数学表达式和简化标定操作。 摄像机坐标系（ XC， YC， ZC）是将坐标原点设在摄像机镜头光心 OC上，两个坐标轴 XC、 YC轴平行于图像平面，另一个轴 ZC 轴则垂直于图像平面。与图像平面的交点在图像坐标系上的坐标为（ u0， v0）即摄像机的主点。摄像机的主点一般位于图像平面的中心处，但出于摄像机的制作原因，有时也会有偏离，因此在需要进行精确的摄像机标定时，摄像机主点坐标的两个参数也是需要标定的。而焦距 f 表示的就是摄像机镜头光心到摄像机主点之间的距离。对于图像中的任一点 ,我们就用（ u， v）表示。 图像坐标系（ u， v）则是定义在二维图像上的一个直角坐标系，分为以像素为单位和以物理长度（如毫米）为单位两种表示方式，分别用（
