1、Shanghai Pepperl+Fuchs Automation Trading Co., LtdVMT System DepartmentTel: +86 21 6630 3939Fax: +86 21 6630 0883Email: vmt-infocn.pepperl-No.219 JiangChang 3 Road, ShiBei Industrial Park, 200436 ShanghaiVMT Vision Machine Technic Bildverarbeitungssysteme GmbHGeneral officeTel: +49 621 84250-0Fax: +
2、49 621 84250-290Email: infovmt-Internet: www.vmt-Mallaustrae 50-56, 68219 Mannheim, GermanyVMT摄像系统培训内容提要内容提要内容提要内容提要第一篇：视觉系统的一般介绍第二篇：VMT系统的软硬件配置第三篇：菜单介绍第四篇：系统维护后续：动手练习、提问、答疑第一篇第一篇第一篇第一篇：一般介绍一般介绍一般介绍一般介绍视觉系统的目的目的目的目的：导向机器人导向机器人导向机器人导向机器人/ 给机器人装上眼睛给机器人装上眼睛给机器人装上眼睛给机器人装上眼睛任务任务任务任务：计算机视觉计算出工件的方位变化计算机视觉计
3、算出工件的方位变化计算机视觉计算出工件的方位变化计算机视觉计算出工件的方位变化。过程：系统初始化：工作间定义、摄像头的标定、零测量测量过程：采集图像、模式识别、方位计算、通讯应用案例介绍：聚焦汽车行业现场布局现场布局现场布局现场布局：摄像机位置摄像机位置摄像机位置摄像机位置C3 rear leftC4 rear rightSSDC1 front leftC2 front rightFRC3 rear leftC4 rear rightNVHC1 front leftC2 front right示例示例示例示例：UBS 底盘防护底盘防护底盘防护底盘防护（外部外部外部外部）车壳整体或其中的某个部分
4、的三维方位的确定；利用该测量结果，机器人就能够实现在正确的位置做相应的应用。典型的工作间布局典型的工作间布局典型的工作间布局典型的工作间布局（3D应用应用应用应用）典型的工作间布局典型的工作间布局典型的工作间布局典型的工作间布局（示意图示意图示意图示意图）摄像头机器人直线轨道机器人激光测量仪摄像头4摄像头3摄像头1 摄像头2传送带走向ZXY车壳坐标系典型的工作间布局典型的工作间布局典型的工作间布局典型的工作间布局（数学建模数学建模数学建模数学建模）机器人1机器人2车壳坐标系车壳坐标系车壳坐标系车壳坐标系（车型设计中车型设计中车型设计中车型设计中）原点：前轮轴中点 X-轴：垂直于前轮轴的水平面上
5、，由前向后 Y-轴：前轮轴的中心轴上，从左到右（驾驶员） Z-轴：垂线方向，由下向上XYZ坐标系转换坐标系转换坐标系转换坐标系转换xyzxyz旋转旋转旋转旋转：circleright - RZcircleright +RYcircleright - RX平移平移平移平移：circleright - Xcircleright +Ycircleright +Zzyx旋转有两种方式：老坐标系/ 新坐标系+X+Z+Y坐标系转换坐标系转换坐标系转换坐标系转换 ：右手规则 右手规则右手规则右手规则X-轴向平移轴向平移轴向平移轴向平移 Y-轴向平移轴向平移轴向平移轴向平移 Z-轴向平移轴向平移轴向平移轴向平
6、移 X-轴旋转轴旋转轴旋转轴旋转 Y-绕轴旋转绕轴旋转绕轴旋转绕轴旋转 Z-绕轴旋转绕轴旋转绕轴旋转绕轴旋转坐标系转换坐标系转换坐标系转换坐标系转换 ：矢量描述 矢量描述矢量描述矢量描述顺序顺序顺序顺序 :轴向平移轴向平移轴向平移轴向平移 X, Y, Z barb4right 旋转旋转旋转旋转 Z, Y, X （ （注意旋转顺序反过来了 注意旋转顺序反过来了注意旋转顺序反过来了注意旋转顺序反过来了 ） ）方向平移方向平移方向平移方向平移右手规则右手规则右手规则右手规则 :右手的大拇指指向右手的大拇指指向右手的大拇指指向右手的大拇指指向 X-轴的轴的轴的轴的正方向正方向正方向正方向 ， ，然后食
7、指指向 然后食指指向然后食指指向然后食指指向 Y-轴的正方向轴的正方向轴的正方向轴的正方向 ， ，并且中指指 并且中指指并且中指指并且中指指向向向 向Z Z-轴的正方向轴的正方向轴的正方向轴的正方向 X-轴向平移轴向平移轴向平移轴向平移 Y-轴向平移轴向平移轴向平移轴向平移 Z-轴向平移轴向平移轴向平移轴向平移 X-轴旋转轴旋转轴旋转轴旋转 Y-绕轴旋转绕轴旋转绕轴旋转绕轴旋转 Z-绕轴旋转绕轴旋转绕轴旋转绕轴旋转方向旋转方向旋转方向旋转方向旋转右手规则右手规则右手规则右手规则 :右手半张开右手半张开右手半张开右手半张开 ， ，大拇指指向 大拇指指向大拇指指向大拇指指向轴的正方向轴的正方向轴的
8、正方向轴的正方向 ， ，其余的手指 其余的手指其余的手指其余的手指指向的方向就是旋转的正指向的方向就是旋转的正指向的方向就是旋转的正指向的方向就是旋转的正方向方向方向方向视觉系统中各个坐标系视觉系统中各个坐标系视觉系统中各个坐标系视觉系统中各个坐标系（组件组件组件组件）之间的位置关系之间的位置关系之间的位置关系之间的位置关系xyzObject标记点1标记点2标记点3标记点4TWOxyzWorldxyzCam 1xyzCam 3xyzCam 2xyzCam 4T3CWT4CWT1CWT2CW机器人轨道标定机器人轨道标定机器人轨道标定机器人轨道标定利用该激光跟踪仪和某些辅助设备，可以进行摄像头的标
9、定系统安装过程系统安装过程系统安装过程系统安装过程摄像头摄像头摄像头摄像头1摄像头摄像头摄像头摄像头2摄像头摄像头摄像头摄像头3摄像头摄像头摄像头摄像头4Y-工作间工作间工作间工作间X-工作间工作间工作间工作间已标定已标定已标定已标定已标定已标定已标定已标定已标定已标定已标定已标定已标定已标定已标定已标定摄像头标定摄像头标定摄像头标定摄像头标定X-机器人机器人机器人机器人Y-机器人机器人机器人机器人X0-车壳车壳车壳车壳Y0-车壳车壳车壳车壳Xn-车壳车壳车壳车壳Yn-车壳车壳车壳车壳初始化测量初始化测量初始化测量初始化测量零测量零测量零测量零测量当前测量当前测量当前测量当前测量= 绝对矢量绝
10、对矢量绝对矢量绝对矢量差值测量差值测量差值测量差值测量= 相对矢量相对矢量相对矢量相对矢量零测量零测量零测量零测量零测量就是确定某一个种类的零测量就是确定某一个种类的零测量就是确定某一个种类的零测量就是确定某一个种类的车壳的理论方位车壳的理论方位车壳的理论方位车壳的理论方位，并计算出机器人相对于参考坐并计算出机器人相对于参考坐并计算出机器人相对于参考坐并计算出机器人相对于参考坐标系的方位位置标系的方位位置标系的方位位置标系的方位位置。减少系统误差减少系统误差减少系统误差减少系统误差：摄像头数学模型误差摄像头数学模型误差摄像头数学模型误差摄像头数学模型误差、摄像头标定误差摄像头标定误差摄像头标定
11、误差摄像头标定误差、标记点的实际标记点的实际标记点的实际标记点的实际3D坐标误差坐标误差坐标误差坐标误差（车壳的非刚体性误差车壳的非刚体性误差车壳的非刚体性误差车壳的非刚体性误差）。）。）。）。利于安全控制利于安全控制利于安全控制利于安全控制：一般来说一般来说一般来说一般来说，实际生产过程中实际生产过程中实际生产过程中实际生产过程中，车壳的停止位置总是在该车壳的停止位置总是在该车壳的停止位置总是在该车壳的停止位置总是在该零位置附近零位置附近零位置附近零位置附近，也就是说视觉系统计算出来的矫正矢量应也就是说视觉系统计算出来的矫正矢量应也就是说视觉系统计算出来的矫正矢量应也就是说视觉系统计算出来的
12、矫正矢量应该很小该很小该很小该很小，有利于机器人的自动校正有利于机器人的自动校正有利于机器人的自动校正有利于机器人的自动校正。xyz zyx参考坐标系车壳坐标系零测量零测量零测量零测量：前提条件前提条件前提条件前提条件head2right需要该种车型的一个可用测量车壳需要该种车型的一个可用测量车壳需要该种车型的一个可用测量车壳需要该种车型的一个可用测量车壳;head2right车壳上的标记点坐标值必须在测量室中准确测出来车壳上的标记点坐标值必须在测量室中准确测出来车壳上的标记点坐标值必须在测量室中准确测出来车壳上的标记点坐标值必须在测量室中准确测出来，或者有相应或者有相应或者有相应或者有相应的
13、机械设计图纸以便找出其坐标值的机械设计图纸以便找出其坐标值的机械设计图纸以便找出其坐标值的机械设计图纸以便找出其坐标值，这些这些这些这些坐标值与成品车壳的实坐标值与成品车壳的实坐标值与成品车壳的实坐标值与成品车壳的实际差别必须在允许的范围以内际差别必须在允许的范围以内际差别必须在允许的范围以内际差别必须在允许的范围以内；这些标记点就是摄像系统将要图这些标记点就是摄像系统将要图这些标记点就是摄像系统将要图这些标记点就是摄像系统将要图像中搜索的特征点像中搜索的特征点像中搜索的特征点像中搜索的特征点；head2right摄像系统要搜索的标记点应该在车壳上面标记出来摄像系统要搜索的标记点应该在车壳上面
14、标记出来摄像系统要搜索的标记点应该在车壳上面标记出来摄像系统要搜索的标记点应该在车壳上面标记出来，以便第三方以便第三方以便第三方以便第三方的测量系统利用他们来进行测量出车壳的方位的测量系统利用他们来进行测量出车壳的方位的测量系统利用他们来进行测量出车壳的方位的测量系统利用他们来进行测量出车壳的方位。head2right需要一个第三方的测量系统需要一个第三方的测量系统需要一个第三方的测量系统需要一个第三方的测量系统：来完成车壳的实际测量来完成车壳的实际测量来完成车壳的实际测量来完成车壳的实际测量；head2right零测量时零测量时零测量时零测量时，摄像系统和第三方测量系统必须同时进行摄像系统和
15、第三方测量系统必须同时进行摄像系统和第三方测量系统必须同时进行摄像系统和第三方测量系统必须同时进行！实际测量实际测量实际测量实际测量 ：绝对矢量 绝对矢量绝对矢量绝对矢量 / 相对矢量相对矢量相对矢量相对矢量head2right摄像系统的当前测量结果为绝对矢量摄像系统的当前测量结果为绝对矢量摄像系统的当前测量结果为绝对矢量摄像系统的当前测量结果为绝对矢量 , 但但但 但是因为零测量结果已经存储在摄像系统中是因为零测量结果已经存储在摄像系统中是因为零测量结果已经存储在摄像系统中是因为零测量结果已经存储在摄像系统中 ， ，所以摄像系统总是计算出车壳的当前位置相所以摄像系统总是计算出车壳的当前位置相
16、所以摄像系统总是计算出车壳的当前位置相所以摄像系统总是计算出车壳的当前位置相对于零位置的方位差对于零位置的方位差对于零位置的方位差对于零位置的方位差 ， ，也就是相对矢量 也就是相对矢量也就是相对矢量也就是相对矢量 ， ，并 并并 并送给相应的机器人送给相应的机器人送给相应的机器人送给相应的机器人 ； ；head2right当车壳在零位置时当车壳在零位置时当车壳在零位置时当车壳在零位置时 ， ，第三方测量系统的零测量结 第三方测量系统的零测量结第三方测量系统的零测量结第三方测量系统的零测量结果将直接存储到机器人程序中果将直接存储到机器人程序中果将直接存储到机器人程序中果将直接存储到机器人程序中
17、 ； ；当收到从摄像系统 当收到从摄像系统当收到从摄像系统当收到从摄像系统传过来的矫正矢量传过来的矫正矢量传过来的矫正矢量传过来的矫正矢量 ， ，即相对矢量时 即相对矢量时即相对矢量时即相对矢量时 ， ，把该相对矢量 把该相对矢量把该相对矢量把该相对矢量叠加到零位置叠加到零位置叠加到零位置叠加到零位置 ， ，就得到了车壳的当前绝对位置 就得到了车壳的当前绝对位置就得到了车壳的当前绝对位置就得到了车壳的当前绝对位置 ； ； 矫正矢量矫正矢量矫正矢量矫正矢量X-轴向平移轴向平移轴向平移轴向平移 Y-轴向平移轴向平移轴向平移轴向平移 Z-轴向平移轴向平移轴向平移轴向平移 X-轴旋转轴旋转轴旋转轴旋转
18、 Y-绕轴旋转绕轴旋转绕轴旋转绕轴旋转 Z-绕轴旋转绕轴旋转绕轴旋转绕轴旋转当前位置当前位置当前位置当前位置零位置零位置零位置零位置参考坐标系参考坐标系参考坐标系参考坐标系零矢量零矢量零矢量零矢量绝对矢量绝对矢量绝对矢量绝对矢量测量过程测量过程测量过程测量过程 （生产中 生产中生产中生产中 ）在进行一次完整的测量过程中在进行一次完整的测量过程中在进行一次完整的测量过程中在进行一次完整的测量过程中 ， ，将完成以下步骤 将完成以下步骤将完成以下步骤将完成以下步骤 :1. 通过通过通过通过PLC把类型信息传送到视觉系统把类型信息传送到视觉系统把类型信息传送到视觉系统把类型信息传送到视觉系统2. 一
19、旦车壳定位于工作间后一旦车壳定位于工作间后一旦车壳定位于工作间后一旦车壳定位于工作间后，立即唤醒计算测量立即唤醒计算测量立即唤醒计算测量立即唤醒计算测量3. 所有摄像头进行图像采集所有摄像头进行图像采集所有摄像头进行图像采集所有摄像头进行图像采集4. 特征点识别特征点识别特征点识别特征点识别5. 利用在图像中找到的标记点位置和摄像头的定标结果利用在图像中找到的标记点位置和摄像头的定标结果利用在图像中找到的标记点位置和摄像头的定标结果利用在图像中找到的标记点位置和摄像头的定标结果，以及车壳标以及车壳标以及车壳标以及车壳标记点到绝对位置的车壳的坐标计算当前车壳的位置记点到绝对位置的车壳的坐标计算当
20、前车壳的位置记点到绝对位置的车壳的坐标计算当前车壳的位置记点到绝对位置的车壳的坐标计算当前车壳的位置6. 计算当前车壳方位和初始方位计算当前车壳方位和初始方位计算当前车壳方位和初始方位计算当前车壳方位和初始方位（零位置零位置零位置零位置）的差值的差值的差值的差值，这就是矫正矢量这就是矫正矢量这就是矫正矢量这就是矫正矢量7. 把矫正矢量传送给机器人把矫正矢量传送给机器人把矫正矢量传送给机器人把矫正矢量传送给机器人测量时间测量时间测量时间测量时间（生产节奏时序图生产节奏时序图生产节奏时序图生产节奏时序图）机器人/ 控制系统视觉系统VMT ISA1 A2 A3B1 B2 B3 B4 B5 B6A1：
21、车身过档时间，其间控制系统将向视觉系统发送即将到位的车壳类型A2：机器人的等待时间，也就是视觉系统的工作时间，一般为13秒A3：机器人的工作时间，依赖于具体的应用，一般为35分钟B1：视觉系统等待车壳类型，选择相应的检测计划，开启灯光B2：自定义延迟，等待车体稳定，一般为100毫秒B3：图像采集时间，40毫秒/图像（模拟相机120X4毫秒/图像）B4：特征标记点的识别，目标对象的方位计算，一般为0.21.2秒B5：和机器人或PLC通讯，送出计算结果B6：事件记录和统计结果，记录存档视觉系统占用的有效时间：A2 = B2 + B3 + B4 + B5= 0 + 40 + 800 + 200= 1
22、040 毫秒应用应用应用应用：车顶缝隙的密封车顶缝隙的密封车顶缝隙的密封车顶缝隙的密封应用应用应用应用 ：车顶缝隙的密封 车顶缝隙的密封车顶缝隙的密封车顶缝隙的密封任务任务任务任务 ：要求在车顶的缝隙处涂抹密封材料 ；首先测量出车壳的相对方位 ，从而矫正机器人的运行轨道 ，以便以正确的轨道涂胶。节奏节奏节奏节奏 ：约1.5秒/车壳要求要求要求要求 ：checkbld不同的车壳型号checkbld不同的车身颜色checkbld无孔状的特征标记车顶的密封涂胶应用应用应用应用 ：车窗边缘的胶带粘贴 车窗边缘的胶带粘贴车窗边缘的胶带粘贴车窗边缘的胶带粘贴任务任务任务任务 ：在对车身涂漆之前 ，用胶带对
23、车窗截口的黏贴部分进行覆盖 ；测量出车壳的相对方位来矫正机器人的运行轨道 。节奏节奏节奏节奏 ：约1秒/车壳要求要求要求要求 ：checkbld精度要求 ：1毫米checkbld不同的车身颜色checkbld无孔状的特征标记胶带粘贴前胶带粘贴后应用应用应用应用 ： UBS 底盘防护底盘防护底盘防护底盘防护 （ BMW Dingolfing）任务任务任务任务 ：对底盘以及车轮空档等部位的外面缝隙进行密封 ；测量机器人的相对方位来矫正机器人的运行轨道 。节奏节奏节奏节奏 ：约1.5秒/车壳要求要求要求要求 ：checkbld精度要求 ：1毫米checkbld同一生产线上多种车型应用应用应用应用 ：
24、轿车内部缝隙的密封涂胶 轿车内部缝隙的密封涂胶轿车内部缝隙的密封涂胶轿车内部缝隙的密封涂胶任务任务任务任务 ：对轿车内部的缝隙进行密封；测量车身的相对方位来矫正机器人的运行轨道(VW Hannover)。节奏节奏节奏节奏 ：约1.5秒/车壳要求要求要求要求 ：checkbld精度要求 ：1毫米checkbld同一生产线多种车型应用应用应用应用 ：卡车驾驶室 卡车驾驶室卡车驾驶室卡车驾驶室 、底盘 底盘底盘底盘 （内部 内部内部内部 ）的焊缝密封涂胶 的焊缝密封涂胶的焊缝密封涂胶的焊缝密封涂胶任务任务任务任务 ：对底盘 、驾驶室等部位的缝隙进行密封 ；测量车身的相对方位来矫正机器人的运行轨道节奏
25、节奏节奏节奏 ：约1.5秒/车壳要求要求要求要求 ：checkbld精度要求 ：1毫米checkbld同一生产线上多种车型checkbld同一车型的多种驾驶室既可以对车身进行整体测量 ，也可以对底盘 、驾驶室单独定义坐标系 ，并分别参考和测量 。应用应用应用应用 ：汽车引擎牌的自动安装 汽车引擎牌的自动安装汽车引擎牌的自动安装汽车引擎牌的自动安装任务任务任务任务 ：测量引擎的相对方位 ，矫正机器人的运行轨道，对引擎牌进行自动安装、烙印 。节奏节奏节奏节奏 ：约3.5秒/车壳要求要求要求要求 ：checkbld精度要求 ：1毫米checkbld机器人手臂摄像头checkbld多种引擎类型应用应用
26、应用应用 ：汽车车轮的自动安装 汽车车轮的自动安装汽车车轮的自动安装汽车车轮的自动安装任务任务任务任务 ：测量车身的相对方位 ，矫正机器人的运行轨道 ；确认安装孔的旋转位置 ，自动安装轮胎螺母 。节奏节奏节奏节奏 ：约1秒/车壳要求要求要求要求 ：checkbld精度要求 ：0.5毫米checkbld不同种类的车型号checkbld不同刹车片大小和形状应用应用应用应用 ：激光视觉系统 激光视觉系统激光视觉系统激光视觉系统 （ DC Sindelfingen）第二篇第二篇第二篇第二篇系统配置系统配置系统配置系统配置硬件构成：摄像头/镜头照明灯光区域光源灯光控制单元计算机图像采集卡/以太网卡 Profibus通讯卡控制柜 ET200线缆摄像头视频摄像头电源摄像头翻盖开关灯光电源 Profibus通讯软件模块：图像采集、预处理图像处理/模式识别神经网络搜索模板匹配方位计算计算组标记点通讯模块类型码检测过程数据报握手信号摄像头标定/重标定
