1、本科毕业论文基于双目立体视觉的行李规格检测学生姓名： 张国锋 专 业： 自动化 学 号： 091141168 指导教师： 刘恒力 所属学院： 航空自动化学院 二一三年六月中国民航大学本科毕业设计论文基于双目立体视觉的行李规格检测Baggage Specification Detection Based on the Binocular Vision学生姓名：张国锋专 业：自动化学 号：091141168指导教师：刘恒力学 院：航空自动化学院2013 年 6 月创见性声明本人声明：所呈交的毕业论文是本人在指导教师的指导下进行的工作和取得的成果，论文中所引用的他人已经发表或撰写过的研究成果，均加以
2、特别标注并在此表示致谢。与我一同工作的同志对本论文所做的任何贡献也已在论文中作了明确的说明并表示谢意。毕业论文作者签名： 签字日期： 年 月 日本科毕业设计（论文）版权使用授权书本毕业设计（论文）作者完全了解中国民航大学有关保留、使用毕业设计（论文）的规定。特授权中国民航大学可以将毕业设计（论文）的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交毕业设计（论文）的复印件和磁盘。（保密的毕业论文在解密后适用本授权说明）毕业论文作者签名： 指导教师签名：签字日期： 年 月 日 签字日期： 年 月 日摘 要为实施国际航协
3、提出的“简化商务、便捷出行”的核心计划，研发自助行李托运系统已经成为重要的解决方案。其中，行李信息的检测包括行李重量的采集、规格的检测以及行李标签的扫描。针对行李规格的自动检测问题，研究了基于双目立体视觉的检测算法，以实现自助行李托运系统中对行李的非接触检测。首先，基于自助行李托运系统特殊的硬件环境，设计了平行双目结构的行李图像采集系统，使系统能够在有限的空间内采集行李的立体图像对。设计了一种基于棋盘平面的系统标定法，获取摄像机的内外参数。其次，采用自适应最优阈值法对行李图像进行预处理并提取行李特征。设计了一种能够描述行李几何形状和轮廓的二维 canny 边缘检测算法。在外极线、唯一性、灰度相
4、容性等基本约束和视差梯度附加约束条件下，设计了基于特征的区域灰度匹配方法，采用双向匹配策略，减少误匹配，提高了匹配的可靠性和稳定性。最后，考虑了双目视觉系统中空间点三维信息恢复方法，包括最小二乘法、中点法以及三角法。采用三角法并结合摄像机标定参数计算行李轮廓的三维信息。基于上述关键技术和方法，对几类行李进行检测实验，验证了本文算法的可行性和有效性，具有一定的应用价值。关键词：行李规格检测；立体视觉；特征提取；立体匹配；三维信息恢复IAbstractIn order to implement fully “simplify business“ program put forward by IAT
5、A(international air transport association) and shorten the boarding time, researching the self-service luggage system has become an important solution. Passengers can use it to make the identification and print boarding pass and baggage tag. The system can automatically detect baggage information, a
6、nd finally complete luggage checked. Among them, the baggage information detection includes baggage weight collection, specifications detection and luggage label scanning. For the luggage size automatic detection problem, a set of detection algorithm based on binocular stereo vision is proposed to r
7、ealize non-contact detection on the self-service luggage system.Firstlyl, according to the hardware environment of self-service luggage system and binocular stereo vision structure model. It designs luggage image acquisition hardware system of the parallel binocular structure. At the same time, the
8、camera imaging model and calibration method were studied, using a system calibration method based on the chessboard plane to get the camera parameters.Secondly, using the optimal threshold value method to preprocess the images. Then, in feature extraction, designing 2D canny edge detection algorithm
9、 to describe the luggage geometric shape. After that, According to basic constraints and disparity gradient additional constraint conditions, designing the regional gray matching method based on feature, and using the two-way matching strategy, reducing the error matching, It ensures the reliability
10、 and stability of the matching.Finally, researching the calculation methods of space point 3D information of the binocular vision system. According to the parallel binocular structure, using the triangular method to calculate 3d information of the baggage.Based on the technology and method mentioned
11、 above, testing the shape of different size luggage can realize the non-contact detection of baggage specifications. Key Words: Luggage Specifications Detection; Stereo Vision; Edge Feature; Stereo Matching中国民航大学本科毕业论文II目 录摘 要 IAbstract II第 1 章 绪论 11.1 论文的背景意义 11.2 尺寸规格检测的技术现状 41.3 双目立体视觉测量的技术现状 61.
12、4 论文研究内容 8第 2 章 基于行李图像的双目视觉测量系统设计 92.1 双目立体视觉结构模型 92.2 摄像机立体标定 112.2.1 摄像机坐标系统 112.2.2 坐标系间转换关系 112.2.3 摄像机模型 112.2.4 系统标定 112.3 基于立体视觉的行李测量系统结构设计 12第 3 章 行李特征提取与立体匹配算法 133.1 图像预处理 133.2 行李特征点提取 133.2.1 边缘算子 133.2.2 Canny 检测法 133.2.3 Harris 角点检测 .143.3 行李立体匹配算法 143.3.1 匹配约束准则 143.3.2 立体匹配方法 143.3.3
13、基于行李边缘特征的双向匹配算法 153.4 本章小结 15第 4 章 行李三维信息提取及实验 164.1 行李三维信息的计算 164.1.1 最小二乘法 164.1.2 中点法 164.1.3 三角法 164.2 行李规格测量实验 16中国民航大学本科毕业论文III4.2.1 实验平台及行李图像采集 174.2.2 双目视觉系统标定 174.2.3 行李规格测量步骤 184.2.4 实验结果及分析 184.3 本章小结 20第 5 章 结论 21参考文献 22致 谢 24附录 A：程序清单 25附录 B：外文翻译资料 26中国民航大学本科毕业论文0第 1 章 绪论1.1 论文的背景意义随着科学
14、技术的不断发展，自动化水平的不断提高，民航运输业也在向便捷化发展。2004年11月，随着国际航协(IATA) “简化商务”战略计划的出台，各国航空公司纷纷对其传统的经营管理模式进行改进，无论是订票系统、值机系统还是行李托运系统等方面统统进行了重要的改革 1。目前值机系统就已经有多种便捷的方式，而且广泛应用于全球各大机场，而行李托运服务则处于初步发展阶段。国际航协已将中国作为“简化商务”的首个全球试点地区，希望中国在实施“简化商务”方面能起到带头作用 2。 自助值机服务正是很好的体现，提前在网上订票并缩短排队时间已经成为最理想的旅行方式。然而有关调查显示，大多数乘客表示行李托运问题成为他们不愿意
15、使用自助值机服务的最大障碍，同时也是航空公司进一步发展自助值机服务的主要制约和瓶颈 3。因为自助值机最早是针对无托运行李的乘客来设计的，有托运行李的乘客一般都到柜台办理。自助值机简便易行，使乘客很快获得登机牌，但又要花大量时间重新排队等待行李托运，所以直接导致了乘客体验的下降，限制了自助服务技术省时高效性能的发挥 4。显然，为实现航空运输业自助化服务的目标，先决条件是妥善解决行李的自助托运服务问题。目前在国外只有极少数机场使用了行李自助托运试用系统，处在实验或起步阶段。如荷兰阿姆斯特丹机场、法国巴黎机场、新西兰奥克兰机场以及迪拜机场等 5,6。在荷兰阿姆斯特丹史基浦国际机场，从 2008 年
16、7 月开始进行行李自助系统check in 测试，乘客可扫描自己的登机牌，通过电子触摸屏进行相关的信息验证之后，就能够打印出行李标签，然后自己贴在行李上，如图 1-1 所示。行李标签上有一个微型的无线应答器，类似一张邮票，在几英尺外都可以识别。最后将行李放在传送带上进行托运 7,8。同时，该系统还具有平滑的结构设计，如图 1-2 所示，生物检测功能和三维相机视觉系统。结构设计是为了使行李规则放置，便于进行行李信息的检测。视觉系统是用来存储行李图像的，并作为后续行李查找的依据 9。该系统是通过激光测距仪来实现行李规格检测的。第 1 章 绪论1图1-1 阿姆斯特丹机场自助行李托运系统 图1-2 行
17、李放置结构设计在新西兰奥克兰机场已经采用了RFID无线射频识别技术。其中，新西兰航空公司已经将奥克兰机场的14个自助登机服务亭换成了30个安有RFID读写器的新亭，如图1-3 所示。该系统在自动打印登机牌的同时也会随即打印出行李标签，乘客可以贴在他们携带的行李上，再把行李放在传送带上，之后进入候机室或登机门，这样不仅加速了行李托运的处理而且准确率也提高了 4,5。图1-3 奥克兰机场自助登机亭 图1-4 迪拜机场自助行李托运系统德国汉莎航空应用先进成熟的技术实现了行李的完全自助服务，并在迪拜机场T3航站楼运行该系统，如图1-4所示。乘客可以在触摸屏上扫描护照，得到登机牌，如图1-5 所示，然后
18、扫描条形码，打印行李标签，如图1-6所示，将标签贴在行李上，拖放到传送带上进行托运。图1-5 扫描护照、登机牌 图1-6 打印行李标签中国民航大学本科毕业论文22012年法国巴黎机场也投入使用了自助行李托运系统，如图1-7所示，该系统能够自动检查行李的重量，尺寸，体积和标签条码。行李从进入系统开始便会在可控的方式下进行行李处理，并将时刻跟踪 4。图1-6 法国巴黎机场自助行李托运系统 图1-8 国航自助行李托运CUSS 机目前，国内的民航自助值机已十分普遍，主要包括值机柜台(KIOSK)、网上值机、手机值机等。在2010年，我国KIOSK自助值机乘客量就达到20991881人次，从2007年至
19、2010年，KIOSK值机方式从1.8%上升至8%，而传统值机方式则从98%下降至89% 。对于能使办理登机手续更加便捷的措施和方法，乘客非常欢迎。但是47%的乘客都把需要办理行李托运作为未使用自助值机服务的原因。在一定程度上，机场自助值机技术的推广取决于乘客自助办理行李托运的能力 10。中国国际航空公司在参考了世界主流航空公司成功经验的基础上，于 2010 年 4月 28 日在国内首家推出自助托运行李服务。其具体使用流程是：首先乘客可以在自助值机CUSS 机上进行身份验证，如图 1-8 所示；然后值机系统将自动打印出登机牌和行李标签；乘客自行将标签贴在行李表面，最好是显著的位置，这样便于进行
20、扫描；最后，乘客就可以将行李拿到交运柜台进行人工托运，此时工作人员会给一张行李领取的凭证，这样就完成了行李的托运。由此看来，该系统实际上不能实现完全的自助服务，但是可以给乘客另一种方式选择，这样可以提高机场运营效率，也能节约乘客时间 5,8。综上所述，如果能够研发出完全自助化的行李托运系统，对全面落实国际航协提出的“简化商务”的核心计划，缩短登机时间、方便乘客出行、降低运营成本、提高民航运营水平具有极其重要的意义，必将带来的巨大社会和经济效益。自助行李托运系统，除了需要进行乘客身份确认、航班信息查询、登机牌打印外，最重要的是要完成行李信息检测和行李控制，实现行李的接收办理和拒绝操作。其中乘客身
21、份确认、航班信息查询、登机牌打印等功能在传统值机系统中已经能够很好的完成，对于行李信息检测和行李控制部分，包括规格检测，重量采集，行李标签扫描和传输机控制等，则需要重点研究和攻关。本论文就是基于上述环境，针对行李信息检测中尺寸规格的自动检测来展开研究的。第 1 章 绪论31.2 尺寸规格检测的技术现状自助行李托运系统在国外处于起步阶段，只有极少数机场在使用行李自助托运试用系统。而在国内也没有实用的自助行李托运系统，机场工作人员一般是通过目测来判别行李规格是否符合托运要求的。前阶段研制出行李自助托运系统功能样机，如图1-9 所示。乘客在传统的值机系统中完成身份确认、航班信息查询、登机牌打印等功能
22、后，就可在自助行李托运系统中对行李进行托运。该系统对于行李尺寸信息的检测是通过光电管实现的。图1-9 自助行李托运系统样机在自助行李托运系统中不需要测量行李的具体形状和尺寸，只要行李尺寸没有超过规定值就算合格，所以设计了一种基于反射式光电管的多检测门的动态尺寸检查系统。如图 1-10 所示：行李传输带 1M 4M 2M 1行李传输带 2M 3图1- 10 基于反射式光电管的尺寸检测系统在该尺寸检测系统中，光电管 M1 和 M4 是用来检测行李长度的，M2 是高度检测，而 M3 则是用来检测行李是否到达检测区。该方法简单易行，但存在以下问题：(1) 当行李放置的角度不同时，检测的结果会有误差；(
23、2) 对于行李表面有反光的情况下，检测的结果是不准确的；(3) 没有检测到行李的宽度信息。综上所述，行李尺寸规格的自动检测尚处于初步研究阶段，需要研究一种方法，能够在自助行李托运系统里实现对行李非接触的、快速的、在线检测。目前制造业领域在尺寸检测应用广泛的是三维坐标测量机。坐标测量机是一种精密的接触式检测仪器，它主要由互相垂直的三根机械轴构成，每个方向上都有一个标尺和导轨，导轨可以使测头实现各个方向的运动，对目标物体进行准确定位 11。中国民航大学本科毕业论文4在测量过程中，主要是通过对被测量工件的角点、线的检测，计算得到其坐标值，这样就可以根据数学方法得到该工件的几何尺寸。这种方法优点是能够
24、实现高精度的测量，但是计算量较大，测量速度很慢。在非接触测量中，光学测量方法应用较为广泛，常被分为主动测量和被动测量两种。主动测量是指让特殊的结构光作用于物体上，再通过数学和物理的方法得到物体的三维信息；而被动测量则是指在自然光作用下，直接检测物体的几何信息 12。光学测量方法，因为其具有较高的精度，常被应用于逆向工程、产品在线检测、医学方面等。随着计算机技术的快速发展，视觉测量技术已经越来越成熟了。在研究人类视觉感知景物的方法后，通过多个摄像机从不同的角度获取场景信息，再通过图像处理和视觉计算，最终恢复场景的三维信息。Marr 视觉理论奠定了视觉检测技术的基础，此外也提供了视觉计算的理论方法
25、。检测的基本过程是通过两个（多个）摄像机对空间场景进行拍摄，在二维图像中提取场景特征，进行匹配，最后恢复场景三维信息 13。由于它具有非接触式、快速、准确、自动化程度高等特点，广泛应用于物体三维测量、工业检测、虚拟现实、机器人导航以及国防工业中。在公共场所内，通常会对不同身高的群体要求不同，比如在购买车票，使用景区的某些设施甚至在公共安全方面，人体身高都被作为重要的特征。Nihon 大学就将立体视觉技术应用于身高的检测 14。首先在入口处安装两台摄像机，然后经过图像采集、预处理、特征提取与匹配等步骤，最后利用视差原理计算出身高信息。该系统实现简单，便于操作，检测结果具有一定准确度，而且也能够满
26、足系统实时性的要求。工业自动化和智能化正在不断提高，如果在某些领域使机器视觉代替人类视觉，那将会节约不少人力资源。韩国 Po hang 科技大学研究设计了一个立体视觉检测系统，将其安装在炼钢厂的起重机上，根据钢卷的结构特点，对采集的钢卷图像进行分析，计算它的位置和重心，从而为起重机提供空间信息 14。视觉技术还可以应用到汽车规格的检测，如图 1-11 所示。英国 ROVER 汽车公司就利用视觉传感器实现对汽车车身的检测，通过不同的 CCD 摄像机组成多个测量单元，在车身的两侧对其进行图像的采集，经过分析处理后，得到车身的尺寸 15。实验证明，这种视觉测量方法对于汽车的在线测量中具有较高的精度。
27、第 1 章 绪论5图 1-11 汽车车身视觉检测系统组成在国内，对于立体视觉测量系统的研究也越来越多。清华大学王新成提出一种算法平行多视点，可以从平行的视点序列中提取图像序列，然后计算得到深度信息。该方法的特点是运用了图像的傅里叶变换，将时域转换到频域。提高了稳定性，降低了复杂度，而且还能保证求取深度信息的实时性 16。杨丽凤等人将视觉技术应用到对陶瓷片的尺寸在线测量中，利用高性能的摄像机和特殊的照明方式对目标物体进行图像采集，经过边缘检测等处理，计算出陶瓷片的尺寸信息，实验表明，测量精度可以达到 0.01mm17。东南大学电子工程系在立体视觉测量的研究方面，提出了一种新的匹配方法，称其为灰度
28、相关多峰值视差绝对值极小化，可以通过偏转线圈的三维坐标实现对不规则物体的非接触测量 18。中国科学院自动化研究所主要对三维重建技术进行研究。用到的视觉技术有特征点的匹配，图像拼接以及表面三角化等。通过在多个视点观察物体，进行特征提取与匹配后，恢复物体三维信息，达到立体效果 19。1.3 双目立体视觉测量的技术现状上世纪 60 年代开始，美国麻省理工学院的 Robert 将传统的平面图像分析推广到三维空间物体，这就是最早的立体视觉技术。80 年代，该学院人 AI 实验室的Marr 提出了一套视觉计算理论，成为双目立体视觉发展的基础。经过多年的研究和完善，该视觉理论现在已经成为一套成熟的立体视觉计
29、算理论，并广泛应用于各个领域之中，比如制造业工件检测、空间物体三维测量、机器人导航、医学研究以及虚拟现实等，具有重要的作用 20。通过立体视觉技术获取空间场景的三维信息是立体视觉研究的一个重要内容。目前，应用最普遍的立体视觉结构是双目结构，它其实是模仿人类视觉来获取空间物体信息。利用双目立体视觉系统测量的基本原理是通过两个不同位置的摄像机同时采集空间某一场景，根据空间同一点在两幅图像中位置的差异（视差）来计算该空间点的三维信息。一个完整的双目立体视觉系统通常分为以下几个部分，包括目中国民航大学本科毕业论文6标图像的采集和预处理、摄像机的标定、图像特征的提取、立体匹配、三维信息的计算等 14。立
30、体视觉测量系统中图像采集的方式有很多种，根据摄像机间的相对位置不同可以分为平行双目结构、相交光轴的双目结构以及可调节距离的双目结构。平行双目结构就是使两摄像机放置在一条直线上，并保持其光轴是平行的，它是最简单的一种几何结构，由于位置关系简单，因此便于计算空间点的三维信息。这种结构适合于视场比较大而且对测量精度要求不高的系统。相交光轴双目结构的两个摄像机交叉摆放，使其光轴相交于一点。该结构虽然没有上一种结构简单，但它匹配准确，能够实现较高精度的测量，通常应用于医学中的双目显微镜头、制造业的工件检测等。可调的双目结构指的是摄像机间的距离可以调节，这种结构一方面当距离变化时，系统就需要重新标定，计算
31、量大；但另一方面可以根据被检测的物体大小来调节摄像机以改变视场大小，提高了测量精度和鲁棒性 16。在实际获取立体图像时，应根据系统的要求和特点选择不同的结构，此外，还应综合考虑光照、摄像机性能以及被检测物体的特点等因素。摄像机的标定是立体视觉测量系统中至关重要的一步，因为它可以得到摄像机的内外参数以及空间位置关系，从而就能确定图像平面的投影点和全局坐标系下空间物体点之间的对应关系 17。针孔模型是摄像机的理想模型，摄像机标定的目的就是为了得到投影矩阵，这样通过图像平面的像素点就可以计算空间物体点的三维信息。常用的标定方法有传统标定法、摄像机自标定法以及主动视觉标定法 19。由摄像机采集的二维图
32、像，需要通过图像预处理去除噪声以及不必要的信息，一般要分割出目标物体，将背景等去除，在经过形态学的处理，提高图像质量和效果。特征提取是进行立体匹配的基础，所选择的特征必须能够清晰描述被检测物的特征。迄今为止还没有一种普遍适用的特征提取算法，因为物体对象的多样性没有固定的模式。但常用的有点特征、线特征、区域特征等，其中，点特征以其能够精确定位的特点而被广泛采用 20。总体来说，选取的特征要既要能正确描述空间物体的特点，又要使后续的匹配工作容易进行。立体视觉测量系统中最困难同时也是极为重要的工作就是立体匹配。以双目视觉为例，当空间一点投影在左右像平面上时，左右像点在图像平面上会存在位置的差异，即视
33、差，然后通过三角原理计算出空间点的三维信息 14。其中，立体匹配的目标就是找出空间一点在左右像平面上的投影点，即匹配点对（共轭点对） 。而实际由于客观环境中的许多因素，比如摄像机畸变、噪声影响、物体的形状以及光照条件等，使得匹配的难度加大，正确度降低。立体匹配主要工作概括起来就是选择正确的匹配基元，在极线、视差等多约束条件下设计稳定的算法结构。由于每部分都不具有唯一性和确定性，所以，立体匹配的方法有很多种，需要根据系统的自身特点，设计适合本身的匹配算法，而且同时要保证匹配速度和精度，减少误匹配，并第 1 章 绪论7保持匹配算法的稳定性。再通过立体匹配得到共轭点对后，就可以得到视差，并根据不同的
34、算法计算出空间点的三维信息。常用的三维信息恢复方法有最小二乘法、公垂线中点法以及三角法 17。实际中，由于系统的标定误差、特征检测、匹配度等因素，也会直接影响所测量的深度信息。因此，必须保证每个部分的准确度，才能得到空间点精确的三维信息。通过上面的工作计算得到的空间物体的三维信息还是存在一些误差，需要进一步进行校正，提高系统精度，最终完成整个物体的深度信息提取。1.4 论文研究内容针对自助行李托运系统中行李尺寸规格的自动检测问题，设计研究了一种基于双目立体视觉的行李规格非接触检测算法。首先通过左右两个摄像机采集行李图像，对其进行边缘检测，提取边缘特征点，然后在外极线、视差梯度等约束条件下，进行
35、基于特征的立体匹配，最后根据视差获取行李边缘点的三维信息。中国民航大学本科毕业论文8第 2 章 基于行李图像的双目视觉测量系统设计双目视觉测量系统其实是模仿人类的眼睛，在同一时间使两个摄像机从不同角度拍摄空间中的某一物体，这样两个摄像机所拍摄的空间同一点在各自像平面上的投影点的位置就会存在差异，称其为视差，然后通过三角测量原理，就可以计算两个摄像机公共视场范围内物体点的三维坐标 12。双目视觉结构根据摄像机的相对位置不同而有多种方式。在实际测量系统应用中，应该根据系统的特点选择合适的双目测量结构来保证测量的精度。2.1 双目立体视觉结构模型双目立体视觉测量，即由两个 CCD 摄像机从不同角度同
36、时获取被测物体图像，通过摄像机标定、特征提取、立体匹配等一系列步骤，并根据视差原理实现物体三维信息恢复的过程。双目测量模型如图 2-1 所示， 、 分别为左、右两个摄像机lCr的光学中心位置，基线长度( 与 之间的距离)为 ，摄像机焦距为 。对于空间lCrbf中的一点 在左、右像平面上的投影点分别为 、 (称 、 是共轭对(,)wPxyz 1p212p应点) 12。图 2-1 双目视觉测量系统模型第 2 章 基于行李图像的双目视觉测量系统设计91p2px1xlCrCzfbH(,)wPxyzLR图 2-2 视差原理成像的几何关系如图 2-2 所示，空间点 P 到 直线的距离是 z， 和 分lr
37、lCLrR别垂直于左右像平面，L、R 为垂足，同时 PH 也垂直于像平面。假定 ，1=px， ，由三角几何关系可得到下式：2=px2Hm(2-1)21-+zfaxbfz整理得：(2-2)12122-+=-+bxmxb对上式进行化简，可得：(2-3)12-bx代入式(2-1)中任何一个，即可计算出深度为：(2-4)12=-bfzxd其中， 称为点 在左右两个像平面上的视差，它表示了空间点 在左右两幅dP P图中位置的差异 15。所以，由式(2.1)可以看出，空间点的深度信息 与基线长度 b，z摄像机焦距 f 以及左右图像的视差 d 有关。其中，基线长度 b 和焦距 f 可由摄像机标定得到，而视差
38、 d 则由立体匹配获得。这就是双目立体视觉的基本原理，即根据视差来恢复空间物体点的三维信息。中国民航大学本科毕业论文102.2 摄像机立体标定摄像机标定是双目测量系统中重要的工作，标定的目地是得到摄像机的内部结构参数和外部参数，从而能够获得空间物体点与像平面上投影点之间的对应关系，即投影矩阵。标定的精度直接影响后面的立体匹配和深度信息计算的精度，所以应采用合适的算法进行摄像机的标定。2.2.1 摄像机坐标系统双目视觉测量系统中会用到三个坐标系统，即世界坐标系、摄像机坐标系和图像坐标系，它们都遵守右手法则，定义分别如下 17：2.2.2 坐标系间转换关系世界坐标系中的一点 P 可以通过旋转和平移
39、变换到摄像机坐标系中，所以变换过程可由一个旋转变换矩阵 R 和一个平移变换向量 T 来描述，R 是一个正交旋转矩阵，矩阵的元素和两个坐标系沿三个轴的旋转角度有关，他们通称为摄像机的外部参数。 与 分别是空间某一点 P 在摄像机坐标系与世界坐标系下(,1)cxyz(,1)wxyz的齐次坐标，则转换关系如下 14：2.2.3 摄像机模型由上节内容可知，针孔模型是摄像机最基本的模型，它忽略了外界因素，如噪声，摄像机畸变、环境等因素的影响，认为空间物体点、光心、以及在图像平面上的投影点是共线的。该模型主要由成像平面、光轴以及摄像机光心构成。在实际环境中，由于各种因素的干扰，空间点、图像点以及光心通常不
40、在一条直线上，产生了畸变，所以还需要研究摄像机的非线性模型 21。2.2.4 系统标定摄像机标定是为了建立成像模型，确定摄像机的位置和属性参数，以确定空间坐标系中物体点同它的图像点之间的对应关系。双目摄像机标定通常先采用单摄像机的标定方法，分别得到两个摄像机的内部参数(如有效焦距、主点坐标、畸变系数)，再确定两台摄像机之间的相对位置关系(如旋转矩阵和平移矢量) 21。第 2 章 基于行李图像的双目视觉测量系统设计112.3 基于立体视觉的行李测量系统结构设计本系统的设计目标是实现对行李规格的测量，根据双目视觉理论系统分五个部分实现：行李图像获取、摄像系统标定、图像预处理、行李特征点提取与匹配、
41、行李三维信息获取，如图 2-9 所示。中国民航大学本科毕业论文12第 3 章 行李特征提取与立体匹配算法在基于双目图像的三维测量技术中，一般所采用的方法是通过特征点的提取、立体匹配，最后根据匹配对来计算空间物体的三维信息。在这个过程中，图像特征点的提取是进行后续工作的重点也是基础，因为它关系到立体匹配的准确度和复杂度。常用的物体图像特征有点特征、线特征、面特征等。其中，点特征因其可以准确定位以及能够提供更有效地三维信息而被广泛采用。立体匹配是双目视觉系统中重要的一步，它其实是一个多约束条件下的最佳搜索问题，最后得到两幅图的视差，用来计算空间物体的三维信息。3.1 图像预处理在图像预处理中，提取
42、图像中有意义的部分是关键的一步。在本论文环境中，通过图像分割将行李目标提取出来则是进行后续工作的基础，也是重要的一步。图像预处理的优劣直接关系到后面行李特征的提取及匹配的好坏。3.2 行李特征点提取在双目视觉测量系统中，特征提取的目的就是能够将表现目标物体几何形状的线、角点、轮廓信息等提取出来。图像的边缘、角点包含了目标物体的大量几何信息，是描述物体的重要特征，而且对于物体几何形状的恢复具有很大的作用。图像的边缘是图像灰度的微分，所以对外界环境的变化较为稳定 31。所以，根据本文行李规格测量的特点，可以通过对行李箱的边缘、角点的检测，实现对行李的特征提取。3.2.1 边缘算子图像的边缘在描述物
43、体几何形状方面发挥着重要的作用，尤其是在双目视觉测量系统中常被作为重要的特征进行提取。物体图像的边缘点一般指的是小邻域内灰度变化最显著的地方 32。边缘特征是一个矢量特征，具有幅值和方向两个要素。一般情况，边缘点水平方向的灰度变化缓慢，而垂直方向的灰度变化起伏较大。下面介绍几种常用的边缘算子。3.2.2 Canny 检测法Canny 边缘检测方法，由于其边缘检测精度高、对噪声有较好的抑制而被越来第 3 章 行李特征提取与立体匹配算法13越广泛的应用在边缘提取中。Canny 边缘检测的主要思路是先将图像 和二维(,)fxy高斯函数卷积，进行平滑去噪。二维高斯函数如下式 38：3.2.3 Harr
44、is 角点检测在对物体几何形状的描述中，角点也是一个重要的特征。Harris 角点算子因其计算量小，检测效果良好而得到广泛的应用，该算子是关于图像函数的一阶微分算子。3.3 行李立体匹配算法立体匹配问题其实是一个多约束条件下的最优搜索问题。在行李二维图像特征点提取之后，关键任务就是寻求左(右)图像中的每个特征点在右(左)图像中的对应点，即立体匹配。立体匹配是立体视觉中最重要，也是最困难的步骤。因为当空间物体被投影为二维图像时，同一物体点在不同视点下的图像中会有很大的不同，而且由于场景中的诸多变化因素，如光照条件、噪声干扰、物体几何形状和畸变及摄像机特性等，这些因素都只能被综合到单一的图像灰度值
45、中，然而仅仅由灰度值确定对应点是十分困难的。为了得到匹配对应点，人们建立了许多约束：如外极线约束，一致性约束，唯一性约束，连续性约束，视差梯度约束等，这样可以减少错误匹配。3.3.1 匹配约束准则空间一点在左相机上的投影点和在右相机上的投影点位于同一条极线上，这样可以大大缩小搜索空间。如图 3-1 所示，I1 和 I2 分别为左右两台摄像机的成像平面，C1、C 2 分别为左右摄像机光心，P 为空间一点，p 1 与 p2 是其在左右两幅图像上的投影点，则 p1、p 2、P 、C 1、 C2 必在同一平面 上。平面 与 I1 和 I2 分别相交于 l1 和l2，l 1、l 2 就被称为极线。则 p
46、1 在 l1 上，而且 p2 在 l2 上。所以通过这个规律，就可以寻找与左像点对应的右像点 42。3.3.2 立体匹配方法在实际行李测量系统中，由于受到系统结构、噪声、畸变等外界因素的影响，将会给立体匹配带来额外的负担，所以需要设计准确度高、稳定好的匹配算法，保证匹配的精度。由于本文提取的是边缘特征，匹配点较突出，对应性会比较高。同时，本文设计的是基于特征的区域灰度匹配，具有较高的鲁棒性。中国民航大学本科毕业论文143.3.3 基于行李边缘特征的双向匹配算法在本文的行李测量系统中，采用的是平行双目视觉结构，而且摄像机距离较近，所以采集到的左右行李图像位置相差不是很大。3.4 本章小结本章主要
47、是在采集到行李图像后，对其进行预处理、特征提取以及立体匹配等各部分的算法研究。首先通过背景相减法以及形态学处理，去除背景，提取行李图像；然后对能够描述行李几何形状的边缘特征进行提取；最后，设计了基于特征的区域灰度的双向匹配算法，保证了匹配的可靠性。第 4 章 行李三维信息提取及实验15第 4 章 行李三维信息提取及实验在获得了左右行李图像的匹配点对之后，结合之前通过立体标定得到的摄像机内外参数，根据视差原理，就可以计算出行李的深度信息。本章主要讨论进行行李三维信息恢复的方法，并对不同的行李进行了测量实验及结果分析。4.1 行李三维信息的计算4.1.1 最小二乘法首先，假定行李的任意边缘点 P
48、在摄像机 C1 和 C2 上的投影点 p1 和 p2 已经通过上一章的立体匹配算法得到，成为空间点 P 的匹配共轭对；而且两个摄像机也已经完成标定，它们的投影矩阵分别是 M1 与 M2，都是 的矩阵，则根据第 2 章的摄34像机模型有以下关系 48：4.1.2 中点法由 4.1.1 节讨论可知，空间的行李特征点应是两摄像机光心与左右像平面上投影点连线的交点，但这是在理想的情况下，实际上，由于摄像机成像环境、成像模型、标定参数误差等影响，这两条直线未必相交于一点。所以实际算法当中，一般取它们公垂线的中点来近似该点，这样得到的误差最小 49。4.1.3 三角法本文研究的基于双目立体视觉的行李规格测
49、量系统是基于平行光轴的双目立体成像方式的，如图 4-2 所示，两摄像机内部参数相同，而且它们的光轴互相平行，并且保持 轴在一条直线上。由于摄像机光轴与图像平面垂直，所以 轴也是相互x y平行的，两摄像机光心之间的距离，即基线长度为 。b4.2 行李规格测量实验本文采用双目视觉测量结构实现对行李规格的非接触测量，并给出相应的检测结果。实验过程包括从系统的初始化到给出测量结果，以验证本文算法及整个测量系统的可行性、可靠性。中国民航大学本科毕业论文164.2.1 实验平台及行李图像采集实验的计算机平台选择 XP 3.1GHz、内存 2G、500G 硬盘和多 USB 接口，以保证多摄像机组成的双目立体视觉测试系统快速、精确的完成测量任务。实验平台是在课题组自主开发的自助行李托运样机上进行实验验证，如图 1-9 所示。然后采用双目视觉结构采集行李图像，如图 4-
