1、 基于结构光的双目立体视觉三维测量系统研究分类号UDC密 级号学硕士学位论文崔乐基于结构光的双目立体视觉三维测量系统研究崔乐西安理工大学 学科名称：控制理论与控制工程学科门类：指导教师：申请日期：工学教授2014年 3月杨延西摘要iiiii摘要iv摘要论文题目：基于结构光的双目立体视觉三维测量系统研究学科专业：检测技术与自动化装置研究生：崔乐 签名：签名：指导教师：杨延西 教授摘要如今工业生产过程中，对产品的表面检测、尺寸等各项三维参数的测量越来越多，如钢厂的版型检测，卷曲过程中的直径检测，汽车的外形检测等，而其结果直接决定产品的优劣品质。因此，三维测量技术已经发展成为一个富有挑战的重要研究领
2、域。近年来，立体视觉受到人们越来越多的关注，其具有非接触式测量、无破坏、高精度等优点。因此，本文以bumblebee双目摄像头为基础，对双目立体视觉的关键性技术，进行研究分析，主要工作如下：1，研究双目视觉基本模型，采用基于bumblebee2平行双目相机模型，对模型中各个参数进行标定，采用基于张正友的优化算法进行相机内部参数的标定，包括焦距、畸变参数。在此基础进行双目标定，基距和极线的校准工作，通过棋盘格，利用Herris角点检测算法，得到角点数据，进而得到基距数据，以及极线变换矩阵。2.在实例测量方面，做了卷径空间参数点测量以及平面轮廓测量两方面：在卷径测量方面，利用投影线激光，引入弦边，
3、通过检测弦边来计算直径的方法，并提出了一种简单可靠的卷径轮廓的测量方法。并利用特征区域特征点进行双目匹配，利用弦边测量卷径。在平面轮廓测量方面，针对板型平面纹理特征不明显，利用投影光栅技术，从而达到致密的视差信息。首先通过图像滤波，去除干扰，然后进行条纹细化，进行匹配区域化分，最后利用区域内相位信息进行区域内部二次匹配。3最后通过搭建实验平台，对整个算法进行验证，对结果进行了误差分析，证明了方法的可行性。关键词：三维测量；双目立体视觉；卷径检测；相机标定；立体匹配iAbstractTitle: Studies three-dimensional measurement system based
4、 on binocular stereo vision structured light Major: Detection Technology and Automation Devices Name: Le CUI (Signature:(Signature:) ) Supervisor: Prof. Yanxi YANG AbstractToday, industrial process, the detection of the measurement surface of the product, the sizeand the like more and more three-dim
5、ensional parameters, such as the steel version detector,detecting the diameter of the crimping process, vehicle detection, shape, and its results directlydecide the merits of the quality of the product. Thus, three-dimensional measurementtechnology has become a challenging area of research is import
6、ant.In recent years, stereo vision more and more attention by the people, which has anon-contact measurement, non-destructive, high-precision and so on. Therefore, this articlebumblebee binocular camera based on binocular stereo vision key technologies, research andanalysis.Firstly, the basic model
7、of binocular vision, based on bumblebee parallel binocular cameramodel, the parameters of the model is calibrated using the Cameras internal parametersoptimization algorithm based on Zhang Zhengyou calibration, including focal length, distortionparameters, and binocular pole line calibration, the ba
8、seline calibration.Then match aspect, roll diameter measurement, the proposed method of measuring volumediameter profile and use the feature region binocular matching feature points using the sides ofthe measurement volume diameter. In the flat profile measurements using fringe projectiontechnique,
9、first by the image filtering to remove interference streak refinement, regionalizationmatch points, and then use the information in the region within the region the second phasematches.Finally, the use of equipment experimental platform to verify the feasibility of the entiremeasurement algorithm.ii
10、iAbstractKey words: Three-dimensional measurement；binocular stereo vision ；roll diameter detection；camera calibration；Stereo matchingiv目录目录1绪论. 11.1三维测量技术概述. 11.1.1接触式测量技术 11.1.2非接触式测量技术 21.1.3三维测量技术的应用领域 31.1.4本文研究方向. 41.2双目立体视觉技术 41.2.1相机标定 51.2.2图像采集 61.2.3图像预处理. 71.2.4立体匹配 71.2.5三维信息测量. 81.3本课题主
11、要研究内容 82双目立体视觉模型 92.1引言. 92.2相机成像模型. 92.3双目立体模型 132.4极线约束. 162.5本章小结. 163双目立体视觉标定.173.1引言. 173.2摄像机参数标定 . 173.2.1标定原理. 173.2.2角点检测算法 193.3双目摄像机参数标定 213.3.1双目摄像机基距标定. 213.3.2双目摄像机极线标定. 223.4实验结果. 223.5本章小结. 244匹配算法.254.1引言. 254.2立体匹配概述. 254.3卷径匹配测量. 254.3.14.3.24.3.3激光线细化拟合 26边缘提取. 27卷径边缘提取 284.4平面三维
12、测量. 314.4.1图像预处理. 314.4.2光栅匹配 324.5本章小结 345三维测量系统实验研究与结果展示.355.1引言. 355.2硬件系统 35v西安理工大学硕士学位论文5.3系统工作流程设计355.4软件系统365.4.1采集图像.365.4.2标定程序.365.4.3卷径测量程序375.4.4平面测量程序385.5实验结果385.5.1卷径测量结果385.5.2平面测量结果395.5.4本章小结.406.总结与展望 41致谢. 43参考文献 45vi绪论1 绪论1.1三维测量技术概述随着社会经济和人生活水品的提高，商品制造加工业快速发展，而在商品生产加工中，各类三维测量工作
13、越来越多，如机械零件尺寸检测，各类板型材料的板型检测，汽车模型检测等，市场需求促使三维测量技术快速的发展，经历从最初的接触式测量到当今流行的非接触式测量，从简单的二维到客观的三维信息测量，越来越多三维测量技术被提出，大致分类如图 1.1，下面从接触式和非接触式两大类进行分类介绍1。接触式测量 三维测量探头激光扫描三维测量技术双目立体视觉结构光测量非接触式测量 机器视觉其他（电涡流传感器等）图 1.1三维测量技术分类图Figure 1.1 three-dimensional measurement techniques classification map1.1.1 接触式测量技术三维测量技术初
14、期主要是以三维测量探头为基础的接触式测量方法，至今已有几十年的发展历史，在现实生产中，工厂在数控机床上依然应用此类方法，其主要的工作原件是高精度触发式测头，当触发侧头与被测物发生接触时，产生触发力，使内部测量检测元件发生相应的形变，从而产生触发信号，通过数学模型运算，得到三维信息。接触式测量主要特点是，测量精度高、可靠性高，主要应用于精密机械零件生产加工。但随着各类商品的制造需求，其缺点慢慢暴露出来，主要如下：(1)接触式测量的信息 获取在于检测探头与被检测物发生接触，这使得一些高精度表面、易碎表面容易造成损坏，同时一些复杂被测表面，恶劣的检测环境易使得测头损坏，影响检测精度，使用寿命大幅减低
15、。(2)接触式测量适用于 刚性材料检测，一些表面柔软的被测物体无法得到高精度的测量要求。1西安理工大学硕士学位论文(3)被测物的抖 动，会造成很大的测量误差，接触式测量对测量环境有很高要求。(4)由于驻点式 测量，测量缓慢，不适用于大范围测量。越来越多的问题，致使新的能有效适应各种环境的三维测量技术的产生，非接触式光学测量就是在这种背景下产生的。1.1.2 非接触式测量技术非接触式三维测量方法主要有：基于光学、电磁波、声波等的三维测量方法。其较2接触式三维测量方法，有着非接触式测量、高速检测、大面积检测、无破坏性等众多优点，得到了人们的普遍重视，获得了巨大发展。如今在医学检测、道路检测、物体模
16、型检测中得到了广泛应用。最具备代表应用的在20世界70年代出现的基于X 射线的CT扫描机，普遍应用于医疗领域，它利用X射线断层扫描，光 电探测器接受，最后经过计算机处理得到被测物体的截面图像。它有效的解决了例如物体内部个空洞、内腔等的检测难题。这在利用接触式测量是无法得到的。在众多的非接触式三维测量方法中，近几年随着光电子技术、微电子技术的发展，各类光学相机、数字投影仪，激光器的成本越来越低，光学测量技术得到快速发展，它可以通过视觉非常直观的得到三维轮廓信息，便于各个生产领域有效的检测产品质量，因此开始在一些领域得到广泛应用。非接触式光学测量方法按照检测方式又可以分为主动式和被动式两大类。（1
17、）主动式主动式指通过人为的向被测物体投射特定的结构光，由于被测物体表面三维信息不6同，结果光会发生形变，通过检测出形变量，利用空间几何关系，经过解调得到被测物体的三维轮廓。（2）被动式被动式则是不借助任何人为因素，单纯利用获得图像，通过特有的检测原理，得到物体的三维模型，但是当被测目标的轮廓信息过于单一简单、或过于复杂使得被测目标点之间无明显差异时，这种被动式检测的匹配计算量变得非常困难，以至于散失检测效能。典型的有双目立体视觉，利用双目空间几何关系确定被测物三维轮廓。下面具体介绍几种非接触式测量方法：(1)激光扫描法 10激光扫描技术又被称为实景复制技术1112 ，是上世纪九十年代中期出新的
18、一项高新技术，其工作基本原理实质就是激光测距法，激光测距技术以时间飞行法为代表。由激光发射器发出一个激光脉冲信号，接收器检测出发出到激光经过被测物表面反射后接收到的时间延迟，计算出距离。再结合高速激光三维扫描仪，进行大面积高分辨率快速获取被测对象表面的三维坐标数据。通过建立物体三维点云模型，能有效的得到可视化三维空间模型。2绪论其具有快速性、高密度、高精度，近几年发展速度相当迅猛，且商品化非常成熟，大量应用在测绘工程、设备结构测量、建筑古迹测量等方面。但同时，由于造价昂贵，且对特殊材质，比如镜面、透明或半透明材料等，无法有效的测量，这使得其并不能满足广泛的用户要求。而随着光电子技术、微电子技术
19、的发展，各种新型器件不断出现，越来越高分辨率的相机和投影仪，价格也越来越便宜，使得基于视觉技术的三维测量方法快速的受到人们关注。(2)结构光测量法 132627结构光技术即通过向被测物表面投影辅助光源，利用三角测量原理进行三维检测，主要有点激光测量、线激光测量、面激光测量、光栅条纹测量法等。结构光法其计算简单、体积小、价格低、易于实现。但同时其需要进行严格的标定，其相机与被测物体相对位置关系严格固定，不便于做成移动设备。(3)立体视觉技 术立体视觉技术主要是双目视觉，最早是在 80年代，由 Marr，Poggio和 Grimson14 提出并实现的，其是基于人类视觉系统感知外界三维信息的方式，
20、通过左右两个相机对被测物体测量，通过双目视觉差，通过空间解析几何原理，获取场景的三维信息。其获取方式和人体双眼获取三维世界方式类似，其不受被测物与摄像头之间的距离，便于移动检测和携带，广泛应用在机器人导航15、三维测量和虚拟现实16 中。1.1.3 三维测量技术的应用领域随着近几年三维测量技术的发展，其显著地商业价值也慢慢展现出来，主要有：(1)在工业生产 中，需要测量一些机器零件、产品、模具的三维尺寸，例如钢厂板型检测，卷曲卷径检测，汽车车体外壳检测等，由于检测面大，传统的三坐标测量机无法达到测量要求，因此，基于非接触的光学检测技术在其中得到了很广泛的应用。(2)在质量控制中，基于非接触式光
21、学测量技术可以用于在线检测，来保证接下来的工作执行，例如对板型加工过程中，板型的翘曲程度的大小决定后面的轧制工艺，板型的带头带尾检测决定裁剪工艺。(3)在恶劣的条件下，如高温环境中，基于非接触式光学三维检测技术则有更明显的应用前景。(4)测量一些质 地柔软的物体表面和表面不能被划伤的物体时，也需要非接触式测量。(5)在医学领域中，可用于人体器官的畸变、增生已癌症的早期诊断等。例如在医院的骨科，用来检测人的手臂、牙齿、头部，以制作假肢、牙模、面膜等。3西安理工大学硕士学位论文1.1.4 本文研究方向本文针对工业生产中的产品、模具检测，采用光学三维测量方法，由于单目结构光测量方法，适用于平面模具，
22、标定相对于复杂，在一些工业场合无法完成标定，而双目立体视觉，存在匹配难度大，速度慢，针对无纹理特征的物体无法得到准确的三维轮廓信息，因此，本文以双目立体视觉为基础，通过采用结构光技术，来降低匹配难度，同时提高匹配速率，来完成实际测量要求。1.2双目立体视觉技术双目立体视觉345 ，是非接触式三维测量的一个热门研究对象，它通过两幅图像的视场差来获取物体三维几何数据。其基本原理是从左右相机拍摄同一物体，得到两幅不同视角下的二维图像，通过成像几何解析计算出像素间的位置偏差，计算出深度信息。双目立体视觉系统中，获取深度信息的方法比其他方式较为直接，因此适用面宽，适用于机器三维建模测量。图 1.2为双目
23、立体视觉的检测原理图，左右两个相机的成像平面为 SR和SL，左右相机光心为 OcL、OcR ，光轴交成像平面与 OL、O R，称 为为成像平面中心点， uv组成相机成像平面像素坐标系， X cYc Zc为以摄像机光心为原点的摄像机坐标系， Z 轴即为光轴，X wYwZw为世界坐标系，假设 P为空间中任意一点，其投影在左右两个摄像机成像平面坐标为 pL、 pR，我们称 pL、 pR为 p点在一对匹配点。通过图像处理技术，当我们得到匹配点的像坐标后，结合光学相机成像模型，即可得到世界空间 P点的世界三维坐标。这一过程为光学成像逆向工程。整个工程在主要包含摄像机标定、立体匹配、三维信息还原三个步骤。
24、YWZ WOW X WvP v SROR uSLYC OLP r YCZC P l ZC XCOcL u OcRXC图 1.2系统模型图Figure1.2 System model diagram4绪论其实现三维测量的总体流程图 1.3如下：相机标定相机的内部参数双相机的位置参数图像采集图像预处理立体匹配平滑滤波除燥直方图均衡化去除亮度差异针对一些测量，提取边缘信息三维点云信息获取三维信息测量三维模型测量参数的计算图 1.3三维测量总体流程图Figure 1.3 The overall three-dimensional measurement flow chart1.2.1 相机标定由于双目
25、立体视觉依靠成像几何解析计算出被测物体的三维信息，因此在测量前，需要对双目相机的内外参数进行标定，建立相机成像与世界坐标的转换模型，而这一步是实现整个三维测量系统中，最基本也是最重要的一步。因此，相机标定技术也是近几年的研究热点，主要分为以下几大类方法789 ：(1)线性标定方法一般来说，刻画三维空间坐标系与二维图像坐标系关系的方程是含有摄像机内部参数和外部参数的非线性方程，如果忽略摄像机镜头的非线性畸变，那么从三维到二维的变换就是线性变换，一般求解方法是利用透视变换矩阵和直接线性变换，然后由求得的矩阵再分解求得像机参数。其优点不需要非接触优化算法，从而运算速度快，模型简单，能够实现摄像机参数
26、的实时计算，可以应用在对精度不是很高要求，但模型参数需要实时更新的检测现场。(2)非线性优化方法线性变化忽略了镜头畸变，只能用于视野狭窄的摄像机，当镜头畸变明显，如使用广角镜头，原理图像中心处会有很大畸变，这就需要利用非线性优化方法。非线性优化算法通过假设符合实际需求的复杂的光学成像模型，充分考虑成像过程中的各种因素，求解非线性畸变模型，可以得到较高的标定精度，典型代表有 Faig 和 sobel提出的方法。而在优化方面，分为两大类：一类是拟线性化方法，将非线性化问题线性化构成一种迭代格式，用逐次逼近法求解。另一种是完全非线性化，如遗传算法等。5西安理工大学硕士学位论文其优点是在模型更加接近真
27、实情况，但是要使得结果更准确，必须保证初始的值取得合适，若不合适，其结果反而更加差。(3)两步标定法两步法即结合了线性标定和非线性标定，利用前者求解出较为准确的摄像机初始参数，然后再加入畸变因素，进行非线性迭代优化，这样满足了后者的初始条件，使得结果更加准确。(4)平面模板法21世纪处，Zhang提出了一种平面模板法7 ，该方法能够获得更高的精度要求，同时方法更加简便，该方法首先通过设定检测模板，检测出标记出的特征检测点的空间位置，计算各特征点的对应关系，对数据进行归一化处理，构建平面模板与对应检测图像的单应性模型，求解模型矩阵。利用摄像机内部参数的约束条件，提出标定计算公式，求得内外参数，再
28、将各参数带入到非线性优化方程，最后得到优化后的所有参数。在实际操作中，它不需要量出模板的尺寸，只需将合适模板在摄像机镜头前任意摆放两个角度或以上即可实现标定。1.2.2 图像采集将标定好的两台内部参数一样的摄像机在不同位置对被测物体拍摄，获得立体图像对，如图 1.4所示：相机相机图 1.4图像采集示意图Figure 1.4 Schematic image acquisition由于双目立体视觉的三维测量，需要进行一个关键步骤，即需要在图像对中寻找相同物体点在两幅图像中的像素点，因此为了算法的简便且准确性高，我们需要尽量保证两台相机的水平摆放，使得光轴平行且垂直于基线，使得后续的匹配尽可能只存在
29、水平差异，使得搜索点最大化的减小。6绪论1.2.3 图像预处理在采集图像时，双目立体视觉需要两台方位不同的摄像机对同一目标摆设，由于摄像机个体差异性以及视角背景差异，导致接受到的光强稍有不同，再加上采集卡不同通道间的噪声不完全相同等多种原因，使得检测到的图像对应的同名特征点的像素值存在差异。而这些差异值如果没有在立体匹配前进行消除，将严重影响立体匹配结果。因此，在得到立体匹配的图像对时，我们首先要对其进行预处理，来确保后面的匹配工作准确进行。这其中包括噪声平滑滤波22 、直方图均衡化、极线校准等处理。1.2.4 立体匹配立体匹配17 即在左右像机所成图像中找到所有像素点的匹配关系，它的匹配精度
30、直接决定最后三维检测结果的准确度，其在整个三维测量过程中也是最复杂、困难的一项。双目视觉中，同一像素点，由于摄像机的位置关系的差异，从而可能导致同一像素点成像后位置的差异，灰度值的差异，形状的差异，因此采取何种匹配方法显的尤为重要。目前包含三大类，区域匹配、特征匹配和相位匹配。(1)区域匹配区域匹配1829 是以被检测点为中心，其周围组成的一个矩形区域为匹配区域，通过该匹配区域内的像素值分布来表示该中心匹配点，然后以同样大小的区域，对待检测图中逐点计算以每点为中心的匹配区域的像素值分布，比较两个区域的相似程度，通过设定阈值判断匹配点是否为同一特征点。通过区域匹配算法最终可以得到完整的致密的视差
31、图，但在实际应用中匹配窗口选取，直接影响匹配结果，而窗口的选取又无法准确的得到，而且其计算量很大，同时其对光照也很敏感，若由于摄像头角度差异而导致的图像像素值产生的误差，将很大降低匹配准确性。(2)特征匹配特征匹配1920 算法是对被测像素点周围邻近区域建立抽象的特征描述子，例如梯度、角度等，选取的特征能有效抵抗由于光照不同和噪声带来的误差影响。近几年比较流行的有 SIFT特征描述子 21、SURF22、ORB2317 等。其具有快速性、准确性、稳定性等特点，因此在双目立体视觉立体匹配方向得到了广泛的应用。但对于一些表面纹理单一简单等物体，此方法则无法准确得到匹配视差图。(3)相位匹配相位匹配
32、24 是一种比较新的匹配算法。它将相位信息作为匹配依据，本身能够很好的描述自身的结构信息，且能很好的抑制图像的高频噪声，适用于并行处理，且精度很高，能达到亚像素级别，但同时也存很多问题，例如相位奇点、相位卷绕等问题。7西安理工大学硕士学位论文1.2.5 三维信息测量得到匹配视差图后，利用空间几何模型求解，即可得到空间三维点云模型，然后利用空间几何关系，进而得到所需要的测量参数。1.3本课题主要研究内容(1)了解三维测 量技术的发展现状、方法和理论。(2)研究双目立体视觉关键技术，双目视觉模型，摄像机标定方法，基线标定方法。(3)研究图像预处 理方法，图像滤波，灰度图像的直方图归一化，平衡两幅图
33、之间的亮度差异。(4)研究卷径检测 、测量技术，提出一种符合实际情况的检测技术，并利用弦边测量直径。(5)针对板型检测 ，利用投影光栅投影进行图像匹配，并完成三维轮廓提取。8双目立体视觉标定2 双目立体视觉模型2.1引言本章主要介绍双目立体视觉的模型，首先了解相机成像原理，建立相机和世界坐标的关系，但是通过单目相机二维图像无法准确的得到世界目标三维信息，因此再建立双目立体视觉模型，利用视差准确求解。常用的有平行式立体视觉模型和汇聚式立体视觉模型两种。前一种方法在空间的几何关系较为直接，但对硬件相机的位置关系有较严格的要求。后者则可针对任意角度的相机位置关系。2.2相机成像模型首先建立成像所用到
34、的坐标系，这些坐标系是用来作为空间或者平面某点的参考，具体如下：（1 ）图像坐标系摄像机通过感光传感器获取捕捉到的外界图像，以数字形式将图像以数组的形式存储在计算中，称之为数字图像，每一个数组中的元素表示感光器件捕捉的亮度值，我们称该元素为数字图像中的灰度值，数组中的每一个元素称为像素的值即为图像点的亮度值或灰度值，计算机图像中，用数组中的行数和列数来表示实际中竖直方向 Y 和横向方向 X 。为此建立如图 2.1所示的图像坐标系，定义坐标系 uv，若某一点像素坐标为 (u,v)，即表示该像素在数组中行数为 u、行数为 v。vYyxv0 o1 X o u 0 u图 2.1图像坐标系及像平面坐标系
35、Figure 2.1 image coordinate system and the image plane coordinate system(2)像平面坐标 系在图像坐标系中，表示某一点的位置，我们只能用行数和列数来表示，并不能反映到实际空间中真实物理位置，因此我们在感光传感器表面建立像平面坐标系，即表征感光传感器中每一个感光单元的实际物理坐标系，以 mm为单位，将数组中具体的每一列每一行赋予实际物理坐标，建立像平面坐标系 xy,如图 2.1所示。圆点O1为图像的主点，是相机光轴与成像平面的交点， 该点一般位于图像中心附近，9西安理工大学硕士学位论文它与理想的图像中心存在偏差，这是由于硬件
36、原因造成的。若 O 1在计算机图像坐标系中的坐标为 (u0,v 0)，若每一个感光单元在u轴方向上的实际物理尺寸为ux，在v轴方向上的实际物理尺寸为v y，假设u轴和v轴的夹角为 ，一般为 90度，则根据几何关系可以得到，任意一个点在两个坐标系下的转换关系为：u u0 x ycot (2-1)(2-2)u uxxyv v0 uy sin用奇次坐标与矩阵的形式表示为： 1 1 cotux u 0uu xx 1 y(2-3)v 0 v0 uy sin 0 1 10 1(3)像机坐标系像机坐标系是为了分析成像的几何关系，如图 2.2所示,其中 O 点成为相机光心，X c轴和Yc轴分别于成像平面坐标系
37、的 x轴和 y轴相互平行， Z c轴为相机的光轴，垂直于图像平面。光轴相交于图像平面O1点，即为图像主点， 这些组成了像机坐标系O X CYCZC，OO 1为摄像机的焦距。YW XWZ WYc P(Xc,Yc,Zc)p(x,y)X cy xo o1 Zc图 2.2像机坐标系与世界坐标系Figure 2.2 camera coordinate system and theworld coordinate system(4)世界坐标系设定一个坐标系作为参考标准，用它描述世界环境中任何物体所在空间的位置，称该坐标系为世界坐标系，它由基准观测原点和 X w 、Yw、Z w轴组成。则世界坐标系和摄像机坐
38、标系存在如下关系：10双目立体视觉标定XC X w X w Y R T Yw M1Yw C (2-4) ZC 0T1 Zw Zw 1 11 式中 R 为 33正交旋转矩阵，T (Tx,Tx,Tx)为三维平移矩阵；MT1为 44的矩 阵。R、T统称为摄像机外部参数，表征了平移量和旋转 量。这样得到了坐标系以及相应关系，下来建立摄像机成像模型，常用的模型有：针孔模型、正交投影模型以及拟透视投影模型。其中常用的为针孔模型，它是一种简单且不失准确性的理想状态模型。如图 2.2所示。在不考虑透视的畸变前提下，空间任何一点 P,定义x,y为 P点的图像坐标；X C,YC,ZCT为空间 P点的 摄像机坐标
39、。用几何比例关系表示为：fX CZCx (2-5)fYCy ZC用奇次坐标和矩阵可表示为：XCx f 0 0 0 Y Z y 0 f 0 0CZC (2-6) C 1 00 1 0 1综上所述，联立上面的式子，就可以得到由世界坐标系下表示的 P点坐标与投影点 P在图像坐标下的投影关系： 1 1 cotx1u y sin 0 u0 X wu uu f 0f0000 R T Ywx ZC v 000v0 0 1 zw 0T 1 0 0 01 (2-7)1 X w f x f x cot u0 0 R T Y1 00f y v0 00w1 zw 1 M 1M 2X W MX Wsin 0T 0 1其
40、中， fx f， f y f；M为 34矩阵，称为透视投影矩阵； XW为空间 P点在u u世界坐标系下的齐次坐标； yM 1由 f x, fy,u0,v0,（一般为 90度）决定，它们由相机内部结构决定，因此定义为相机内参数；M 2取决于相机在世界坐标系的位置，因此定义为相机外参数。x上述的相机成像模型是在理想条件下建立的，它忽略了镜头的畸变，只能用于精度要求不高或视野较窄的摄像机，在一些精度要求高的场合或使用一些畸变比较明显的镜头如广角镜头，则必须考虑镜头的各种畸变。如今大部分考虑的畸变有：径向畸变、偏心畸变、11西安理工大学硕士学位论文薄棱镜畸变。图 2.3为无畸变理想图像点位置与有畸变实
41、际图像点位置之间的关系。理想图像点 d td r 实际图像点d r 径向畸变切向畸变d t图 2.3理想图像点与实际图像点Figure 2.3 the ideal image point and the actual image pointA径向畸变径向畸变又称为对称的径向失真或桶形失真，它指使得图像点相对理想位置发生向内或向外的偏移。造成径向畸变主要原因是透镜曲面上在生产中存在瑕疵，有正负两种偏移效应。如图 2.4所示，建立的数学模型为： xr x(k1r yr y(k1r2 k2r4 k3r6 ) (2-8)2 k2r4 k3r6其中r x y2 2,k1,k2,k3表示各次径向畸变系数。
42、ab图 2.4径向失真或桶形失真Figure 2.4 radial distortion or barrel distortionB偏心畸 变偏心畸变包含径向畸变以及切向畸变，造成畸变的主要原因是光学系统中心和几何中心存在偏差，使得相机镜头的光学中心不能意义上的共线。建立的数学模型为 xd p1(3x2 y2 ) 2p2xy 3y ) (2-9) yd 2p1xy p2(x2 2式中， p1, p2表示切向畸变系数。C薄棱 镜畸变薄棱镜畸变是指透镜的光轴与相机的成像平面之间存在倾角误差，它产生的原意是镜头设计和加工安装中的不规整引起的。这种畸变的结果相当于在成像过程中加了一个薄棱12双目立体视
43、觉标定镜，因而得名。其数学表达式为 xp s1(x2 y2 ) (2-10) yp s2(x2 y2s1,s2称为薄棱镜畸变系数。一般情况下，上述非线性模型的径向畸变已足够描述非线性畸变，因此本文主要考虑镜头的径向畸变和切向畸变。由以上我们就等到了完整地摄像机成像模型，如果已知摄像机的内外参数，对空间某点 P，若求出任意一个坐标系的坐标，即可求出所有坐标系的坐标。但同时我们可以有图2.2看出，若已知图像点 P时，任何位于一条射线 OP上的空间点在图像上的成像都是 P点。因此，靠一台摄像机我们无法确定准确的空间坐标，为此，我们介绍双目立体视觉模型，来解决这一问题。2.3双目立体模型双目立体视觉模
44、型根据实际摄像机摆放位置不同，可以分为汇聚式立体视觉模型和平行式立体视觉模型。（1）汇聚式立体视觉模型汇聚式立体视觉模型中两个摄像头的位置程交互式式，光轴相交，如图 2.5所示：轴轴 光光相机 相机图 2.5汇聚式立体视觉模型Figure 2.5-dimensional visual model of convergence其原理图如图 2.6所示Py1p2 y2p1z1 z2C C2x21o1 O 2x1图 2.6汇聚式立体视觉模型原理图Figure 2.6 Aggregation-dimensional visual model diagram13西安理工大学硕士学位论文空间中任意一点 p
45、的世界坐标为 (XW ,YW ,ZW ) ,其投影在在两个摄像机C1与C2上的图像点分别为 p1 (u1,v 1)与 p2 ( u2,v2)，称 p1与 p2为空 间同一点 p在双目立体视觉系统中的一对对应点。则结合摄像机模型，令它们的投影矩阵分别为 M1与M 2 .则其齐次坐标下的转换矩阵为：X u m1111121131 wm m m14 1 Z v m m124134YwZ121 m122 m123 (2-11)(2-12)c1 1 1 m131 m132 m133 m w 1X wu m211212213214m m m 2 Z v mYw221 m222 m223 m224 1 c2
46、 2 Zw m231 m232 m233 m 2341式中 Zc1和 Zc 2分别表示为 P点在 C 1和 C2摄像机坐标系中 Z方向坐标；km (k 1,2;i 1,.,3; j 1,.,4)分别为 M k的第 i行第 j 列元素。结合（2-5），可以得到如下ij关系式： 131 111 132 112 133 113 m114 u1m341 (2-13)(2-14)(v m m121)Xw1 (v1m m122)Yw1 (v1m m123)Zw11 132 133 m124 v1m34131(u2m m )Xw2 (u m2 m )Yw2 (u2m m )Zw2231 211 212 233 213 m124 u2m3422 32(v m2 m )Xw2 (v m2 m )Yw2 (v2m m )Zw2221 222233223 m224 v2m3422 31 2 32上式表示了过O1P1和O2P2的直线方程。空间点 P(X,Y,Z)必然同时满足上面两个方程。因此，可以将上面两个方程联立求出空间点 P的坐标 (X,Y
