1、燕山大学硕士学位论文基于双目视觉的目标定位与运动分析研究姓名：郑瑾申请学位级别：硕士专业：控制理论与控制工程指导教师：王洪斌20060301燕山大学工学硕士学位论文），：，；，；，；，；，；燕山大学硕士学位论文原创性声明本人郑重声明：此处所提交的硕士学位论文基于双目视觉的目标定位与运动分析研究，是本人在导师指导下，在燕山大学攻 读硕士学位期间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。作者签字郯蓬日期：捌年争月日燕山大学硕士学位论文使用授权
2、书基于双目视觉的目标定位与运动分析研究系本人在燕山大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大学所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。本人完全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权燕山大学，可以采用影印、 缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。保密口，在年解密后适用本授权书。本学位论文属于不保密皤。（请在以上相应方框内打“”）作者签名：导师签名：郑瑾撕亳？袄，枷，牛年年蜥州期期第章绪论第章绪论研究的目的与意义人类感知外界信息，以上是通过视
3、觉得到的【”。使计算机或机器人具有视觉，是人类多年以来的梦想。人类通过眼睛与大脑来获取、 处理与理解视觉信息，周围环境中的物体在可见光的照射下，在人眼的视网膜上形成图像，由感光细胞转化为神经脉冲信号， 经神经纤维传入大脑皮层进行处理与理解。视觉，不仅指对光信号的感受，它包括了对视觉信息的获取、处理、传输、存储与理解的全 过程。信号 处理理论和计算机出现以后，人们试图用摄像机获取环境图像并将其转化为数字信号，并用计算机实现对视觉信号处理的全过程。而具有视觉系统的机器人是智能机器人的一种，属于第二代机器人【 】。和人的视觉组织一样，机器人视觉系统在机器人的研究和应用中也占有十分重要的地位，对机器人
4、的智能化起决定性作用。机器人视觉系统是指用计算机来实现对客观三维世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维采样系统。三 维物体的可见部分投影到视网膜上，人们按照到视网膜上的二维成像来对该物体进行三维理解。所谓三维理解是指对被观测物体的形状、尺寸、离开 观察点的距离、质地和运动特征（方向和速度）等的理解口。如果把三维客观世界维投影看作一种正变换的话，则机器人视觉系统所要做的是从这种二维投影图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界。在机器手上安装一个摄像头就构成的手眼系统，可使工业应用更加精细【“，如弧焊机器人。在移动机器人加上一个或两
5、个摄像头以进行定位。至于最近机器人领域的热点之一仿人机器人，视觉更是必不可少。视觉还广泛应用在制造业、遥操作、目 标跟踪、水果采摘等领域睁。可见视觉是机器人得以自主的先决条件。从仿生的观点和实用的观点来看，双目视觉（）或立体视觉（）是最经济和科学的。因此在机器视觉的研究领域里双目视觉的研究非常活跃【】。燕山大学工学硕士学位论文现阶段双目视觉系统的研究目的主要有以下几点例。（）三维重建主要使机器人能感知周围环境，一般用于移动机器人和两足行走的仿人机器人。三维重建是机器人视觉研究的重要分支，也是实现对三维景物世界理解的基础。（与人及环境交互这就要求实现人眼的基本功能，如扫视、对突现物体的反映、注视
6、和平滑跟踪。在此基础上实现高层的智能活动如：手势识别、人脸识别等。对于移动机器人和环境、其它移 动机器人的交互体 现在避障、跟随、协作等方面。）视觉 一运动协调任务头眼协调、手眼协调、运动跟踪。这是视觉的基本功能，是机器人和环境、人机交互的基石。机器人视觉的研究、 发展和应用还远没有达到成熟的程度。机器视觉从诞生到今天才只有短短的几十年时间，在机器视觉中承担“大脑”作用的图像分析处理、图像理解和模式识别等。但是 这些理论和技术的基础还非常不完善。甚至，机器视觉 的图像获取系统也存在许多局限，比如高速图像采集实现困难、价格过高， 图像分辨率、灵敏度等不高，敏感元件的制造困难，视觉 系统的体积较大
7、，自适 应的图像获取无法实现等 】。因此，机器人视觉系统有待于进一步发展，相关的研究具有积极和重要的意义。双目视觉系统概述立体视觉的开创性工作是从年代中期开始的。美国的完成的三维景物分析工作，把过去的二维图像分析推广到了三维景物，这标志着立体视觉技术的诞生，并在随后的年中迅速发展为一门新的学科。特别是年代马尔（玎）创立的视觉计算机理论对立体视觉的发展产生了巨大的影响。现已形成了从图像获取到最终的景物可视表面重建的完整体系，在整个计算机视觉中占有越来越重要的地位，经过多年的研究，立体视觉在机器人中的应用越来越广泛，研究方法从早期的以统计相关理论为基础的相关匹配，发展到具有很强生理学背景的特征匹配
8、，从串行到并行，从直接依赖于输入信号的低层处理到依赖于特征、结构、关系和知识的高层处理，性能不断提高，其理 论正处在不断发展与完善之中【。第章绪论立体视觉的基本原理是从两个（或多个）视点观察同一景物。以获取在不同视角下的感知图像。通过三角测量原理计算图像像素间位置偏差（即视差来获取景物的三 维信息。在立体视觉中我们将由两个视点构成的系统称为双目视觉系统。一个双目视觉系统可由硬件和软件两大部分组成，其硬件可由视觉传感器、视频数字化设备、 计算机及其外围设备组成；软件由计算机软件和视觉处理算法组成。对于机器人双目视觉系统还应加上机器人的相关硬件和控制软伊”。如图一所示。图双目视觉系统的组成硬件设备
9、介绍在双目视觉的硬件结构中，目前通常采用两个摄像机作为视频信号的采集设备，通过专用的图像采集卡与计算机连接，把采集到的模拟信号经过采样、滤波、量化，最终提供给计算机图像数据，如图所示。双目视觉硬件系统由视觉传感器、云台、 图像采集设备及控制主机等设备构成。图像传感器图像传感器是测定图像的输入装置，通常选用（电荷耦合器）传感器。来自被测对象的光通过光学系统，由器件转换成电信号（时间序列的输出信号），然后将传感器的电荷逐步移出，形燕山大学工学硕士学位论文成像素。现在比较流行的图像传感器还有传感器。与传感器相比，它具有功耗低、摄像系 统尺寸小、可将信号处理电路与图像传感器集成在一个芯片上的优点。但其
10、图像质量（特别是低照度环境下）与系统灵活性与相比相对较低。适用于小尺寸、低价格、摄像质量无过高要求的保安用小型微型像机、手机、计算机视频网络中等【。”】。但 对于图像质量要求较高的系统中，通常会选用价格稍为昂贵的传感器。摄像头摄像头图双目视觉系统硬件结构图像采集 设备所谓视频采集即将视频转换成机可使用的数字格式。一些专业图像采集卡【堤将 视频信号经过转换后，经过总线实时传到内存和显存。在采集过程中，由于采集卡传送数据采用方式，图像传送速度可以达到帧秒，可实现摄像机图像到计算机内存的可靠实时传送，并且几乎不占用时间，留给更多的时间去做图像的运算与处理。图像采集卡主要包括图像存储器单元、显示查找表
11、单元、摄像头接口（刖）、监视器接（）和 总线接口单 元。工作过程如下：摄像头实时或准时采集图像数据，经变换后将图像存放在图像存储单元的一个或三个通道中，变换电路自动将图像显示在监视器上。通过主机发出指令，将某一帧图像静止在存储通道中，即采集或捕获一帧图像，然后可以对图像进行处理或存盘。高档的采集卡还包括卷积滤波、等 图像处理专用软件包，并能够实时显示彩色活动图像。云台云台作为 摄像机的支架，用以控制摄像机左右摇摆或第章绪论上下俯仰。控制主机控制主机作为图像传输及处理，是视觉系统的关键设备。由于图像处理的数据量较大，运行 时间也较长，要想实现实时控制，除了在尽量优化算法的基础上，还应该尽可能的提
12、高控制主机的硬件设备要求。对于不同的传感器和采集卡，对主机要求也不同。视觉处理算法的关键技术摄像机标定为了从的摄像平面计算 环境物体的位置、形状等几何参数，摄像机必须先进行标定，即求出 摄像机的内外参数。对于针孔模型，内部参数包括焦距、摄像机光轴与图像平面的交点坐标、每个像素在、轴的物理尺寸出，咖等，外部参数即 摄像机坐标系与世界坐标系之间的相对位置矩阵，包括旋转矩阵与平移矩 阵丁。 对于双目视觉还需标定两摄像机间的距离【】。摄像机标定的方法有很多，文献仲有一个综述，比较重要的方法有自标定技术和基于平面物体的标定技术等。双目视觉中的标定根据具体的系统不同有不同的实现方法。例如，不需要求出具体参
13、数的神经网络的方法等。图像 处理技术图像处理技术把输入图像转化成具有所希望特性的另一幅图像。例如，可以通 过处理使输出图像有较高的信噪比，或通过增强处理突出图形的细节，以便于检验。在 视觉系统中，经常利用图像处理技术进行预处理和特征提取。视觉信息的处理技术，主要包括图像的滤波、边缘检测、图像的细化等。（）图像的滤波去 处图像中的干 扰信号，增 强或冲淡图像的某些特征，使需要的特征更为突出，一般把为达到这类目的而改变图像强度的技术统称为图像滤波】。滤波并不改变图像强度的形式，滤波结果仍然是灰度值的空间阵列。图像滤波技术是图像处理研究的主要内容之一。改变图像的强度就有可能使物体的形态更为突出，如果
14、感兴趣的物体图像较大，就可以让图像变得模糊一些。这样会使在范围较小的强度变化被平抑掉而留下较大的强度变化，这往往就是物体的边界，物体的形态因而更突出了。燕山大学工学硕士学位论文相反，如果图像物体相对体积较小， 则一些能去除较大范围变化的滤波操作就很适宜。滤波技术还能在一定程度上弥补照明、感光等不均匀变化。（）边缘检测在的视觉计算理论中，抽取二位 图 像上的边缘、角点、纹理等基本特征是熬个系统框架中的第一步。等【】指出，在不同尺度下定义的边缘点，在一定条件下包含了原始图像的全部信息。提取这些在某一定义下的边缘点的过程称为边缘检测。在实践上，边缘检测是在局部区域上针对“点”的一种运算。表现为一种典
15、型的信号处理问题，在计算机预处理的算法中有着重要的地位。（）图像细化细 化可以把二 值图像区域组成线条，以逼近区域的中心线，也称之为骨架或核线。细化的目的是减少图像成分，直到只留下区域的最基本信息，以便进一步分析和识别。 虽然细化可以用在包含任何区域形状的二值图像，但它主要对细长形（而不是凸圆形或水滴状区域有效 【】。立体匹配为了求出深度信息，必须知道左右两幅图像的对应点，因此立体匹配是由双目求深度的关键。如果知道了左右两幅图像的对应点，对于已经标定的摄像头，便可以方便地计算出深度。立体匹配的基本思想都是基于相似性度量与连续性假设，方法有：特征点匹配法、灰度相关法、极限的整体匹配、动态规划法、
16、松弛法、多分辨率法等【”。立体匹配的基本元可以是图像点的灰度、图像的零交叉点、 图像的傅立叶变换相位、 图像的小波变换相位等【】。因为立体匹配可归结为在一定匹配准则下的最优搜索问题，所以遗传算法、神经网络、多智能体等 优化技 术也可用于解决此类问题。在本论文中，主要用到了特征点匹配法。运动 分析运动分析即从单幅或序列图像中分析物体的运动。分为基于光流的运动分析、给予二维特征对应的运动分析和基于三维特征对应的运动分析。对于双目视觉系统来说，可以 实时测量和估计运动目标的运动，并规划手的轨迹去抓取，也可以用双目视觉测出目标的姿态。所以双目视觉对于运动分析是必不可少的，可以为机器人提供对外界环境的动
17、态感知能力。运动分析涉及到许多图像处理与计算机视觉的应用，它在工业和军事应用领域具有重要的现实意义“】。例如，自 动装配线上的机器人视觉系第章绪论统、基于运动分析的空间卫星跟踪、地 对空火控系统、自治飞行器着陆与导航等。运动分析提供了有关景物结构的重要信息。在传感器与景物物体之间所观测到的运动反映了景物的相对深度、表面或轮廓信息以及位姿信息。本文主要研究了基于卡尔曼滤波的运动估计的方法。卡尔曼滤波是在线性无偏最小方差估计原理下推得的一种一步递归滤波方法，它引入了状态空间的概念，借助系统的状态转移方程根据前一时刻的状态估值和当前时刻的观测值递推估计新的状态估值【屯。国内外研究现状及发展机器人立体
18、视觉是指用机器人来实现对三维世界的识别，即实现人类视觉系统的某些功能，其目标是实现对三维景物世界的理解。机器人立体视觉是人工智能领域最热门的研究课题之一，它和专家系统，自然语言理解已成为人工智能活跃的三大领域【。年代初，马尔（）提出了视觉的计算理论， 这一理 论把视觉过程看成一个信息处理过程，并把这一过程分为三个层次【 】：（）计算理论；（）算法与数据结构；（）硬件 试验 。马尔理论强调了当时并不受人重视的计算理论的层次，并在这一层次，把视觉过程主要的规定为定量地恢复出图像所反映的场景中的三维物体的形状和空间位置，以及将这恢复过程分成三个阶段叫：（）要素图 ：它包含图像边缘灰度 变化率，边缘的
19、几何待征，或者纹理元的排列、描述等；（）维图：它是要素图和三维图像模型之间的中间表示层次，包含物体表面的局部内在特征；（）三维图：以物体为中心的三维描述，它是由要素图和 维图得到的。 马尔 的理论比较系统地和全面性地揭示了用二维图像恢复三维物体形态的可能性和基本方法，具有划时代意义，为计算机视觉成为学科奠定了重要的基 础。二十多年来，马尔的计算视觉理论成为计算机视觉研究中的主流。在这一理论的指导下，众多学者辛勤探索，也取得了令人注目的成果。许多数学家与计算机科学工作者，在严格的理论分析、系 统的误差分析等方面做了大量卓有成效的工作。但是，马尔计算视觉理论也存在不足之处，他燕山大学工学硕士学位论
20、文将视觉处理过程分为相互独立的单向过程，而视觉过程本身具有反馈机制。处理的目的是不变的，总是要求出场景中物体的形状和它们的空间位置和关系。强调从不同层次上去研究信息处理问题， 强调计算理论的重要性。尽管这些方法在数学上是可行的，但是由于各种存在干扰以及逆成像的问题，使得问题本身是病态的。此外，马尔也没有考虑视觉处理过程中不同层次的粒度问题。进入八十年代中后期，随着机器人立体视觉研究的发展，大量运用空间几何的方法以及物理知识来研究双目视觉，其主要是完成对道路和障碍的识别处理】。这一时期引入的主动视觉的研究方法，并采用了距离传感器以及视觉融合的技术等，由于这种方法可直接取得深度图或通过移动获取深度
21、图，因而使很多病态问题变为良态。此外的 视觉研究中重视了对定性视觉、有目的视觉的研究。这些理论和方法有力的促进了相关理论的发展，也推进了相关的应用。机器视觉的应用研究，已经拓展到几乎每个可能的工业领域。最主要的应用行业州为，汽车、制药、电子与电气、制造、包装，食品 饮料、医学等。在现代工业自动化生产中，涉及到各种各 样的检查、 测量和零件识别应用，例如汽车零配件尺寸检查和自动装配的完整性检查、电子装配线的元件自动定位、饮料瓶盖的印刷质量检查、 产品包装上的条码和字符识别等。随着图像处理和模式识别理论研究的进展，采用二维图像的机器视觉系统在最近几年得到了成功应用。如指纹、掌 纹、虹膜和人脸等人物
22、特征识别的机器视觉系统，已经在机场、 车站安检、考勤、门禁认证、海关通关等场合使用：在恐怖主义威胁下，不仅对人的识别更加重视，货物运输中也逐步考虑使用更加先进的机器视觉系统。例如，采用计算机断层扫描技术的货物安检和成分识别研究正在开展。在医学诊疗过程中，病症的识别离不开机器视觉系统的使用。例如，超声波、磁共振、基于的内窥镜等装备，在大、中型医院已 经获得普遍推广【坶。在立体视觉方面也有不乏成功的例子，如年日本成功研制出利用双目视觉来指导机械手动作的樱桃番茄收获机。在汽车的辅助自动驾驶中口，机器视觉系统的典型应用，并且该立体视觉系统已经完成实验室研究。目前，国际上视觉系第章绪论统的应用方兴未艾，
23、国内，机器人立体 视觉系统也进入应用的快速发展期，无论是工业、农业还是军事领域都显示出广阔的发展前景。虽然在应用领域大部分都还没转化为生产力，但已具备了开展视觉研究的研究人才和技术条件，如清华大学智能技术与系统国家重点实验室、安徽大学人工智能研究所、武汉汽车工业大学数字图像处理研究所等在机器人立体视觉领域处于领先地位。清华大学研究开发的，就采用了典型的平行双目视觉系统。可以预计，机器人立体视觉技术的发展将更加有利于我国工业经济的发展。本论文主要研究内容本论文主要针对双目视觉系统的定位与运动分析进行了研究。其主要内容如下：第一章是绪论，介绍了机器人视觉系统研究的目的与意义，然后对双目视觉系统的构
24、成做了简单概述，介绍了硬件以及软件的关键技术。并对综述了国内外的研究现状及发展。第二章研究了视觉系统的基本问题摄像机标定，提出了一种基于模糊化神经网络的摄像机标定法。第三章介绍了基本的图像处理的方法，并在此基础上，运用语言进行编程，将多种图像处理的效果进行了比较。第四章进行了定位实验的研究，首先设计并编制了软件平台，并在大量实验数据的基础上，完成了摄像机标定和目标物体中心点定位，最后对实验精度进行了分析。第五章研究了基于卡尔曼滤波器的运动估计。首先建立了双目视觉系统的卡尔曼滤波运动模型，然后做了一步估计和远程估计，并将其运用于一种实时估计中，最后作了仿真实验研究。燕山大学工学硕士学位论文第章摄
25、像机标定引言在计算机视觉中，往往需要对景物进行定量的分析或对物体完成精确定位处理。这些内容都涉及到一个基本问题，既景物是如何形成图像的像素点的。解决这一问题不仅要了解成像的模型，而且需要知道模型中各种参数的精确值，确定这些参数值的过程就称作摄像机标定。摄像机标定需要确定摄像机内部和光学特征（内部参数）和或相对一个世界坐标系的摄像机坐标的三维位置和方向（外部参数）【】。 图像是个二维矩阵列，其元素值表示了空间某一点的亮度，而究竟表示空间哪一点的亮度值，可由假设的摄像机模型和相应的参数确定。本章首先介绍摄像机模型及标定原理，然后介绍几种常见的标定方法，最后介绍一种基于模糊神经网络的新型摄像机标定法
26、。摄像机模型常用的几种参考坐标系对三维场景定性或定量分析都离不开坐标系。三维场景分析中一般用到种坐标系：世界坐 标系，物体坐标系，摄像机坐标系，实际图像坐标系和像素图像坐标系。这些坐标系不仅对机器人学很重要，而且对理解人类空间感知也很重要。这五种坐标系的图示参见。（）世界坐标系通 过世界坐标系来建立三维空间中的物体之间的关系。在机器人工作室或虚拟环境中， 执行期和传感器常用世界坐标系进行联系。（）物体坐标系。在计算机图形学和计算机视觉中，理想的物体建模都是用物体坐标系表示的。图中 显示了两个物体坐标系，一个表示方形物体，一个表示椎形物体。三维角点相对物体坐标系的坐标是第章摄像机标定【，乙。（）
27、摄像机坐标 系以光学中心 为中心点， 轴与光轴重合。当以观察者（摄像机）为中心时，常常要用到摄像机坐标系。 对于有视觉的机器人或者人来说，既是目标又是传感器，因此物体坐 标系和传感器坐标系几乎相同，但不是严格相同。（）实际图像坐 标系三 维点投影到位于茁，的 实际图像平面上，其中厂是焦距，和，不是图像阵列中像素的下标，而是与像素大小以及光轴像点的相对位置有关。实际图像坐标系包含的图像函数把实际图像数字化，形成像素阵列表示的数字图像。（）像素坐标系像素阵列中的每个点都具有整数的像素坐标。图中，锥顶对应的像点是像素。，口，其中吼和口，分 别是行数和列数，都是整数。场景中的许多事物只是通过分析行和列
28、像素图像就能确定。图三维场景分析中使用的种坐标系，带有畸变的小孔摄像机模型计算机视觉中，摄像机模型解决的是三维场景中的点如何与二维图像燕山大学工学硕士学位论文上的点联系起来的问题，常用的摄像机模型有三种：小孔摄像机模型（透视投影模型）、正交投影模型和弱透视投影模型”。本系统中由于摄像机为针孔模型，故采用小孔摄像机模型。而通用的摄像机一般不能用线性模型准确地表示，尤其是对短焦距、光视角的摄像机，在 远离镜头 中心的边缘有较大的畸变，参见图。，）或（。，。，。）图考虑透镜畸变的小孔摄像机模型我们一般将畸变分为两种：径向畸变和切向畸变。而在工业控制中通常只考虑径向畸变，而忽略切向畸变。 图是 带有径
29、向畸 变的小孔摄像机模型，设（。，。，。）是三维世界坐标系中物体点的三维坐标。（，：）是同一点在摄像机坐标系中的三维坐标。其中：（，）表示理想情况下不存在畸变的图像坐标；（。，巧）表示存在径向畸 变的 实际图像的图像点坐标。摄像机畸变模型可以简单的表示为：阡麓，式中，【一表示径向畸变引起的误差。径向畸变都可以表示成一组无限级数的形式，则有：第章摄像机标定嚣嚣嚣蠢 巧（七；七；七：）式中，。；巧。可得：。，二（。；。）；：屯：（）：即图像中某一点的总的径向畸变。正比于 该点到图像中心的距离的平方一。关于图像中心点的确定，我们通常可以假设像素图像的中心即为图像的中心点。这里应该注意的是图像在像素坐
30、标系下的坐标“，的单位是像素（），所以需要将物体的三维坐标（。，儿，：。） 变换到像素坐标系，变换步骤为：（）三维空间刚 体位置变换 （从（。，。，。）到（，）：耋丁。，式中，为的正交 变换矩 阵；为的平移矢量。（）假设厂，那么小孔摄像机下的理想投影变换为：；厂兰 厂上（）用一个二阶 模型近似径向的透 镜畸变（）（）柏防嚏抓巧燕山大学工学硕士学位论文由式（）和（）可得上式。（）实际图像坐 标到像素坐 标之间的变换：三麓引 口，。，、式中，（“。，。）表示像素图像中心坐标，（，）表示实际图像平面上单位距离上的像素点数。需要标定的参数（）外部参数图 中物体点从世界坐 标系到摄像机坐 标系的平移，和
31、旋转变换矩阵中的参数称为外部参数，外部参数有个，它们是相应于的欧拉角表示的侧倾角、俯仰角、旋转角妒，即相应于平移矢量丁的三个分量、。于是。旋转矩阵可以表示为，、妒的函数：，日妒一妒妒日妒一，妒，妒，妒，妒，垆 （）。（）内部参数，：有效焦距，即图像平面到投影中心距离；：透镜畸变系数；：方向的比例系数（由于摄像机的扫描和时序误差使得 ，不能 预先得知）；，；方向的比例系数（对于 摄像机而言，。是预先确定的）；置，：图像平面原点的像素坐标。基于径向排列约束（）的摄像机标定法在摄像机标定中所需要标定的外部参数个、内部参数个，共个参数。现有的标定法有很多种，包括线性法、非 线性法、两步法【】、双平面法
32、】、主动标定法【等。这些方法均需计算出内部参数和外部参数，然后根据摄像机模型得到图像像素位置与场景点位置之间的关系，可称之第章摄像机标定为直接法。这么多参数想在一个方程组或一次优化搜索中得到全部的解是不容易的，即使可以计算，也是非常费时的。在本节中主要介绍一下基于（）约束的两步标定法口】。基于的两步法计算参数即利用几何成像中某些内在的性质和关系先求一部分参数，然后利用已求得的参数再来求解其它参数。即第一次先求解外部参数，然后再计算内部参数。基于的两步标定法的第一步是利用最小二乘法求解超定线性方程，给出外部参数；第二步求解内部参数，如果 摄像机无透镜畸变，可由一个超定线性方程解出。如果存在一个以
33、二次多项式近似的径向畸变，则可以用一个三变量的优化搜索求解。径向排列约束（）由图可以看出，矢量三。和矢量三：有相同的方向，其中，是图像中心，只是图像平面上畸变后的像点，（，）是物体点。（，）是在摄像机坐标系中的位置坐标。岛：是位于（，）的点，这样可以表示为：方向（）方向（工：）由成像模型可知，径向透镜模型畸变不改变厶的方向，因此，无论有无透镜畸变都不能影响以上等式。有效焦距，的变化也不影响这个等式，因为厂的变化只会影响上的长度而不影响其方向。这就意味着由导出的任何关系均与厂和透镜畸变系数无关。下面推 导条件下各参数应满足的关系。吒巧设月：，贝。由式 得至“：。吩。三。（）、【，巧燕山大学工学硕
34、士学位论文条件意味着存在下式三：生：，。坛。将上式移项，两边再同除以，并表示为矢量形式，整理可得：（）妣瞒气写巧一垅一瞒一珑】侈毒昙铪号玎局 （一）式中，行矢量巧）饵碣巧一，。咒蜀一列是已知的，而列矢量巧吃弓弓互弓弓吩零吃坩是待求的参数。 对于每个物体点只，已知其。、儿、。、局、巧，就可以写出式（）。直观地说，选取合适的个点（使系数阵满秩）就可以解决列矢量中的个分量。这里用同一平面上的空间点来做标定， 这种标定模板较易设计。不失一般性，可选取世界坐标系，并使。， 这样式（）：关于和珞的二项的系数均恒为，于是（）可表示为蚍编写一五一）坞互恐弓乏 弓，五（）求解空间刚体变换的困难之一是其旋转矩阵有
35、个参数，但是正交性规定了仅有个自由度，即仅个 变量是独立的。计算出的必须满足正交性。若按照式（）求解出吃个变量， 则未必能满足正交性。由式（）可以解出、也、，共个独立变量。而正交 阵加上一个比例（，。）也正好有个独立变量，故式（）可，唯一地确定（当方程数时）旋转 矩阵和平移分量疋、，。，两步法标定的计算过程第一步：（）拍摄一幅含有若干共面特征点的 标定的图形。然后确定个特征点第章摄像机标定的图像坐标，图像坐标为（，），。并设这些点相应的世界坐标为（。）。根据式（），计算妇（一）四巧（，一，、（”利用式（ ）对每个点尸。可列出一个方程，联立这（）个方程，得到一个方程组。再利用最小二乘法求解这个超
36、定方程组，可得到如下变量：，正，。 （）利用的正交性计算和，略去详细的数学推导 ，得到： 兰！二兰：二！刍！曼二垒！垒！：！： ）。（），疋 求得后，需要确定它的符号。由成像几何关系可知，。与应有相同符号，与也应有相同符号，可以利用这一关系来确定的符号，即在求得后，任选一特征点最，首先假设为正，计算，工。屯。，。吩儿。若此时疋与，巧与同号，则符号就为正，否则应为负。利用正交性和右手系特性（相应于世界坐标为右手系）可计算。（一，一，彳）“吩（一砰一，）“（）屹式中，。，、，、岛可由矩阵中的前两行的叉乘得到。的另一解为吃一（一一芬）“一（一，一）“（）一具体选取哪一个，可由试探法确定，即任选一个，
37、向下计算，若以此值 第一步计算出的厂，则放弃这个；若厂，就是选取正确。以上已经解出旋转矩阵和矩阵中的和，下面计算有效焦距厂与燕山大学工学硕士学位论文平移分量和透镜畸变系数。第二步：对每个特征点计算：裟：搿乏陋恍设，。若不计透镜畸变，则有三：笠（），。考虑，。，则式（ ）可展开 为厂一互比（）而“（，一。），则有【。一（：。），阂（，一）鸺（。）假设，解此超定方程（，）可分别求出有效焦距厂和平移矢量的分量，然后再用这些值作初始试探，利用 优化算法求解下列非线性方程组（打、（、弓：乏可解求出，、的精确值 。这种方法简洁、快速、准确，避免了非线性的优化搜索，并且使两步法的标定过程都可以通过求解线性方
38、程组来实现，适用于需要快速标定摄像机的场合。一种基于模糊化神经网络的摄像机标定法若可以不考虑具体参数，可使用神经网络的方法得到图像坐标与世界坐标之间的对应关系，来完成摄像机的标定，可称之 为间接法，也就是无参法。利用人工神经网络来直接学习图像信息与三维信息之间的关系，不需确定摄像机具体的内部参数和外部参数，也不需知道有关模型或参数的堡毪瓦一一第章摄像机标定先验知识。在双目视觉的情况下，两摄像机的位置关系不需具体求出，而是隐含在神经网络之中。这类方法在文献中有一定的研究。其中文献将神经网络应用于双目视觉系统中，没有具体考虑径向畸变的影响；文献【提出了根据摄像机镜头径向畸变的不同，将图像坐标简单的分为两部分，即中心区域和非中心区域，在一定程度上提高了摄像机标定的精度；文献
