1、 密级： NANCHANG UNIVERSITY学 士 学 位 论 文THESIS OF BACHELOR（2013 2017 年）题 目 双目视觉相机标定与立体匹配算法研究 学 院： 信息工程学院 系 电子系 专业班级： 卓越通信 131 班 学生姓名： 蒋杨婷 学号： 6102213916 指导教师： 陈其纶 职称： 讲师 起讫日期： 摘要I双目视觉相机标定与立体匹配算法研究专 业： 通信工程 学 号：6102213916学生姓名： 蒋杨婷 指导教师：陈其纶摘要本文基于双目视觉图像传输系统重点研究了摄像机标定与立体匹配两个模块。在摄像机标定中，重点阐述了三大坐标系、两种摄像机模型以及张正友
2、平面标定法，基于 Matlab 实现了立体标定过程并对实验结果进行了分析；在立体标定中，重点阐述了基于全局误差能量最小化立体匹配算法和基于线性生长立体匹配算法的原理，基于 Matlab 仿真了立体匹配算法的实现过程，并就可靠度与计算量两个指标对两种匹配算法进行了比较分析。关键词： 双目视觉，摄像机标定，立体匹配，张正友平面标定，摄像机坐标系三维重建，模板匹配AbstractIIBinocular vision image transmission system design AbstractBased on the binocular visual image transmission sys
3、tem, this paper focuses on the camera calibration and stereo matching .In the camera calibration, this study was expounded the three coordinates, the two kinds of camera models and ilf plane calibration method, camera calibration was implemented based on Matlab and the experiment results are analyze
4、d; In stereo calibration, this study was expounded the principle of stereo matching algorithm based the global error energy minimization and stereo matching algorithm based on linear growth, and the implementation process of the stereo matching algorithm based on Matlab, and the reliability and the
5、amount of calculation of two indicators of the two matching algorithms are analyzed in comparison.Keyword: Binocular vision, camera calibration, stereo matching, ilf plane calibration, the camera coordinate system of 3 d reconstruction, template matching目录目录摘要 IAbstractII第一章 绪论 .- 1 -1.1 背景及研究意义 .-
6、1 -1.2 国内外研究现状 .- 1 -1.3 论文的主要工作 .- 2 -1.4 论文的组织结构 .- 2 -第二章 双目视觉系统 .- 3 -2.1 双目立体视觉系统简介 .- 3 -2.2 双目立体视觉系统应用 .- 4 -2.3 摄像机立体标定 .- 4 -2.3.1 像平面坐标系、摄像机坐标系和世界坐标系 - 5 -2.3.2 摄像机模型 - 7 -2.3.3 张正友标定平面标定 - 9 -2.4 立体匹配 .- 10 -2.4.1 基于全局误差能量最小化的区域匹配算法 - 10 -2.4.2 基于线性生长区域立体匹配算法 - 11 -2.4.3 从差距图生成深度图 - 12 -2
7、.5 本章小结 .- 14 -第三章 立体标定与匹配 .- 14 -3.1 双目摄像机标定的实现 .- 15 -3.1.1 左右两摄像机单目标定 - 15 -3.1.2 双目立体视觉标定 - 18 -3.1.3 实验结果分析 - 20 -3.2 立体匹配仿真结果 .- 20 -3.2.1 基于全局误差能量最小化区域匹配算法 - 20 -3.2.2 基于线性生长区域匹配算法 - 23 -3.3 不同匹配算法差异分析 .- 26 -3.4 本章小结 .- 28 -第四章 总结与展望 .- 28 -目录- 2 -4.1 总结 .- 28 -4.2 展望 .- 29 -参考文献 .- 31 -致谢 .
8、- 33 -第一章 绪论第一章 绪论1.1 研究背景与意义随着图像处理，人工智能，计算机科学等相关学科的发展，计算机视觉的研究也得到了深入的发展 1。双目视觉系统技术作为计算机视觉最重要的一个分支，在军事、医学、工业等领域都有着极其重要的作用，例如 3D 电影，谷歌视觉眼镜、无人驾驶以及虚拟现实网上购物等技术为我们的生产生活提供了新的技术和工具，不断改变着我们的生活。因此双目视觉的研究发展对各个领域科技创新发展具有重要的价值。双目视觉系统的设计原理源自于人类的视觉感知系统，模拟人眼获取视觉范围内的物体信息。客观世界真实存在是 3D 的，但人眼或者摄像机获取的图像是显示场景中物体的 2D 信息，
9、人类视觉系统能够通过大脑神经网络分析出空间中的物体 3D 信息。因此双目视觉系统最终目标是利用计算机图像处理，模式识别，人工智能等技术，对摄像机得到的图像或者图像序列进行处理，进而恢复图像中的 3D 信息，形成具有立体感的图像。双目视觉系统 2中摄像机标定的目的是求解出摄像机内外参数；立体匹配过程利用求解出的参数采用特定的算法获取图像的深度信息，还原图像的立体感。因此，双目视觉系统中的利用 2D 图像获取 3D 信息过程中，摄像机标定与立体匹配具有极其重要的地位。标定的精确度与立体匹配算法的可靠度直接影响获取深度信息的准确性，后续三维重建优劣以及最终实验结果的整体效果。1.2 国内外研究现状1
10、、国内研究现状 浙江大学完全利用透视成像原理并结合双目视觉技术设计出了机械系统。该系统可动态精准检测多自由度装置的位姿，仅需提取左右两幅图像必要的特征点，具有信息量少，速度快，无运动影响，精度高的特点 3；东南大学电子工程系提出了一种新双目视觉立体匹配算法。该算法基于灰度相关多峰值极小化，可非接触精密测量三维不规则物体(偏转线圈)的空间坐标 4； 哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。该系统包括一个固定在机器人顶部的摄像机和一个安装在机器人中下部可以水平旋转的摄像机，可以实现全自主足球机器人导航 5；火星 863 计划课题“人体三维尺寸的非接触测量” ，采用“双视点投影光栅
11、三维测量”原理，通过第一章 绪论- 2 -对双摄像机获取的左右图像进行图像处理，获取人体图像上任意一点的三维坐标，从而计算出服装设计所需的人体特征尺寸 6。2、国外研究现状日本冈山大学研制了视觉反馈系统，该系统使用立体显微镜和双目摄像机控制微操作器对细胞进行操作，进行基因注射和微装配等微操作 7；麻省理工学院计算机系统提出了一种新的传感器融合方式，并将其运用于智能交通上，该方法采用雷达系统和双目立体视觉得到目标深度信息，再结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割 8；华盛顿大学与微软公司合作研制了宽基线立体视觉系统 9。1.3 论文的主要工作本文重点围绕双目立体视
12、觉系统技术进行探究，其中重点阐述摄像机标定与立体匹配两个重要模块。本文通过摄像机的线性模型与非线性模型探讨出了摄像机内外参数的理论求解公式，叙述了张正友平面标定法 10 基本原理，提出了基于全局误差能量最小立体匹配算法 11和基于线性生长立体匹配算法 12两种匹配算法。并且均基于 Matlab 进行实验，对实验结果进行了探究，对两种算法进行了利弊分析。1.4 论文的组织结构第一章：绪论。主要阐述双目视觉系统的研究背景与意义以及国内外研究发展现状。第二章：双目视觉系统。简单介绍双目视觉系统及其应用，重点探究了摄像机标定与立体匹配两个模块的理论知识。第三章：立体标定与匹配。基于 Matlab 叙述
13、立体标定和匹配的仿真过程，并对实验结果进行分析。第四章：总结与展望。对论文内容进行总结，对今后工作进行展望。第二章 双目视觉系统2.1 双目立体视觉系统简介立体视觉系统设计原理仿照人类双眼工作原理：两台平行的摄像机模拟双眼；计算机图像处理相当于人脑神经系统。双眼所形成的图像信息是具有差异性的，这种图像信息的差异性通过大脑神经系统进行分析匹配，得到图像的深第二章 双目视觉系统- 3 -度信息 13。随着人们生产生活与科技的发展，利用立体视觉的原理设计出了双目视觉系统，让计算机分析得出 2D 图像中的立体信息，即获取图像的深度信息。如图 2-1 是双目平行摄像机成像示意图，点 和点 分别是左右摄像
14、机的lOr成像焦点，即左右摄像机坐标系的原点；空间任意点 投影在左右(,)WpXYZ两图像上的点是 和 ，立体匹配算法找出 与点(,)llpxy(,)rrxy,和 之间的关系。(,)llpxyrr图 2-2 双 目 平 行 摄 像 机 成 像 示 意 图由投影原理的性质，有：(2-1) rlWlWlxbZfXyY则(2-2) ,llWWWrrlrxbybfXYZxx其中， 为左右摄像机的焦距， 表示为两平行双目摄像机的距离。在这f T里，点 以 为坐标中心，左摄像头成像坐标系为坐标系；由（2-(,)WpYZlO2）式表示的是左右两图像的投影点与空间中点之间的关系。第二章 双目视觉系统- 4 -
15、2.2 双目立体视觉系统应用一个完整的双目立体视觉系统通常可划分为以下五个模块 14：(1)获取图像 模拟双目的方式，两台平行的摄像机对同一场景进行拍摄，从而获取左右眼图像。(2)摄像机标定 通过选取图像特征点，建立摄像机的几何成像模型，得出摄像机内外参数。(3)立体匹配，通过左右两图像的视觉差获取图像深度图，为三维重建提供立体模型。(4)三维重建 通过图像的立体模型，恢复图像的立体感，获取场景立体信息。本文研究重点在立体标定与立体匹配。2.3 摄像机立体标定双目视觉系统最终目标是获取图像场景的立体信息。由摄像机投影原理我们可知，摄像机拍摄到的图像与图像场景的立体信息存在某种关系。这某种关系与
16、摄像机的内外参数有关，求解这些参数的过程即是摄像机标定。因此，摄像机标定在双目视觉系统中具有重要的地位：标定结果的精度直接影响到后续工作的可靠度。以下我们对摄像机标定相关理论知识进行探究。2.3.1 像平面坐标系、摄像机坐标系和世界坐标系 由图形学知识我们可知，摄像机采集的图像在计算机内表示为 数组：mn表示图像中像素的行数与列数；数组值表示各个像素点的亮度值。如图(2-2)，,mn定义直角坐标系 为图像坐标系， 表示某一像素点的图像坐标。,uov(,)uv由于 只是表示某一像素的图像坐标，而不是数学意义上的点坐标，因(,)此需要将以像素为单位的像平面坐标系转换成以毫米为单位的像平面坐标系。该
17、坐标系可表示为 如图 2.3 所示。,xOy第二章 双目视觉系统- 5 -图 2-2 图 像 坐 标 系 与 像 平 面 坐 标 系一般图像中心点表示为像平面坐标系中的原点 ，而一般图像左上角点表O示为图像坐标系中的原点 ，任意点 在两种坐标系中的关系如下：op(2-3)0xudyv其中， 分别表示点 在 图像坐标系与像平面坐标系中的坐标，(,)uvxy， p分别表示图像坐标系与像平面坐标系原点坐标； 分别00(,)oO， ,dxy表示每一个像素在 与 方向上的物理尺寸，上式表示为齐次坐标与矩阵形式：xy(2-4)011udxuxvvy如图 2-2 双目视觉系统成像示意图可知，在摄像机坐标系中
18、：摄像机光轴与图像平面的交点为原点， 与像平面坐标系 平行。三大坐标系如图 2-,cXY,xy第二章 双目视觉系统- 6 -3 所示， 为世界坐标系， 为世界坐标系原点； 为像平面坐,WXYZWO,xy标系， 为像平面坐标系原点。 表示摄像机坐标系， 为摄像机光心O,cXYZcO即摄像机坐标系原点； 为摄像机焦距 。cf图 2-3 三 大 坐 标 系 （ 像 平 面 坐 标 系 ， 摄 像 机 坐 标 系 ， 世 界 坐 标 系 ）其中，世界坐标系与摄像机坐标系的关系表示为： (2-5） 2011cWTcXXYRtYMZZ其中， 表示 正交单位旋转矩阵；t 表示三维平移向量；3； 为 矩阵 1
19、5。0T2M42.3.2 摄像机模型1、线性摄像机模型(针孔成像模型)由图 2.2 可知针孔成像模型中成像系统没有任何畸变，空间任何一点在图像中的投影位置表示为 ， 是摄像机光心点 与(,)WPXYZ(,)pxy(,)O点的连线 在图像平面的交点。由投影比例关系有如下关系式（以左摄像O机成像为例）：第二章 双目视觉系统- 7 -(2-6)ccfXxZYy:其 中 ， 为 空 间 点 左 摄 像 机 成 像 点 坐 标 ； 为 空 间 点(,)xyPp(,)WXYZ的摄 像 机 坐 标 表 示 形 式 。 上 述 透 视 投 影 关 系 为 ：P(2-7)0111ccccXxfYsyPZ其 中
20、， 表 示 比 例 因 子 ， 表 示 透 视 投 影 矩 阵 16。 将 公 式 (2-4)， (2-5)s代 入 上 式 得 出 空 间 中 与 其 投 影 点 的 关 系X,WP（ ） ,pxy（ ）(2-8)0 02121011WWxyTWuXXdxuf aRtYYsvv MZZyMX其中， ， 分别称为 轴上归一化焦距； 为 投影矩阵；=xfadyf,xy3参数 决定，称为摄像机内部参数； 称为摄像机外部参数。10xy、 、 、 2M摄像机标定过程即是确定某一摄像机的内外参数的过程。由上式可得出求出某空间点 的空间坐标方程， 但是事实上，由于P是 不可逆矩阵，即使已知摄像机的内外参数
21、和图像点的位置 时，M34 (,)xy消去 只可得到关于 的两个线性方程，由这两个线性方程只能确定zX,YZW点位于射线 上。因此，只由线性模型无法确定空间点的位置坐标。POP2、非线性模型非线性模型在线性模型的基础上考虑到实际中的畸变。假设在实际成像过程中产生了畸变，新的成像点坐标为 ，表示为 17：(,)xy第二章 双目视觉系统- 8 -(2-9)xy其中， ， 是非线性畸变值，与成像点在图像中的位置有关。理论上xy非线性畸变可分为径向畸变和切向畸变。但一般来讲切向畸变比较小，可忽略不计。因此，非线性畸变可用径向畸变的修正量表示，公式如下：(2-10) 2401().xkry其中， ；参数
22、 与非线性畸变参数 和22200=()()r 0xya、 、 、 1k统称为非线性摄像机模型的内部参数 18。由此，摄像机非线性模型通过内部2k参数可以得出空间任意一点的空间坐标。2.3.3 张正友平面标定算法数学原理图 2-4 张 正 友 平 面 标 定 示 意 图在这里假定模板平面中任意点坐标为 ，公式(2-8)可表示为：(,0)WXY(2-11)123120usvMrtrt 其中， 和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵123rt和平移向量； 第二章 双目视觉系统- 9 -(2-12)1 1231212rHhKrthr根据旋转矩阵的性质，即 和 ，每幅图像对内参数矩阵120Tr
23、12r的基本约束：(2-13)1212TThKhK由上式可得摄像机有 5 个未知内参数，所以当图像对足够多时，就可以解线性方程求出唯一解 。算法步骤如图图 2-5 算 法 流 程 图首先，用双目摄像机从不同角度拍摄若干张图像对；然后进行图像特征点提取，并求出摄像机的内外参数和畸变系数，最后对标定后的参数进行优化求精 19。至此，摄像机标定过程完成。2.4 立体匹配立体匹配作为双目视觉系统最重要也是最关键的一步，立体匹配的优劣直接影响到后面进行三维重建的好坏 20。在现实场景中，同一时间不同视点拍摄出的图片受到光照，噪声等干扰因素的影响，会产生很大的不同，从而导致增加了获取高精度的匹配效果困难性
24、。本文研究内容是基于区域立体匹配算法，通过两种不同的算法思路实现，分别为：基于全局误差能量最小化和基于线性区域生长 21。两种方式原理如下：2.4.1 基于全局误差能量最小化的区域匹配算法在此算法中，我们利用模板匹配技术来得到图像中每个像素点的误差能量值，图像中所有像素的误差能量值便构成一个误差能量矩阵。若双目摄像机获取的是彩色图像则为三维矩阵，若为灰度图像则为二维矩阵。本研究所采用图第二章 双目视觉系统- 10 -像为彩色图像，因此我们用分别用 ， 表示 Matlab 通过 imread(,)Lijc(,)Rij函数读取左右图像的 RGB 值，其中，c 取值为1，2，3 分别表示 R，G，B
25、 维度的值。当模板取值大小为 的窗口，误差能量值可下式求得：mn(2-14) 3 21(,)=(,)(,)3jixiyjkeijdLxdkRxy:其中， 是由图像每个像素的误差能量值组成的误差能量矩阵； 表(,)ij d示视差值。首先预定一个视差搜索范围 ，再将每个像素的误差能量值maxd通过多次均值滤波器进行处理得到平均误差能量矩阵；均值滤波器可以(,)eijd消除像素点之间 RGB 差值骤变导致的匹配误差。并且通过均值滤波器还可以得到误差能量整体变化趋势。因此，该算法也可以称为全局匹配算法。用 大mn小的窗口进行匹配时，平均误差能量矩阵可由下面公式表示：(2-15) 1(,)=(,)jmi
26、nxiyjeijded:对每个差值进行反复的均值滤波器后，我们可以选取 中最小的误差(,)eijd2 能量值作为像素点 误差值，因此 这表示左右图像结果立体匹配后(,)ij(,)dij的图像视差矩阵。算法步骤如下：步骤 1：在视差搜索范围内计算得出误差能量矩阵。(图 2-6)步骤 2：在视差搜索范围内对每一个视差矩阵进行多次平均滤波 (图 2-7)步骤 3：在 矩阵中为每一个 像素找到最小视差量，将最小视差(,)eijd(,)ij每个像素处的视差值 定义为视差图像。(图 2-7)图 2-6 计 算 能 量 矩 阵 原 理 图第二章 双目视觉系统- 11 -(a) (b)图 2-7 算 深 度
27、图 示 意 图 (a)通 过 均 值 滤 波 器 (b)最 小 值 搜 索2.4.2 基于线性生长区域立体匹配算法基于线性生长的立体匹配算法分为两个部分：寻找基点发展区域和按照预定的规则进行区域生长。我们的规则是利用公式(1)点与临近点的误差能量值，当误差能量值大于我们预先设计的阈值时，则重新找基点；当小于预先设计的阈值时，则进行区域生长。事实上，更准确的说该算法叫做视差值生长。在实际运算中为减少运算量，我们限定生长方向为线性水平方向。算法步骤如下：步骤 1(根点选择) ：在图像中选取一个不属于任何生长区域的点并利用能量函数( 式 1)求取该点视差，将该点作为基点并作为区域视差初值 ，进行步骤
28、0d2。若找不到任何一点比 小则重复该步骤。0d步骤 2（区域生长）：计算基点的紧邻点的视差值，如果等于或小于初值，则将该点定义为区域点。否则将其定义为闲置点0d步骤 3：重复步骤 2 对图像的所有点进行计算，直到图像中所有的点都被计算过，算法停止。所有的区域点组成的区域构成视差图 。(,)dij图 2-8 生 长 匹 配 算 法 示 意 图第二章 双目视觉系统- 12 -2.4.3 从差距图生成深度图左右两图像深度和视差关系可由立体投影示意图(2-9)表示，利用基本几何计算可以得出深度 和差异 之间的关系如下：()Z()d(2-16),(,)Tijfij:图像中像素点 投影在物体表面的真实位
29、置的空间立体坐标 ，(,)ij (,)XYZ按以下公式可用于计算后计算深度 。Z(2-17) ()fXiYjf:图 2-9 立 体 投 影 示 意为了获得更平滑的深度图，可在在计算深度 之前使用 窗口大小的()Z5中值滤波过滤不可靠的视差 。()d通过设置平均误差阈值来消除不可靠误差估计我们通过视差图 的平均误差值来定义获得的视差图 的可靠度 。 ()dEd()dR它可以表示为如下公式：第二章 双目视觉系统- 13 -(2-18)(,)1,1(,)dnmd dijEijeddRijMeanES:视差图 的误差值可以如下表示：()d(2-19)3 21, (,)(,)3jmindxiyjkijL
30、xdijkRxy :视差图包含一些不可靠的差异估计在对象边界周围大部分是由于图像中的物体遮蔽。 这些可以通过观察 中的高误差值来删除不可靠的差异。 为了增dE:加获得的视差图 的可靠性，如(2-20)描述的简单的阈值机制，可以在得到(,)dij过程中过滤一些不可靠的差异估计。(,)dij(2-20)(,)(,)(,), ()deddedijEijVijneEijijij :通过过滤一些不可靠的差异， 将比 的误差能量估计更加精准。 (,)ij:,ij在方程(2-20)中将差异设定为 是指“无估计”状态在 计算中排除具有 状nedRne态的 值。方程(2-18) 中 参数表示不是 的误差值的点数
31、。 是(,)dEij: dSnedE:的误差值。 是用于决定视差估计的误差值是不可靠的。 为了自动确定,eV，我们使用以下公式：eV(2-21)()edManE:在等式(2-18)中， 是容忍公差系数，用于调整滤波的可靠性。 减少 导致 更可靠。然而，减少 会由于消除了更多的差距点而削弱视差图。d:2.5 本章小结在本章中，首先，对双目立体视觉系统就行了简单介绍。其次，叙述了三大坐标系和两种摄像机模型，并推导出了双目视觉系统中的摄像机标定原理。最后，叙述基于全局误差能量最小化和基于线性生长两种区域匹配算法。总之，本章是对摄像机标定以及立体匹配过程进行了理论研究，下一章的实验打下基- 14 -
32、14 -础。第三章 立体标定与匹配在本章实验中的摄像机标定与立体匹配过程中均基于 Matlab 进行实验仿真。摄像机标定原理是基于张正友棋盘标定发利用 Matlab 标定工具箱完成的，实验14 张图片是采用双目摄像机从不同角度进行拍摄的，首先，摄像机内参数是固定不变的，因此在对内参数标定后，利用已知的内参数实现对摄像机外参数的标定，至此，摄像机标定过程完成。立体匹配利用 Matlab 对基于全局误差能量最小化立体匹配算法和基于线性生长立体匹配算法进行编程，对双目摄像机拍摄的左右图像进行立体匹配，进而求出空间中物体深度信息。3.1 双目摄像机标定的实现3.1.1 左右两摄像机单目标定以下以实现左
33、图像标定为例，步骤如下：1、下载 Matlab 标定工具箱 22加载到 Matlab 工作目录中， 从 middlebury23网站下载标定图片， 左 右 摄 像 机 拍 摄 的 图 片 分 别 为 14 张 ， 大 小 均 为 ，1100mm 为 边 长 的 黑 白 棋 盘 格 标图， 如 图 3-1 所 示 ：图 3-1 ， 20mm 为 边 长 的 棋 盘 格 标 定 图 像2、运行 calib_gui 指令，按照工具箱的指令手动对每一幅靶标图像选定靶标区域，然后提取角点。鼠标点击设定棋盘格靶标的选定区域时，选取区域四边与棋盘格靶标的网格线重合，重合度决定角点提取结果的准确度，正确选取结
34、果如图 3-2 所示，误选如图 3-3 所示：- 15 - 15 -图 3-2 合 适 的 靶 标 选 定 区 域 与 角 点 提 取 结 果 ， (a) 靶 标 选 定 区 域 ， (b) 角 点 提 取 结果如(a)图所示标出了待提取角点的区域，图(b)标出了角点提取区域中提取出的角点。如图 3-2 中所示，图(a)中的角点与十字标记位置有所偏差，但在十字标记位置附近；图(b)中每个角点均在角点提取窗口区域。表示正确选取了靶标区域。图 3-4 错 误 的 靶 标 选 定 区 域 与 角 点 提 取 结 果 ， (a) 靶 标 选 定 区 域 ， (b) 角 点 提 取 结 果如图 3-4(
35、a)所示角点与十字标记位置存在明显偏差，甚至个别角点远离十字标记；图(b) 中很多角点在角点提取区域窗口之外。说明错误选取了靶标区域，不符合实验要求。3、 内参数标定对每一幅靶标图像正确提取角点后，在标定工具箱操作面板点击“Calibration”键，完成摄像机的内参数标定以及标定优化： - 16 - 16 -其中， fc 表示焦距； cc 表示为光轴主点坐标，单位为像素 23；alpha_c 是图像坐标系的 y 轴与摄像机坐标系 Yc 轴实际夹角，单位为弧度；angle of pixel axes 为对应于图像坐标 u、v 的摄像机的 x、y 轴之间的夹角，默认值为 90； kc 为畸变系数
36、； err 为误差的标准方差，单位为像素。1）显示摄像机与标定靶标之间的关系，如图 3-5 所示：图 3-5 摄 像 机 坐 标 系 与 靶 标 之 间 的 关 系 (a) 摄 像 机 固 定 ， (b) 靶 标 固 定图(a)为假设摄像机固定时摄像机与靶标之间的关系，图(b)为假设靶标固定时摄像机与靶标之间的关系。2）所有角点反投影到图像空间的图像坐标误差，如图 3-6 所示：- 17 - 17 -0.6 -0.4 -0.2 0 0.2 0.4-0.5-0.4-0.3-0.2-0.100.10.20.30.4 Reprojection error (in pixel) - To exit:
37、right buttonxy图 3-6 反 投 影 到 图 像 空 间 的 角 点 图 像 坐 标 误 差图像坐标误差的标准方差为：4、图像畸变校正完成内参数标定后，在标定工具箱操作面板点击“Undistort image”键：对读入的所有靶标图像进行消畸处理，生成的消除畸变后的图像。原始图像和消除畸变后的图像：图 3-8 原 始 图 像 和 校 正 后 图 像 ， (a) 原 始 图 像 (b) 消 除 畸 变 后 的 图 像5、外参数标定完成摄像机的内参数标定后，点击“Comp. Extrinsic”键，进行靶标相对于摄像机的外参数标定，结果如下：- 18 - 18 -其中，Tc_ext
38、表示位移向量，单位为 mm；omc_ext 表示旋转向量；Rc_ext表示旋转矩阵； 3.1.2 双目立体视觉标定左摄像机内参数的标定结果保存为 Calib_Results_left.mat，右摄像机的标定结果保存为 Calib_Results_right.mat。运行 stereo_gui 指令，进行双目立体标定程序，依次导入左、右摄像机的标定结果文件，实验结果如下 26：其中， om，T 分别表示为左摄像机相对于右摄像机的姿态矩阵与位移向量 24。点击“Run stereo calibration”键，计算并输出左、右摄像机的内参数和优化后的内参数。输出结果：- 19 - 19 -点击“S
39、how Extrinsics of stereo rig”键，实验结果如 图 3-9 所示：-100 0100 200 0 100 200 300400 500-150-100-5005010067183125413Extrinsic parameters9114210ZXRight CameraYZXYLeft Camera图 3-9 靶 标 相 对 于 摄 像 机 的 位 姿该图显示是 14 张棋盘图相对于双目摄像机的位姿三维图。3.1.3 实验结果分析Matlab 摄像机标定工具是基于张正友平面标定法原理设计的，张正友平面标定法的原理与流程在本文中的第二章有所叙述。此处，我们针对该算法以
40、及实验结果进行分析：张正友的平面标定方法比传统标定方法设备要求低，操作简单，又较自标定方法精度高，符合家用，办公用的桌面视觉系统(DVS)的标定要求。但是基于 Matlab 实现张正友标定法需要手动进行特征点标靶区域选取，手动选取的不确定性会给实验结果带来误差。3.2 立体匹配仿真结果采用高清双目摄像机拍摄一组左右图像，并分别用两种算法进行匹配，实验图片以及其对应的实物轮廓图片如图 3-10 所示- 20 - 20 -图 3-10 彩 色 立 体 左 右 图 像 对 以 及 实 物 轮 廓 图 图中上面一组图片显示是左右摄像机拍摄的左右彩色实物图像，下面一组图片显示的是左右实物图像中物体轮廓图
41、3.2.1 基于全局误差能量最小化区域匹配算法我们分别取窗口大小为 的模板进行立体匹配，实验结果如下：1,231、参数取值为 ，其中 表示窗max,;40,20,1ndfTnm口大小， 表示能量误差阈值， 表示摄像机焦距， 表示两摄像机距离， maxd表示容忍误差系数；窗口大小为 时模块匹配又称为点匹配，实验结果如1下：- 21 - 21 -图 3-11 模 块 为 视 差 图图 3-12 模 块 为 深 度 图1其中可靠视差图是全局视差图去除了“无估计” 点(即误差值大于阈值的点)的视差图，比较两图可以发现，可靠视差图较比全局误差视图陡变区域更缓和；经过中值滤波后的视差图较平滑；误差能量可以
42、大致显示出物体边缘轮廓；深度图显示的是左右两图像中空间物体的视觉差。2、参数取值为 ，窗口大小为max1,2;40,3,20,1ndfT时模块匹配又称为行匹配，实验结果如下：1- 22 - 22 -图 3-12 模 块 为 视 差 图图 3-13 模 块 为 深 度 图23）参数取值为 ，实验结果如下：max,;40,0,1ndfT- 23 - 23 -图 3-14 模 块 为 视 差 图3图 3-15 模 块 为 深 度 图33.2.2 基于线性生长区域匹配算法1）参数分别为 时，其中， 表示误max20,4,0,2,1LGVdfTLGV差阈值。实验结果如下- 24 - 24 -图 3-15 模 块 为 视 差 图10LGV图 3-16 模 块 为 深 度 图10LGV点匹配状态图中，棕色代表闲置点，黄色代表基点，蓝色代表区域点。2）仅改变阈值 ，其他参数不变，实验结果如下：40LGV- 25 - 25 -图 3-17 模 块 为 视 差 图20LGV图 3-18 模 块 为 深 度 图20LGV3）仅改变 ，其他参数不变，实验结果如下：60LGV
