1、 (7) 边界S 的边界(boundary)是 S 中与S 中有 4连通关系的像素集合边界通常记为 S(8) 内部内部(interior) 是 中不属于它的边界的像素集合 的内部等于 S(9) 包围如果从 S 中任意一点到图像边界的 4路径必须与区域 T 相交，则区域 T 包围(surrounds)区域 S（或 S 在 T 内） 图 39 即为一幅简单二值图像和它的边界、内部、包围示意图图 39 一幅二值图像与它的边界 ， 内部 和包围352 连通成份标记在一幅图像中找出连通成份是机器视觉中最常见的运算之一连通区域内的点构成表示物体的候选区域机器视觉中的大多数物体都有表面，显然，物体表面点投影
2、到图像平面上会形成空间上密集的点集这里应该指出，连通成份算法常常会在二值视觉系统中形成瓶颈效应，原因是连通成份运算是一个全局性的运算，这种算法在本质上是序贯的如果图像中仅有一个物体，那么找连通成份就没有必要；如果图像中有许多物体，且需要求出物体的特性与位置，则必须确定连通成份连通标记算法可以找到图像中的所有连通成份，并对同一连通成份中的所有点分配同一标记图 310 表示的是一幅图像和已标记的连通成份在很多应用中，要求在标记连通成份的同时算出连通成份的特征，如尺寸、位置、方向和外接矩形下面介绍两种连通成份标记算法：递归算法和序贯算法Jain 1995图 3.10 一副图像及其连通成分图像2（）递
3、归算法递归算法在串行处理器上的计算效率是很低的，因此，这一算法主要用于并行机上算法 31 连通成份递归算法1 扫描图像，找到没有标记的 1 点，给它分配一个新的标记 L3 递归分配标记 L 给 1 点的邻点3 如果不存在没标记的点，则停止4 返回第一步（）序贯算法序贯算法通常要求对图像进行二次处理由于这一算法一次仅运算图像的两行，因此当图像以文件形式存贮且空间不允许把整幅图像载入内存时也能使用这一算法这一算法(见算法 32) 可以查看某一点的邻点，并且可以给像素值为 1 的邻点分配一个已经使用过的标记如果图像的邻点有两种不同的标记，则用一个等价表(equivalent table)来记录所有的
4、等价标记在第二次处理过程中，使用这一等价表来给某一连通成份中所有像素点分配唯一的标记本算法在从左到右、从上到下扫描图像时，算法仅能查询到某一像素点的 4近邻中的两个近邻点，即上点与左点设算法已经查到了该像素的这两个近邻点，此时出现三种情况：(1) 如果这两个近邻点中没有一点为 1，则该像素点需要一个新的标记(2) 如果这两个近邻点中只有一点为 1，且分配了标记 L，那么该像素点的标记也为 L(3) 如果这两个邻点都为 1，且已分配了标记 L，则该像素点的标记还是 L；但是当近邻点被分配了不同标记 M 与 N，则这两个标记被用于了同一组元，应该把它们合并在这种情况下，应把其中的一个标记（一般选用
5、最小的那个标记）分配给该像素点，并在等价表中登记为等价标记等价表包含了给每一连通成份分配唯一标记的信息在第一次扫描中，所有属于同一连通成份的标记被视为是等价的在第二次扫描中，从一个等价集(equivalent set)中选择一个标记并分配给连通成份中所有像素点通常将最小的标记分配给一个连通成份第二次扫描将给每一连通成份分配唯一的标记在找到所有的连通成份后，应该统计等价表，以便删除其中的空格；然后将等价表作为查找表对图像重新进行扫描，以便重新统计图像中的标记计算每一连通成份的面积、一阶矩、二阶矩是序贯连通成份算法的一个部分当然，必须使用分离变量来累加每一区域的矩信息当区域合并后，每一区域的矩累计
6、值也应加到一起算法 32 4连通序贯连通成份算法1 从左至右、从上到下扫描图像2 如果像素点为 1，则：(a) 如果上面点和左面点有一个标记，则复制这一标记(b) 如果两点有相同的标记，复制这一标记(c) 如果两点有不同的标记，则复制上点的标记且将两个标记输入等价表中作为等价标记(d) 否则给这一个像素点分配一新的标记并将这一标记输入等价表3 如果需考虑更多的点，则回到第二步4 在等价表的每一等价集中找到最低的标记5 扫描图像，用等价表中的最低标记取代每一标记3353 欧拉数在许多应用中，亏格数(genus)或欧拉数可作为识别物体的特征亏格数定义为连通成份数减去空洞数，(321)HCE其中，
7、， 和 分别是欧拉数、连通成份数与空洞数这个式子给出了一个简单的拓朴ECH特征，这种拓扑特征具有平稳、旋转和比例不变特性图 311 给出了一些例子及其对应的欧拉数0E1E2E图 311 字母“A” 、 “B”、 “ ”及它们的欧拉数注意 前景i用了 8连通，而背景用了 4连通354 区域边界连通成份 S 的边界是那些属于 S 且与S 邻接的点集使用简单的局部运算就可找到边界点在大多数应用中，我们都想用一特定的顺序跟踪边界点一般的算法是按顺时针方向跟踪区域的所有点此处讨论一个简单的边界跟踪算法假定物体边界不在图像的边界上（即物体完全在图像内部） ，边界跟踪算法先选择一起始点 ，然后跟踪边界直到回
8、到起始点这种算法概括在算法 33 中这种算法Ss对尺寸大于 1 个象素的所有区域都是有效的用这种算法求区域 8邻点的边界如图312(a)所示为了得到平滑的图像边界，可以在检测和跟踪图像边界后，利用边界点的方向信息来平滑边界。显然，图像边界噪声越大，图像边界点变化越剧烈，图像边界相邻点的方向变化数（与差分链码有一点区别，链码见第七章）也越大根据这一特点，设置一个边界点方向变化数阈值，把方向变化数大于这一阈值的图像边界点滤除，由此可得到平滑的图像边界。图 3.12（b）所示的是一个经过平滑过的区域边界示意图，其中的方向变化数阈值为 1。注意，由于采用 8邻点边界跟踪，因此方向变化数的最大值为 4。
9、如果阈值设成 4，则对原始边界没有平滑。边界跟踪和平滑常常结合在一起使用，见计算机作业3.5。4图 312 边界跟踪算法结果，(a) 图像边界跟踪结果；（b）边界跟踪与平滑结果算法 33 边界跟踪算法 从左到右、从上到下扫描图像，求区域 S 的起始点 . 0),()(kyxks 用 c 表示当前边界上被跟踪的像素点置 ，记 c 左 4邻点为cb， S 按逆时针方向从 b 开始将 c 的 8 个 8邻点分别记为 ， ,8,21n1k 从 b 开始，沿逆时针方向找到第一个 ，Sni 置 ， ，inksc)(1ib 重复步骤、，直到 。)0(sk355 距离测量在许多应用中，找到一幅图像中两个像素点
10、或两个连通成份之间的距离是很有必要的目前还没有定义数字图像距离的唯一方法，但对所有的像素点 p、 q 和 r，任何距离度量都必须满足下列性质：1 ，当且仅当 时，0),(qpdqp0),(pd2 ),(3 ,(,),(rqdprd下面是一些常用的距离函数欧几里德距离：5( 322)212121Euclidean )()(),( jiji 街区距离：(323).| 2121Blockji棋盘距离：(324)|).|,max(|2121Ches jid356 中轴如果对 中像素 的所有邻点 有下式成立：S,ji,vu(325),(),(SdSji则 中像素 到 的距离 是局部最大值 中所有到 的距
11、离是局部最大值S,jiS,jid S的像素点集合称为对称轴或中轴，通常记为 使用 4近邻的中轴变换的一些例子*S,vu见图 313图 313b 表明少量噪声会使中轴变换结果产生显著的差异由 和 中每一点到 的距离能重构原始像素集 是 的简洁表示 可用来*SS*S*S表示一个区域的形状通过去除 中与 距离较小的像素点，可以生成一个简化的*S集*S中轴可作为物体的一种简洁表示但是，二值图像中的区域也可用其边界来表示边界跟踪算法可用来获得表示边界的序列点在第七章还将讨论用链码来简洁地表示边界的方法对任意物体，边界将是区域的简洁表示但要明确给定像素点是否在某一区域内，中轴则是更好的表示，因为使用中轴上
12、的像素点和每一个给定像素点的最大距离圆盘（中轴距离变换） ，可以很容易地检测出给定像素是否在中轴定义的区域中6图 313 中轴变换举例357 细化细化(thinning) 是一种图像处理运算，可以把二值图像区域缩成线条，以逼近区域的中心线，也称之为骨架或核线细化的目的是减少图像成份，直到只留下区域的最基本信息，以便进一步分析和识别虽然细化可以用在包含任何区域形状的二值图像，但它主要对细长形(而不是凸圆形或水滴状) 区域有效细化一般用于文本分析预处理阶段，以便将文本图像中线条图画或字符笔画表示成单像素线条细化要求如下：(1) 连通图像区域必须细化成连通线结构(2) 细化结果最少应该是 8连通（下
13、面将要解释） (3) 保留近似终止线的位置(4) 细化结果应该近似于中轴线(5) 由细化引起的附加突刺(短分支)应该是最小的细化结果应该保证第一条要求中所定义的连通性，这一点是最基本的要求，它保证了连通线结构的数量等于原始图像中连通区域的数量第二条要求保证所得到的线条总是含有 8连通图像的最小数量第三条要求说明终止线位置应该保持不变细化可以通过迭代方式不断去除边界点来实现，重要的是在迭代过程中不要去除端点像素，因为这样不仅会缩短细化线，丢掉结构信息，而且不能保持其位置不变第四条要求说明所得线段应能最好地逼近原始区域的中线，如两个像素点宽的竖线或水平线的真正中线应该位于这两个像素之间半个像素间距
14、的位置在数字图像中表示半个像素间距是不可能的，因此得到的结果是一条位于原直线一侧的直线第五条要求没有明确指出噪声的影响控制到最低程度，因为判断噪声本身是一件很难的事一般不希望原始区域含有会引起突刺的隆起，但当某些较大隆起是区域特征时，却必须识别它们应该指出，某些细化算法有去除突刺的参数，不过最好将细化和去除噪声分开进行，这是由于某些情况下不需要的突刺，可能是另一些情况下所需要的短线因此，最好的办法是先进行细化，然后单独去除长度低于某一特定最小值的任何突刺一种常用的细化手段是在至少 邻域内检查图像的每一点，剥去区域边界一次剥3去一层图像，直至区域被细化成一条线这一过程是用迭代法实现的，如算法4在
15、每次迭代时，每一个像素点用 窗函数检查，为了保持连通性或线末端位置，将单像素n厚的边界擦除在图 314 中将会看到，在每次迭代中，值为 1 的外层区域就是用这种方7式削掉的当迭代结果没有变化时，迭代过程结束，图像得到细化算法 近邻细化迭代算法 对于每一个像素，如果（）没有上近邻（下近邻左近邻右近邻）（）不是孤立点或终止线（）去除该像素点不会断开区域则去除该像素点 重复这一步骤直到没有像素点可以去除图 314 细化手写体“华”的迭代过程(a) 原图像，(b) (f)为8五次迭代过程，每次迭代削去一层边界358 扩展与收缩图像中的一个连通成份可以进行全方位的扩展(expanding)或收缩(shr
16、inking)如果某一连通成份可以变化，使得一些背景像素点变成 1，这一运算就称为扩展如果物体像素点全方位地消减或变为 0 时，则称为收缩一种简单的扩展与收缩实现方法如下：扩展：如果近邻点是 1，则将该点从 0 变为 1收缩：如果近邻点是 0，则将该点从 1 变为 0这样，收缩可以看作是扩展背景这类运算的例子见图 315需要指出，扩展与收缩这样简单的运算可以完成非常有用而又貌似很复杂的运算下面引进符号： S 扩展 倍)(k：S 收缩 倍)(其中下列性质必须满足：)()()(nmnmSkS)(先扩展后收缩算法能补上不希望存在的洞，如图 3.15（b） （d）所示；先收缩后扩展算法则能去除孤立的噪
17、声点，见图 315（c） （e） 请注意，扩展与收缩可用来确定孤立组元或簇注意，扩展后收缩有效地填满了空洞却没有去除噪声；相反，收缩后扩展能去除噪声却没有填满空洞在地形图像处理和膨胀与腐蚀运算中，扩展与收缩算法的一般形式被广泛地用于许多任务中9图 315 对字母“h”收缩与扩展算法实验结果 （a）原始噪声图像； (b) 扩展运算；（ c）收缩运算；（d）扩展后收缩运算；（e）收缩后扩展运算第 4 章 光学图样的测量3.1 全息技术使用相干光记录和再现的，通过二布操作完成的成像技术 记录激光 曝光干板二光源有光程差 x 角相位差延迟 在平板上产生了沿 y 方向延伸的等间距的平行干涉条纹条纹 x
18、方向周期 2 /2 ，对比度 0（x，y） ，条纹横向位移 （x，y）来自物体的光以干涉条纹的形式被记录下来振幅为条纹的对比度；相位为条纹的横向间距； 再现再现全息图时，参考光要和记录时的条线相同，这时平板相当于具有正弦透过率的衍射光栅。再现光通过光栅后沿三个方向出射，形成 0 级，1 级，1 级衍射光，由于干涉条纹受到原来物光复振幅的调制。这时由衍射光形成再现象。 全息光的特征全息技术三个必备条件1. 物光与参考光必须是相干光2. 全息图为极细微的光强分布，需高分辨率记录介质3. 曝光时间内，物体阿和光学系统必须是静止的特点 1不借助透镜，可进行像的记录和再现。2像中保存着光波的相位信息。3
19、可得到三维图像。4物光为漫反射，局部全息缺陷，不影响图像质量5全息图可高密度的存储信息。6可对再现图像进行各种处理10缺点7成像面局限于被激光照明的范围。8物体阴影会对成像产生影响。 9不适用于运动的物体10受相干照明散斑噪声的影响（表面粗糙） 全息干涉法：全息只在玻璃和金属研磨面上，而全息干涉可以进行一般物体的测量。二次曝光法： 使物光和参考光相干，在全息板上做记录，稍微移动一下物体，再进行第二次曝光，则二次的虚像可同时再现。前后二次的光波形成干涉条纹在物体的像上，对应于 1/2 波可形成一条干涉条纹 得到对应于位移分布的等高线。频阀二次曝光法 测量震动的物体双重脉冲二次曝光法 测量运动的物
20、体（大功率激光器二次照明）利用计算机全息图的干涉：在物体形状已知的情况下，用计算机计算其衍射光的复振幅，绘到成全息图。用计算机制作的标准光波面与被检物体产生的光波面相干涉，就能精确的测量被检物体的形状。 激 光 器 干 涉 像 面空 间 滤 波 器成 像 透 镜计 算 全 息 片 被 测 物 面3.2 散斑测量技术激光投射到使光散射的粗糙面的物体上，就呈现普通光见不到的斑点状的图样，每个斑点称为散斑（Speckle）产生原因：各点上的散射光具有表面微观凹凸相对应于的不规则相位关系，它的相互干11涉叠加而形成的散斑的微细程度取决于照射表面光点的形状和大小。性质：1.在散射面的被照明范围内，其微观
21、结构的统计性质相同。2.散斑的明暗依赖于散射面上宏观的强度分布，大小与散射面和观察面间的距离成正比。电子散斑干涉测量（ESPI）物光 exp（i ）1Aa1参考光 exp（i ）22合成像 + +2 cos( - )1I11a21物体移位后参考光无变化，物光相位 ，则 exp（i ）A1a1这时成像 = + +2 cos( - + )2I1a21212当 2n 时，散斑干涉图不发生变化。当 （2n1） ，变形前后合成光强度变化最大。这样物表面分布着与 有关的条纹，这种条纹反映出两次散斑干涉光强之间的相干性，称为相关条纹。应用： 测量变形，位移，震动，运动（转速，速度，运动轨迹） ，表面粗糙度，
22、透镜检查，视力检查。3.3 莫尔条纹测量技术莫尔是指将直线组成曲线组相重叠产生另外一种条纹图样的现象。 设 p q 为参变量，则光栅间距为 a 和 b 的两个直线组，取直角坐标 x,y 时一组直线光栅 xbp 与之成 角的另一组光栅为 yxctg （agsin ）联立上列二式求交，则有Yxctg （ Nd/Sin ）这里 dab/ 2abCosSin =bSin /2a这样间隔为 d 的莫尔条纹会出现在图中的 角方向上“和”型、 “积”型莫尔条纹两个正弦形光栅 （1Cos2 x） （1+2Cos2 x）212212“和”型为 （1Cos2 x） （1+2Cos2 x）21221Cos ( +
23、)xCos ( + )x1“积”型为 （1Cos2 x） （1+2Cos2 x）1 2 x x2Cos2s 42121 ( )+Cos ()总之，在产生的莫尔条纹中，总要出现两个给定的频率成分 具有较高的频12率成分，形成精细的结构。 具有较低频率成分，形成缓慢变化的强度分布。12莫尔条纹的形成 光栅与光栅直接重叠（夹缝内取出一条莫尔条纹） 光栅与光栅像重叠（测量试中表面畸变） 光栅像与光栅像相重叠。光栅拓扑结特点1 不需要激光，利用非相干光的测量，容易使用。2 可对粗糙表面进行测量。3 可使三位物体的形状图形化。4 较全息和散斑是灵敏度，能实现位移和震动测量的图样化。5 可进行运动物体三维形
24、状的图形测量。3.4 微图像测量技术1显微镜2微小缺陷测量。（A）利用微小凹凸产生的散射光4.1 区域和边缘区域: 相互连结的具有相似特性的一组像素边缘：区域边界上的像素13把所有对应于一个物体的像素组合到一起,并进行标记.基于区域的分割基于边缘检测的分割图像分割最简形式: 把灰度图转换成二值图 图像中的物体、背景各具有一灰度值,灰度分布曲线是由正态分布函数叠加而成图像直方图将会出现分离的峰值,阈值选波谷最佳. 14(2) 迭代式阈值选择迭代式阈值选择算法1. 选一初始阈值，如:灰度均值2. 利用阈值把图像分割成两组，R1 和 R23. 计算区域 R1 和 R2 的均值 v1、v24. 选择新
25、的阈值 T=(v1+v2 ) / 25. 重复 24 步，直到 v1 和 v2 的均值不变为止阈值的改进策略是这一方法的关键(3) 自适应阈值化方法 场景照明不均匀时， 一个阈值？ 把图像分成 NN 个子图像，求出子图像的阈值。 所有子图像分割的逻辑归并。15（5） 双阈值方法数与物体的某些灰度值已知. 还有些灰度值可能属于物体,可能属于背景. 1)选择两个阈值 T1 和 T22)把图像分割成三个区域,R1 包含所有灰度值低于 T1 的像素；R2 包含所有灰度值位于 T1和 T2 之间的像素；R3 包含所有灰度值高于 T2 的像素3)查看分配给区域 R2 中的每一个像素如果某一像素邻接区域 R
26、1，把这一像素重新分配给 R14)重复步骤 3)直到没有像素被重新分配5)把区域 R2 剩下的所有像素重新分配给 R3R1 是区域核,R2 是边缘区,R3 是背景（5） 直方图方法的局限性恒定灰度值 没有利用图像强度的空间信息 例如，用直方图无法区分黑白棋格图像具有不同灰度空间分布的图像可能具有类似的直方图用直方图无法区分随机分布的黑白点图像、黑白棋格图像和黑白各半的图像直方图的全局特性限制了其在复杂图像中的应用16直方图完全没有考虑由于物体表面的连续性,而使得物体图像点常常在空间上非常密集这一特点线性变换：图像像素灰度值分布在a,b区间17第 5 章 干涉条纹图像处理光测条纹图像处理的目的是
27、精确地、自动地提取条纹图的相位场分布，从而得出待测的物理量分布。随机噪声：由电子、热、光敏不均，光栅或物体不清造成条纹图噪声。系统噪声：背景光强的变化和条纹幅值的变化使图像质量退化（对比度弱，背景太强、太弱，变化太大） 。4.1 干涉条纹图数学形成与特征各种干涉条纹图的光强分布可用数学形式表达为：I（x,y）=I O(x,y)+I1(x,y)cos (x,y)+In(x,y) 其中，I O(x,y)为背景光强，I 1(x,y)为条纹幅值 18(x,y)为相位场In(x,y)为可加性随机噪声条纹图分布特征： I（x,y）是唯一可测的量，即已知量， (x,y)为有待测量求解的物理量条纹图是对相位场
28、 (x,y)的余弦调制结果，表现为条纹分布。I O(x,y)为变化的背景光强场，它主要取决于环境光场及被测物体的表面光学特征I 1(x,y)是变化的条纹幅值，也称条纹对比度。主要取决于光源、环境等条件。条纹间距、条纹密度或条纹的空间频率表示相位场的变化梯度，变化梯度越大，条纹越密。同时决定灰度分布的变化梯度。条纹方位分布表示了相位变化的梯度方向在条纹的切线方向 ,0dt)y,x(0dty)I(x即在切线上，相位场与灰度变化大约为零所以 条纹等值线对应于相位等值线在条纹的法线方向 n 上： dpy)(x,mad)y,x(),(In),(Ip 为某行求导方向所以在法线上，相位场与灰度梯度变化最大由
29、于 cos 的周期性，只能测量出相位场的二阶主值若只考虑 cos 的周期性的影响，条纹的中心线点的相位为 n 阶由于余弦的偶函数性 cos =cos(- ),若没有其它光验信息，则无法从图像灰度信息中确定相位的符号 相位场的物理意义取决于所用的实验技术。即是那种实验干涉条纹图（距离、位移、振幅、变形等）4.2 图像预处理方法均值滤波19滤波： 带有阀值的均值滤波高斯滤波中值滤波增强 线形增强去极值的线形增强直方图均衡化增强4.3 条纹倍增法（数字条纹倍增法）双幅图条纹倍增法在条纹等差线中，有明场和暗场等差线之分，互为相反暗场 I0=Id)y,x(cos1明场 Il=Il 这里 Id Il 作如
30、下运算可得： IR(x,y)= )y,x(2cosII)y,x(cos2I)(2lllld 相位实现了倍增，即条纹数增加了一倍任意相移双图条纹倍增法一幅条纹图 I(x,y)= )y,x(cos),(I)y,x(I10使其相位场平移 :),(sI10 两幅图作如下运算：C2RI/)y,x(I),(IC221 I/),(cos,cs2yxin)(iI4),(cs,y,x22 其中 ， ， 为常量， 用C21I/iI)(ICICI来保持条纹倍增后的图象范围在0，255 中单幅图条纹两倍倍增法若将一幅条纹图背景和条纹振幅在全场常数化，这时体噢阿文图表示为：I(x,y)20=I0+I1cos (x,y)
31、做简单运算 )y,x(2cosII/)y,x(I),( 10120就实现了条纹的二倍倍增单幅图条纹三倍倍增法对上述正则化条纹图（背景和条纹幅值，全场常数化） 利用下面的三角公式： 3cos4)3(cos作变换： I)y,x(3I/)y,x(Iy,x 000 cs1就实现了三倍倍增 （附图）4.4 条纹图的旋滤波算法普通滤波不能将条纹与噪声信号清楚地分开，在滤掉噪声的同时 使条纹模，使条纹特征畸变。旋滤波思想：找出条纹的切线方向，只在切线方向上对条纹图进行低通滤波。 （找出条纹灰度的等值线，在灰度等值线上作低通滤波） 这样既滤掉噪声，又不对条纹产生模糊、畸变效应。构造一个一维滤波窗口绕当前像素点
32、旋转一周确定条纹切线方向在切线方向进行低通滤波。步骤：以当前点为中心的 nn 像素点窗口内等角度间隔的方向滤波 （附图）在每条方向滤波线上，计算其灰度平均值 A：n1lklkijGAij 表示当前点的位置，k 表示第 k 个方向，计算每个方向线上各点灰度值与改线均值之差的绝对值之和，或均方差21即 kijn1llkijAGD或 表示了 K 方向上的灰度分布的变化2kijn1llkij )(kijD在条纹的切线方向 取极小值，并用 kk 表示kij，这样确定了切线的方向)Dmn(dirkij沿条纹切线方向 kk 进行一维中值滤波或均值滤波 中值滤波：将该方向排序为中值得灰度取代当前点的灰度。 （
33、可滤去鼓励的大噪声）均值滤波：将该方向灰度平均值取代当前点的灰度。 （可滤去高斯分布的随机噪声）对条纹图全场每个点重复上述步骤。 （旋滤波可对一幅条纹图应用多次）第 6 章 立体视觉被动测距传感:视觉系统接收来自场景发射或反射的光能量,形成有关场景光能量分布函数(灰度图象) 。主动测距传感:视觉系统首先向场景发射能量 ,然后接收场景对所发射的能量的反射能量形成图象。5.1 立体成像共轭点：同一幅景点在两个不同图象中的投影点。视差：两幅图象重叠时，共轭点对之间的位置之差。外极平面：通过场景点和两个投影中心的平面外极线：外极平面与图像平面的郊县外极点：同一图像平面的所有外极线交于一点，即外极点（附
34、图）垂直视差，外极线假定与图像行重合，即假定垂直视差为零。两摄像机光轴不平行，在空间相交于一点。视差与光轴夹角有关，存在视差为零表面22（附图）5.2 基本约束外极线约束步骤：一幅图中选一特征点另一幅中搜索对应特征点 二维搜索一幅图中选一特征点求外极线另一幅图外极线上求特征点 以为搜索一致性约束左右摄像机的光强可能差别较大，难以进行相似性质而已，需对图像进行规范化处理左图 （i，j） 右图 （i，j ）LfRf这样在 m n 图像窗内规范化图像函数为：/(,)(,)LLLfijfiju/RRR其中 u 是图像窗内光强的平均值， 是光强分布函数21(,)nmjifju据此评价函数为差值绝对值之和
35、1(,)(,)nmRLRjifjfij唯一性约束一幅图像上每一特征点只能与另一幅图上唯一的一个特征对应连续性约束光滑物体 投影连续 视差连续近界处 连续约束不成立5.3 边缘匹配边缘特征使用高斯函数的一阶导数获得，使用边缘匹配的步骤如下：使用高斯滤波器对立体图像进行四次滤波，前一次滤波的宽度是下一次滤波器宽度的两倍。 （高斯滤波：去处高频噪声，不破坏边缘特性）23在某一列上计算各个边缘的位置。计算比较边缘的方向和强度粗略地进行边缘匹配（水平边缘是无法进行匹配的）通过精细计算得到更准确的匹配，得到精细的视差估计。5.4 匹域相关性边缘匹配计算比较成熟，但边缘一般对应物体的边界，而边界的深度值大部
36、分情况下是不确定的。 在图像对中识别无趣点，匹配两图像对中的相对应的无趣点。无趣点：尽可能容易地被识别和匹配。 （均匀区域不合适）具有有限大变化的区域：有足够多相互分离的区域。在以某一点为中心的窗函数中，计算在不同方向上象素的变化量。方向的变化量： 21(,),)(,1)xysIffxy22(,)xysf3(,),)(,)sIfy24(,) 1xysfxs:窗函数中的所有象素，一般为 55 范围，取其方向变量最小值为中心象素点的无趣值 (,)c 1234(,)min(,)cIyI匹配方法：一幅图像中的特征点为中心的一个小窗函数内的象素与另幅图中各潜在对应点为中心的同样窗函数内的象素进行相关值计
37、算。具有最大相关值的特点就是匹配特征（只有满足外极线约束的点才能是匹配点）相关系数：（图像 ）特征点对的视差为 12,f (,)xyd21 2(,) 1/1(,) (,),(,)xysxy xysf fdf， 被匹配的两个区域中所有象素灰度平均值。1f25.5 从 x 恢复形状的方法1光度立体：摄像机和目标静止不动，使用不同方位的三个光源来得到同一场景的三幅图像。确定物24体表面的反射特性。计算三个光源照明的所有点的局部表面方位。 （间接深度计算）2从明暗恢复形状使用图像明暗变化来恢复物体形状信息。表面方向的变化可转化为图像强度的相应变化，由图像强度的变化可以恢复表面形状。 （间接深度计算）3
38、从纹理恢复形状从图像的纹理特性变化，如方向、密度、方位（间接深度计算）4从运动恢复形状使用运动摄像机获取静止图像，场景点的视差取决于场景是否到摄像机的距离。 静止摄像机获取运动图像，在图像序列中产生运动视差取决于物体表面点位置和速度。5.6 测距成像结构光测距结构光测距时的场景是由已知几何模式的照射光源照明的。在一个简单的点投影系统中，投影光源和摄像机之间相距一个基线距离 b，如图所示。物体坐标（x，y，z）与被测量的图像坐标(x,y)和投影角 之间的关系如下：fyxfctgzyx, 其中，f 为摄像机的光学焦距。这样一个三角测量系统的距离分辨力可由投影角 和图像点 x水平位置的测量精度决定。
39、 场 景 点 光 源 摄 像 机 焦 距投 影 角和 轴 指 向 纸 外结构光测距法典型的结构光照明系统是将光平面或者二维网格模式投影到场景中,与光源相隔一定25距离的摄像机获取投影到场景中物体表面的含有变形的光照模式。该变形由光照模式和物体表面的形状和方向决定。对应于图像平面中的任意点的三维物体坐标可以通过计算摄像机视线和光照平面的交点来决定。结构光测距系统的优点是可以很容易地控制场景照明。该系统一个典型的应用是放在传送带上的运动物体经过一个光束平面，在光带图像中产生变形，然后计算光束平面上物体的轮廓。以规则间隔重复上述过程即可恢复物体的形状。结构光照明系统的主要缺点是无法获取摄像机或光源看
40、不到的物体点的数据。激光雷达测距在生物界，蝙蝠和海豚是通过接受自己发出的超声波来确定周围物体的存在。根据生物这种感知距离的能力，人类发明了激光雷达测距系统，即向空间发射信号，然后接收反射信号并与发射信号进行比较，以确定目标的距离和方位。常用的激光雷达测距工作体制有：脉冲飞行时间测距、相位差测距和差频测距。其中以相位差测距应用最广。相位差测距原理如图所示。 激 光 器 调 制 晶 体振 荡 器 分 析 器参 考 信 号 扫 描 电 机 被 测 物 光 电 管 滤 波 器幅 度 、 相 位分 析 器 幅 度相 位 计 算 机滤 光图相位差测距法以相位差测距为例，雷达向被测物发出连续波。深度信息可以
41、通过检测调幅光波发射和接收的相位差来得到。激光器发出的调幅调制光经过平面镜分成二路，一路经过光学扫描装置向被测物进行扫描，另一路进入相位差检测装置与经过物体反射后接受的光信号进行相位比较。如果，调制频率为 f，相位差为 ，则物体到感知器的距离为：4fcd式中 c 为光速， 为波长。由于相位差只能检测到 02 的相位差，因此这种激光26雷达的测距范围为 D=/2。当测量距离超过其整数倍时，测量出的相位差是不变的，也就是说，这种激光测距雷达具有多义性。消除多义性的方法有二种，一是事先知道待测距离的大致范围，二是使用多台具有不同调制频率的激光雷达测距。激光雷达具有波束窄、波长短等独特优点，因而具有极
42、高的角分辨力、距离分辨力和速度分辨。激光雷达可以获得目标的多种信息，如反射特性、距离信息、速度信息等。激光雷达测距的主要问题是技术实现难度较大。立体视觉测量在工程科学中具有广阔的应用前景。就先进制造技术而言，在线检测工件的尺寸和形状位置参数，并根据检测结果自动控制制造过程，是实现柔性加工，快速原型制造，敏捷制造等技术中不可缺少的一环。把立体视觉用于在线监测可实现非接触式自动检测。第六章 标定1.0 几何基础针孔成像模型的特点是所有来自场景的光线均通 过一个投影中心，它对应于一个透镜的中心。右手坐标系后成像 前成像zfyx , fyzf平行投影：为透视投影的一个特例， （当 f 很大而物体距离投
43、影中心很远时）投影线相互平行。其方程： x= x, y= y (机械制图中所用 扩展)常用坐标系： 象素坐标：表示图像阵列中图像象素的位置。 图像阵列 mn (m 行，n 列) 27 图像坐标：xoy 21mjyin 像机坐标：xoyz 这是以观察者为中心的坐标。 场景坐标：OXYZ 绝对坐标或世界坐标 通常情况下 xoy为 oxyz 的一部分，即 xoy与 xoy 重合。在上述几何模型的基础上，进一步建立摄像机坐标系 O1x1y1z1，其中 O1y1 轴线平行于CCD 像面的水平像素行，O 1x1 平行于 CCD 像面的竖直像素列，O 1z1 垂直于 CCD 像面。如图所示，摄像机坐标系 O
44、1x1y1z1 可以认为是由世界坐标系 Oxyz 通过绕 y 轴线顺时针旋转 角度，绕 x 轴线逆时针旋转 角度，绕 z 轴线逆时针旋转 角度，再加上一定的平移变换得到 200。28世界坐标系与摄像机坐标系在从世界坐标系 Oxyz 到摄像机坐标系 O1x1y1z1 的变换中，我们设 R为旋转变换矩阵，M 为平移变换矩阵。可以得到世界坐标系 Oxyz 与摄像机坐标系 O1x1y1z1 的变换关系，如下式：MzyxRz1在从世界坐标系 Oxyz 到摄像机坐标系 O1x1y1z1 的变换中，我们第一步将坐标系 Oxyz绕 x 轴逆时针旋转 角度, 使得 Oz1 与 Oz2 重合，得到过渡坐标 Ox2y2z2 ，有下列关系式成立：zyxzyxcosin002再将坐标系 Ox2y2z2 绕 y 轴顺时针旋转 角度, 使得 Ox1 与 Ox3 重合，得到过渡坐标
