1、图像拼接算法及实现（一）论文关键词：图像拼接 图像配准 图像融合 全景图论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。 一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。 在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进
2、 Harris 角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度 NCC(normalized cross correlation归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法 RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。Abstract：Image mosaic is a technology that carries on the spatial
3、matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image an
4、alysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics
5、 and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accur
6、acy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding p
7、seudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatical
8、ly match occasions can still achieve an accurate image registration.Key words: image mosaic, image registration, image fusion, panorama第一章 绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。早期的图像拼接
9、研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使 IBR 从一系列真是图像中快速绘制具有真实感的新视图。在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说 360 度的环形
10、图片了。但是在实际应用中，很多时候需要将 360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围 360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是 360 度角的全景图像。这在红外预警中起到了很大的作用。微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图
11、像拼接技术来得到宽视角的图像或 360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一
12、区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义1.2 图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对待配准图像中一块区
13、域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。也可以通过 FFT 变换将图像由时域变换到频域，然后再进行配准。对位移量比较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系。当以两块区域像素点灰度值的差别作为判别标准时，最简单的一种方法是直接把各点灰度的差值累计起来。这种办法效果不是很好，常常由于亮度、对比度的变化及其它原因导致拼接失败。另一种方法是计算两块区域的对应像素点灰度值的相关系数，相关系数越大，则两块图像的匹配程度越高。该方法的拼接
14、效果要好一些，成功率有所提高。(2) 基于特征相关的拼接算法。基于特征的配准方法不是直接利用图像的像素值，而是通过像素导出图像的特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，该类拼接算法有比较高的健壮性和鲁棒性。基于特征的配准方法有两个过程：特征抽取和特征配准。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集冈。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。一系列的图像分割技术都被用到特征的抽取和边界检测上。如 canny 算子、拉普拉斯高斯算子、区域生长。抽取出来的空间特征有闭合的边界、开边界、交叉线以及其他特征。特
15、征匹配的算法有：交叉相关、距离变换、动态编程、结构匹配、链码相关等算法。1.3 本文的主要工作和组织结构 本文的主要工作：(1) 总结了前人在图像拼接方面的技术发展历程和研究成果。(2) 学习和研究了前人的图像配准算法。 (3) 学习和研究了常用的图像融合算法。 (4) 用 matlab 实现本文中的图像拼接算法(5) 总结了图像拼接中还存在的问题，对图像拼接的发展方向和应用前景进行展望。本文的组织结构：第一章主要对图像拼接技术作了整体的概述，介绍了图像拼接的研究背景和应用前景，以及图像拼接技术的大致过程、图像拼接算法的分类和其技术难点。第二章主要介绍讨论了图像预处理中的两个步骤，即图像的几何
16、校正和噪声点的抑制。第三章主要介绍讨论了图像配准的多种算法。第四章主要介绍讨论了图像融合的一些算法。第五章主要介绍图像拼接软件实现本文的算法。第六章主要对图像拼接中还存在的问题进行总结，以及对图像拼接的发展进行展望。1.4 本章小结 本章主要对图像拼接技术作了整体的概述，介绍了图像拼接的研究背景和应用前景，以图像拼接算法的分类和其技术难点，并且对全文研究内容进行了总体介绍。第二章 图像拼接的基础理论及图像预处理 2.1 图像拼接 图像拼接技术主要有三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，如图。图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，图像预处理
17、主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接，如果不经过图像预处理，很容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备，让图像质量能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息，将图像对齐。图像融合指在完成图像匹配以后，对图像进行缝
18、合，并对缝合的边界进行平滑处理，让缝合自然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同，因此，对于一些本应该相同的图像特性，如图像的光照特性等，在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时，由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了让图像间的拼接缝隙不明显，拼接更自然2.2 图像的获取方式 图像拼接技术原理是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率全景图 。这些有重叠部分的图像一般由两种方法获得 : 一种是固定照相机的转轴 ,然后绕轴旋转所拍摄的照片 ;另一种是固定照相机的光心 ,水平摇动镜头所拍摄
19、的照片。其中 ,前者主要用于远景或遥感图像的获取 ,后者主要用于显微图像的获取 ,它们共同的特点就是获得有重叠的二维图像。2.3 图像的预处理 2.3.1 图像的校正 当照相系统的镜头或者照相装置没有正对着待拍摄的景物时候，那么拍摄到的景物图像就会产生一定的变形。这是几何畸变最常见的情况。另外，由于光学成像系统或电子扫描系统的限制而产生的枕形或桶形失真，也是几何畸变的典型情况。几何畸变会给图像拼接造成很大的问题，原本在两幅图像中相同的物体会因为畸变而变得不匹配，这会给图像的配准带来很大的问题。因此，解决几何畸变的问题显得很重要。图象校正的基本思路是，根据图像失真原因，建立相应的数学模型，从被污
20、染或畸变的图象信号中提取所需要的信息，沿着使图象失真的逆过程恢复图象本来面貌。实际的复原过程是设计一个滤波器，使其能从失真图象中计算得到真实图象的估值，使其根据预先规定的误差准则，最大程度地接近真实图象。2.3.2 图像噪声的抑制 图像噪声可以理解为妨碍人的视觉感知，或妨碍系统传感器对所接受图像源信息进行理解或分析的各种因素，也可以理解成真实信号与理想信号之间存在的偏差。一般来说，噪声是不可预测的随机信号，通常采用概率统计的方法对其进行分析。噪声对图像处理十分重要，它影响图像处理的各个环节，特别在图像的输入、采集中的噪声抑制是十分关键的问题。若输入伴有较大的噪声，必然影响图像拼接的全过程及输出
21、的结果。根据噪声的来源，大致可以分为外部噪声和内部噪声；从统计数学的观点来定义噪声，可以分为平稳噪声和非平稳噪声。各种类型的噪声反映在图像画面上，大致可以分为两种类型。一是噪声的幅值基本相同，但是噪声出现的位置是随机的，一般称这类噪声为椒盐噪声。另一种是每一点都存在噪声，但噪声的幅值是随机分布的，从噪声幅值大小的分布统计来看，其密度函数有高斯型、瑞利型，分别成为高斯噪声和瑞利噪声，又如频谱均匀分布的噪声称为白噪声等。1.均值滤波所谓均值滤波实际上就是用均值替代原图像中的各个像素值。均值滤波的方法是，对将处理的当前像素，选择一个模板，该模板为其邻近的若干像素组成，用模板中像素的均值来替代原像素的
22、值。如图 2.4 所示，序号为 0 是当前像素，序号为 1 至 8 是邻近像素。求模板中所有像素的均值，再把该均值赋予当前像素点(x, y) ，作为处理后图像在该点上的灰度 g(x,y)，即g(x,y)= (2-2-2-1)其中，s 为模板，M 为该模板中包含像素的总个数。图 2.2.2.1 模板示意图2.中值滤波中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。它的核心算法是将模板中的数据进行排序，这样，如果一个亮点（暗点）的噪声，就会在排序过程中被排在数据序列的最右侧或者最左侧，因此，最终选择的数据序列中见位置上的值一般不是噪声点值，由此便可以达到抑制噪声的目的。取某种结
23、构的二维滑动模板，将模板内像素按照像素值的大小进行排序，生成单调上升（或下降）的二维数据序列。二维德中值滤波输出为( 2-2-2-2 ) 其中，f(x,y) ， g (x,y)分别为原图像和处理后的图像，w 二维模板 ,k ,l 为模板的长宽，Med 为取中间值操作，模板通常为 3 3 、5 5 区域，也可以有不同形状，如线状、圆形、十字形、圆环形。2.4 本章小结 本章主要介绍了图像几何畸变校正和图像噪声抑制两种图像预处理.第三章 图像配准算法 3.1 图像配准的概念 图像配准简而言之就是图像之间的对齐。图像配准定义为:对从不同传感器或不同时间或不同角度所获得的两幅或多幅图像进行最佳匹配的处
24、理过程。为了更清楚图像配准的任务，我们将图像配准问题用更精确的数学语言描述出来。配准可以用描述为如下的问题:给定同一景物的从不同的视角或在不同的时间获取的两个图像 I ,I 和两个图像间的相似度量 S(I ,I ),找出 I ,I 中的同名点，确定图像间的最优变换 T,使得 S(T(I ),I )达到最大值。 图像配准总是相对于多幅图像来讲的，在实际工作中，通常取其中的一幅图像作为配准的基准,称它为参考图,另一幅图像,为搜索图。图像配准的一般做法是，首先在参考图上选取以某一目标点为中心的图像子块，并称它为图像配准的模板，然后让模板在搜索图上有秩序地移动，每移到一个位置，把模板与搜索图中的对应部
25、分进行相关比较，直到找到配准位置为止。如果在模板的范围内，同一目标的两幅图像完全相同，那么完成图像配准并不困难。然而，实际上图像配准中所遇到的同一目标的两幅图像常常是在不同条件下获得的，如不同的成像时间、不同的成像位置、甚至不同的成像系统等，再加上成像中各种噪声的影响，使同一目标的两幅图像不可能完全相同，只能做到某种程度的相似，因此图像配准是一个相当复杂的技术过程。3.2 基于区域的配准 3.2.1 逐一比较法 设搜索图为 s 待配准模板为 T，如图 3.1 所示，S 大小为 M N，T 大小为 U V,如图所示。图 3.1 搜索图 S 与模板 T 示意图逐一比较法的配准思想是:在搜索图 S
26、中以某点为基点(i,j)，截取一个与模板 T 大小一样的分块图像，这样的基点有(M-U+1) (N-V+1)个，配准的目标就是在(M-U+1) (N-V+1)个分块图像中找一个与待配准图像最相似的图像，这样得到的基准点就是最佳配准点。设模板 T 在搜索图 s 上移动，模板覆盖下的那块搜索图叫子图 S ,(i,j)为这块子图的左上角点在 S 图中的坐标，叫做参考点。然后比较 T 和 S 的内容。若两者一致，则 T 和 S之差为零。在现实图像中，两幅图像完全一致是很少见的，一般的判断是在满足一定条件下，T 和 S 之差最小。根据以上原理，可采用下列两种测度之一来衡量 T 和 S 的相似程度。D(i
27、,j)的值越小，则该窗口越匹配。D(i,j)= S (m,n)-T(m,n) (3-1)或D(i,j)= S (m,n)-T(m,n) (3-2)或者利用归一化相关函数。将式(3-1)展开可得:D(i,j)= S (m,n) -2 S (m,n)*T(m,n)+ T(m,n) (3-3)式中等号右边第三项表示模板总能量，是一常数，与(i,j)无关;第一项是与模板匹配区域的能量，它随(i,j)的改变而改变，当 T 和 S 匹配时的取最大值。因此相关函数为:R(i,j)= (3-4)当 R(i,j)越大时，D(i,j)越小，归一化后为:R(i,j)= (3-5)根据 Cauchy-Schwarz
28、不等式可知式 (3-5)中 0 R(i,j) 1，并且仅当值 S (m, n)/T (m, n)=常数时，R(i,j)取极大值。该算法的优点:(1)算法思路比较简单，容易理解，易于编程实现。(2)选用的模板越大，包含的信息就越多，匹配结果的可信度也会提高，同时能够对参考图像进行全面的扫描。该算法的缺点:(1)很难选择待配准图像分块。因为一个如果分块选择的不正确，缺少信息量，则不容易正确的匹配，即发生伪匹配。同时，如果分块过大则降低匹配速度，如果分块过小则容易降低匹配精度。(2)对图像的旋转变形不能很好的处理。算法本身只是把待配准图像分块在标准参考图像中移动比较，选择一个最相似的匹配块，但是并不
29、能够对图像的旋转变形进行处理，因此对照片的拍摄有严格的要求。3.2.2 分层比较法 图像处理的塔形(或称金字塔 :Pyramid)分解方法是由 Burt 和 Adelson 首先提出的，其早期主要用于图像的压缩处理及机器人的视觉特性研究。该方法把原始图像分解成许多不同空间分辨率的子图像，高分辨率(尺寸较大) 的子图像放在下层，低分辨率 (尺寸较小)的图像放在上层，从而形成一个金字塔形状。在逐一比较法的思想上，为减少运算量，引入了塔形处理的思想，提出了分层比较法。利用图像的塔形分解，可以分析图像中不同大小的物体。同时，通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率、尺
30、寸较大的下层进行分析，从而大大简化分析和计算。在搜索过程中，首先进行粗略匹配，每次水平或垂直移动一个步长，计算对应像素点灰度差的平方和，记录最小值的网格位置。其次，以此位置为中心进行精确匹配。每次步长减半，搜索当前最小值，循环这个过程，直到步长为零，最后确定出最佳匹配位置。算法的具体实现步骤如下:（1）将待匹配的两幅图像中 2 2 邻域内的像素点的像素值分别取平均，作为这一区域(2 2)像素值，得到分辨率低一级的图像。然后，将此分辨率低一级的图像再作同样的处理，也就是将低一级的图像 4 4 邻域内的像素点的像素值分别取平均，作为这一区域(4 4)点的像素值，得到分辨率更低一级的图像。依次处理，
31、得到一组分辨率依次降低的图像。(2)从待匹配的两幅图像中分辨率最低的开始进行匹配搜索，由于这两幅图像像素点的数目少，图像信息也被消除一部分，因此，此匹配位置是不精确的。所以，在分辨率更高一级的图像中搜索时，应该在上一次匹配位置的附近进行搜索。依次进行下去，直到在原始图像中寻找到精确的匹配位置。算法的优点:(1)该算法思路简单，容易理解，易于编程实现。(2)该算法的搜索空间比逐一比较要少，在运算速度较逐一比较法有所提高。算法的缺点:(1)算法的精度不高。在是在粗略匹配过程中，移动的步长较大，很有可能将第一幅图像上所取的网格划分开，这样将造成匹配中无法取出与第一幅图像网格完全匹配的最佳网格，很难达
32、到精确匹配。(2)对图像的旋转变形仍然不能很好的处理。与逐一比较法一样，该算法只是对其运算速度有所改进，让搜索空间变小，并无本质变化，因此对图像的旋转变形并不能进行相应处理。3.2.3 相位相关法 相位相关度法是基于频域的配准常用算法。它将图像由空域变换到频域以后再进行配准。该算法利用了互功率谱中的相位信息进行图像配准，对图像间的亮度变化不敏感，具有一定的抗干扰能力，而且所获得的相关峰尖锐突出，位移检测范围大，具有较高的匹配精度。相位相关度法思想是利用傅立叶变换的位移性质，对于两幅数字图像 s,t，其对应的傅立叶变换为 S,T，即:S=Fs= e T=Ft= e (3-6)若图像 s,t 相差
33、一个平移量(x ,y )，即有:s(x,y) = t(x-x ,y-y ) (3-7)根据傅立叶变换的位移性质，上式的傅立叶变换为:S( )=e T( ) (3-8)也就是说，这两幅图像在频域中具有相同的幅值，只是相位不同，他们之间的相位差可以等效的表示为互功率谱的相位。两幅图的互功率谱为:=e (3-9)其中*为共扼符号， 表示频谱幅度。通过对互功率谱式(3-9)进行傅立叶逆变换，在(x,y)空间的（x ,y )，即位移处，将形成一个单位脉冲函数 ，脉冲位置即为两幅被配准图像间的相对平移量 x 和 y 式(3-9) 表明，互功率谱的相位等价于图像间的相位差，故该方法称作相位相关法。相位相关度
34、法的优点:(1)该算法简单速度快，因此经常被采用。对于其核心技术傅立叶变换，现在己经出现了很多有关的快速算法，这使得该算法的快速性成为众多算法中的一大优势。另外，傅立叶变换的硬件实现也比其它算法容易。(2)该算法抗干扰能力强，对于亮度变化不敏感。相位相关度法的缺点:(1)该算法要求图像有 50%左右的重叠区域，在图像重叠区域很小的时，算法的结果很难保证，容易造成误匹配。(2)由于 Fourier 变换依赖于自身的不变属性，所以该算法只适用于具有旋转、平移、比例缩放等变换的图像配准问题。对于任意变换模型，不能直接进行处理，而要使用控制点方法，控制点方法可以解决诸如多项式、局部变形等问题。3.3
35、基于特征的配准 3.3.1 比值匹配法 比值匹配法算法思路是利用图像中两列上的部分像素的比值作为模板，即在参考图像T 的重叠区域中分别在两列上取出部分像素，用它们的比值作为模板，然后在搜索图 S 中搜索最佳的匹配。匹配的过程是在搜索图 S 中，由左至右依次从间距相同的两列上取出部分像素，并逐一计算其对应像素值比值;然后将这些比值依次与模板进行比较，其最小差值对应的列就是最佳匹配。这样在比较中只利用了一组数据，而这组数据利用了两列像素及其所包含的区域的信息。该算法的具体实现步骤如下:(1)在参考图像 T 中间隔为 c 个像素的距离上的两列像素中，各取 m 个像素，计算这 m个像素的比值，将 m
36、个比值存入数组中，将其作为比较的模板。(2)从搜索图 S 中在同样相隔 c 个像素的距离上的两列，各取出 m+n 个像素，计算其比值，将 m+n 个比值存入数组。假定垂直错开距离不超过 n 个像素，多取的 n 个像素则可以解决图像垂直方向上的交错问题。(3)利用参考图像 T 中的比值模板在搜索图 S 中寻找相应的匹配。首先进行垂直方向上的比较，即记录下搜索图 S 中每个比值数组内的最佳匹配。再将每个数组的组内最佳匹配进行比较，即进行水平方向的比较，得到的最小值就认为是全局最佳匹配。此时全局最佳匹配即为图像间在水平方向上的偏移距离，该全局最佳匹配队应的组内最佳匹配即为图像间垂直方向上的偏移距离。
37、比值匹配法的优点:(1)算法思路清晰简单，容易理解，实现起来比较方便。(2)在匹配计算的时候，计算量小，速度快。比值匹配法的缺点:(1)利用图像的特征信息太少。只利用了两条竖直的平行特征线段的像素的信息，没有能够充分利用了图像重叠区域的大部分特征信息。虽然算法提到，在搜索图 S 中由左至右依次从间距相同的两列上取出部分像素，计算其对应像素的比值，然后将这些比值依次与模版进行比较，好像是利用了搜索图 S 中的重叠区域的大部分图像信息，但在参考图像 T 中，只是任意选择了两条特征线，没有充分利用到参考图像 T 的重叠区域的特征信息。(2)对图片的采集提出了较高的要求。此算法对照片先进行垂直方向上的
38、比较，然后再进行水平方向上的比较，这样可以解决上下较小的错开问题。在采集的时候只能使照相机在水平方向上移动。然而，有时候不可避免的照相机镜头会有小角度的旋转，使得拍摄出来的照片有一定的旋转，在这个算法中是无法解决的。而且对重叠区域无明显特征的图像，比较背景是海洋或者天空，这样在选取特征模版的时候存在很大的问题。由于照片中存在大块纹理相同的部分，所以与模版的差别就不大，这样有很多匹配点，很容易造成误匹配。(3)不易对两条特征线以及特征线之间的距离进行确定。算法中在参考图像 T 的重叠区域中取出两列像素上的部分像素，并没有给出选择的限制。然而在利用拼接算法实现自动拼接的时候，如果选取的特征线不是很
39、恰当，那么这样的特征线算出来的模版就失去了作为模版的意义。同时，在确定特征线间距时，选的过大，则不能充分利用重叠区域的图像信息。选择的过小，则计算量太大。3.3.2 特征点匹配法 比值匹配法利用图像特征较少，而且在图像发生小角度旋转的时候容易发生误匹配。基于特征点的匹配法可以很好的解决这类问题。特征点主要指图像中的明显点，如房屋角点、圆点等。用于点特征提取得算子称为有利算子或兴趣算子。自七十年代以来出现一系列各不相同、各有特色的兴趣算子，较知名的有 Moravec 算子、Hannah 算子与 Foistner 等。本文采用 Moravec 算子进行特征点提取:Moravec 算子的基本思想是，
40、以像素点的四个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值，然后在图像的局部选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点，具体算法如下:（1）计算各像素点的兴趣值 IV (interest value)，例如计算像素点(c,r)的兴趣值，先在以像素点(cr)为中心的 n n 的影像窗口中(如图 3.3.2 所示的 5 5 的窗口) ，计算四个主要方向相邻像元灰度差的平方和。图 3.3.2 Moravec 算子特征点提取示意图V = V = V = V = 其中 k=INT(n/2)。取其中最小者为像元(c,r)的兴趣值:IV(c,r)=V=min V
41、 , V , V , V (2)根据给定的阂值，选择兴趣值大于该阐值的点作为特征点的候选点。设 V 为事先设定好的闭值，如果 V V ，则 V 为特征点的候选点。阑值得选择应以候选点中包括需要的特征点，而又不含过多的非特征点。(3)在候选点中选取局部极大值点作为需要的特征点。在一定大小的窗口内( 可不同于兴趣值计算窗口)，去掉所有不是最大兴趣值的候选点，只留下兴趣值最大者，该像素即为一个特征点。在有了以上的特征点提取的基础上，基于特征点匹配算法主要步骤如下:(1)在参考图像 T 的重叠部分中选取 4 个区域，每个区域利用 Moravec 算子找出特征点。(2)选取以特征点为中心的区域，本文大小
42、选择 7X7 的区域，在搜索图 S 中寻找最相似的匹配。因为有 4 个特征点，故有 4 个特征区域，找到相应的特征区域的匹配也有 4 块。(3)利用这 4 组匹配的特征区域的中心点，也就是 4 对匹配的特征点，代入方程式 (3-2-2)求解，所求的解即为两幅图像间的变换系数。(3-2-2)该算法的主要优点:(1)图像的特征信息得到了利用，能够有的放矢，不是在盲目的搜索。(2)误匹配发生的概率小，因为利用了参考图像 T 包含特征点的特征区域来寻找相应匹配，因此在搜索图 S 中相应的特征区域容易确认。该算法的主要缺点:(1)计算的代价高，计算量大。该算法需要计算出特征点以及特征点的匹配点，同时还要
43、将所有 4 对特征点带入式 3-2-2 求解变换系数，计算量大。3.4 本章小结 本章分析了现有的多种图像配准算法以及图像配准中的难点。第四章 图像融合技术 4.1 图像融合技术的基本概念 数字图像融合（Digital Image Fusion）是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的
44、对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。数字图像融合是图像分析的一项重要技术，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。虽然 Photoshop 等图像处现软件提供了图像处理功能，可以通过拖放的方式进行图像拼接，但由于完全是手工操作，单调乏味，且精度不高，因此，有必要寻找一种方便可行的图像融合方法。Matlab 具有强大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台，可让用户把精力集中在算法上而不是编程上，从而能大大提高研究效率。4.2 手动配准与图
45、象融合 图像融合包含图像配准和无缝合成两个部分.由于成像时受到各种变形因素的影响，得到的各幅图像间存在着相对的几何差异。图像配准是通过数学模拟来对图像间存在着的几何差异进行校正，把相邻两幅图像合成到同一坐标系下，并使得相同景物在不同的局部图像中对应起来，以便于图像无缝合成。本文采用 Matlab 中的 cpselect、cp2tform 函数完成几何配准。cpselect 函数显示图像界面，手动在两幅图像的重叠部分选取配准控制点，Matlab 自动进行亚像素分析，由 cp2tform 函数值正重叠部分的几何差异。Matlab 中的cp2tform 函数能修正 6 种变形，分别是图(b)：线性相
46、似；图 (c)：仿射；图(d) ：投影；图(e) ：多顶式；图(o：分段线性；图 (g)：局部加权平均。前 4 种为全局变换，后两种为局部变换，如图 I 所示，图(a)为修正结果；图(b)至图(g)为对应的变形。图 1-1 cp2tform 函数能修正的 6 种几何变形图像配准之后，由于图像重叠区域之间差异的存在，如果将图像象素简单叠加，拼按处就会出现明显的拼接缝，因此需要一种技术修正待拼接图像拼接缝附近的颜色值，使之平滑过渡，实现无缝合成。传统的融合方法多是在时间域对图像进行算术运算，没有考虑处理图像时其相应频率域的变化。从数学上讲，拼接缝的消除相当于图像颜色或灰度曲面的光滑连接，但实际上图
47、像的拼接与曲面的光滑不同，图像颜色或灰度曲面的光滑表现为对图像的模糊化，从而导致图像模糊不清。4.3 图像融合规则 图像的融合规则(Fusion rule)是图像融合的核心，融合规则的好坏直接影响融合图像的速度和质量。Burt 提出了基于像素选取的融合规则，在将原图像分解成不同分辨率图像的基础上，选取绝对值最大的像素值(或系数 )作为融合后的像素值(或系数)。这是基于在不同分辨率图像中，具有较大值的像素(或系数 )包含更多的图像信息。Petrovic 和 Xydeas 提出了考虑分解层内各图像(若存在多个图像)及分解层间的相关性的像素选取融合规则。蒲恬在应用小波变换进行图像融合时，根据人类视觉
48、系统对局部对比度敏感的特性，采用了基于对比度的像素选取融合规则。基于像素的融合选取仅是以单个像素作为融合对象，它并未考虑图像相邻像素间的相关性，因此融合结果不是很理想。考虑图像相邻像素间的相关性，Burt 和 Kolczynski 提出了基于区域特性选择的加权平均融合规则，将像素值(或系数) 的融合选取与其所在的局部区域联系起来。在 Lietal 提出的融合规则中，其在选取窗口区域中较大的像素值(或系数)作为融合后像素值(或系数) 的同时，还考虑了窗口区域像素(或系数) 的相关性。Chibani 和 Houacine 在其融合规则中，通过计算输入原图像相应窗口区域中像素绝对值相比较大的个数，决
49、定融合像素的选取。基于窗口区域的融合规则由于考虑相邻像素的相关性，因此减少了融合像素的错误选取。融合效果得到提高。ZZhang 和 Blum 提出了基于区域的融合规则，将图像中每个像素均看作区域或边缘的一部分，并用区域和边界等图像信息来指导融合选取。采用这种融合规则所得到的融合效果较好，但此规则相对其他融合规则要复杂。对于复杂的图像，此规则不易于实现。4.4 图像融合方法 迄今为止，数据融合方法主要是在像元级和特征级上进行的。常用的融合方法有 HIS融合法、KL 变换融合法、高通滤波融合法、小波变换融合法、金字塔变换融合法、样条变换融合法等。下面简要介绍其中的几种方法。（1） HIS 融合法HIS 融合法在多传感器影象像元融合方面应用较广，例如：一低分辨率三波段图象与一高分辨率单波段图象进行 融合处理。这种方法将三个波段的低分辨率的数据通过 HIS变换转换到 HIS 空间，同时将单波段高分辨率图象进行对比度拉伸以使其灰度的均值与方差和 HIS 空间中亮度分量图
