1、1用于图像拼接的稳健匹配方法摘 要：为了提高图像拼接过程中的特征匹配准确率和自动化水平，提出了一种基于SIFT（Scale Invariant Feature Transform）特征的新匹配策略。首先，给定一个基本的匹配阈值，对SIFT特征对进行粗略判断，得到含有误匹配的特征对集合。其次，计算特征对之间的欧式距离最小值与次小值的比率，取比率值最小的前8个特征对的图像坐标数据，求解图像透视投影模型参数初值，并计算这8个特征对的变换坐标与实际坐标之间的最大误差值。第三，计算上述8个特征对的原始图像坐标的最大分布范围，取其与图像尺寸的比值作为匹配误差门限控制参数k。最后，计算集合中的特征对变换坐标
2、与实际坐标的差值，以该差值不大于3k作为控制条件，剔除误匹配，得到准确的匹配对集合，用于计算透视投影模型参数值。实验结果表明：在待匹配图像有一定程度的视点、光照、旋转、比例变化等情形下，该方法具有稳定、可靠的特点，所用实验图像达到了很高的匹配准确率。该方法能无需人工选择匹配阈值，有效地提高了图像匹配的自动化水平。关键词：图像处理；图像拼接；自动匹配；SIFT 特征；1 引言图像拼接技术主要用于解决受成像仪器的视角大小限制，不能产生大视景图像的问题。所谓“图像拼接”(Image Mosaic)就是将两幅或者两幅以上相邻间具有部分重叠的图像进行无缝缝合，生成一张具有较宽视角的高分辨率图像或者 36
3、0 度视角的全景(Panorama)图像的处理过程。它具有广阔的应用前景，例如，可利用图像拼接结果快速生成数字地图、为城市规划提供依据等。图像拼接主要包括拼接预处理、图像配准和图像融合三个步骤，其中图像配准是核心，图像拼接算法很大程度上是由图像配准方法决定的。图像配准一般分为两大类 1：一类是基于频率域的图像配准方法，如 Fourier 变换 2、小波变换方法Contourlet 变换 3等；另一类是基于空间域的图像配准方法，它主要包括基于区域的图像配准算法和基于特征的图像配准算法 4。随着一些良好特征提取算子的出现，基于特征的图像配准算法应用更加广泛，对于图像的变形，亮度变化具有较好的鲁棒性
4、。基于特征的方法是目前研究最多、应用最广的一种匹配方法，但当前已有的方法存在一个共同的问题 5：它们所采用的特征点的不变性一般较差，通常不具备对仿射或透视投影变换的不变性。而有很多图像是具有透视投影变换特性的，如航空和卫星遥感图像，使用传统的特征点匹配方法一般难以取得满意的配准效果。1999 年，Lowe 提出了 SIFT 方法 6，并于 2004 在文献7中完善了这一方法。SIFT 方法所提取的特征点不仅对图像缩放、平移和旋转变换具有不变性，而且对光照变化以及复杂的仿射和投影变换也具有部分不变性，比较适合用于存在透视变换的图像配准 8。SIFT 方法通常使用特征点之间的欧式距离最小值与次小值
5、之比作为匹配阈值，该阈值需要人工根据图像质量来确定，不能完全实现自动配准。为了提高 SIFT 匹配方法的准确性，有人提出了双向匹配的策略9,10，但这种匹配方法仍然无法实现阈值的自动选择。文献11提出基于置信度的匹配算法，其实质仍是特征对的欧式距离最小值与次小值之比作为匹配阈值。文献12加入了全局信息来提高匹配准确率，但仍然要人工选择特征对的欧式距离最小值与次小值之比作为匹配阈值。文献13虽然加入了彩色信息来增加匹配可靠性，还是用欧式距离最小值与次小值之比作为相似性测度。文献14使用了由 Fishler 和 Bolles 提出的 RANSAC 算法 15，虽然能有效地估计匹配点的内点和外点，剔
6、除伪匹配，但误差容忍度、随机抽取样本集的次数和一致集的大小等参数仍需人工确定。2 图像变换模型图像拼接一般是采用对应匹配(homographic mapping)模型。即原始图像是由针孔相机拍摄的投射图2像，相机的运动主要是绕其光学中心的透视、平移、旋转和缩放。对应匹配由 8 个参数 16决定：（1） 212121112 , cbayx CBACB其中 A 是表示缩放和旋转， B 表示平移，C 表示透视投影。按照摄像机在两次成像时的关系，图像的变换模式主要分为平移、刚性、仿射和投影等变换形式。其中，平移变换是一种理想模型，实际中很难得到；刚性变换只能描述摄像机的平移运动和绕光轴的旋转运动，图像
7、中物体有扭曲变形时就会有较大误差；仿射变换虽可以描述摄像机的平移、旋转、缩放运动，但仍然不能较好地描述摄像机的水平扫动和垂直扫动；投影变换则可以描述摄像机的平移、水平扫动、垂直扫动、旋转、镜头缩放等运动，适合用于图像变换关系比较复杂的场合。本文选择投影变换作为图像变换模型，把它写成 8 参数方程组的形式，变换关系为：（2）181765423121ymxy这是一个有 8 个参数的非线性方程，可以通过直接线性变换来求解。构建误差函数如下式所示：（3）1817282651411732ymxyyxy x记： ，上式化为Aymx1817（4）AymAxymyAxyx2812712651432 误差方程用
8、矩阵表示为：（5）LCV其中： 87654321 12112 0mmyxyxyxAA CVTT对应的法方程为：3（6）0LCT使用 4 对以上的匹配点坐标，通过最小二乘法求解相应的正规方程组来解算出这 8 个参数。（7）1由于这个方程组是非线性方程组，求解时，先令 A=1，求出 m1m8 的初值；再用此初值，求出新的 A 值，进行多次迭代，求出稳定的 m1m8 值，一般迭代 35 次即可得到变换参数的稳定值。直接线性变换法求解过程相当稳定，避免了一般非线性方程求解时初值选取不恰当，会引起迭代发散的问题。3 匹配策略的改进SIFT 特征在图像中并没有明显的几何意义，它采用了像素灰度变化能取到极值
9、的点作为关键点来构建特征描述符，寻找到的特征点的数量非常多，图像的分辨率越高，提取到的特征点就越多，例如在一幅1024768 的数字图像中，提取的特征点多达 2000 余个。SIFT 特征匹配采用了简单有效的方法，即两幅图像特征点的 128 维描述向量之间的最小欧式距离与次小欧式距离的比率小于某个阈值时，认为特征对是匹配对。这个比率的物理含义是匹配对的独特性，即当比率较大时，表明图像 1 中的某个特征点与图像 2 中至少有两个特征点（这两个点具有最小与次小欧式距离）非常相似，由于图像的各种变换可能改变了特征向量的相似关系，使得在两对特征点的欧式距离相差不大时，究竟哪一个是真正的匹配点不好判断，
10、只好把它们都舍去。而当比率较小时，表明图像 1 中的特征点与图像 2 中具有欧式距离最小值的那个特征点的相似性是非常独特的，再也没有其他点比它更相似了，这两个特征点就可以判定为匹配对。可见，这种判据的关键是确定合适的比率取值。遗憾的是，这个比率究竟取什么值，无法直接确定，比率取得太小，匹配对数量会很少；比率取得太大，误匹配率就会很高，即匹配准确率和成功率是一对矛盾。更重要的是，比率取什么值时能完全消除误匹配，又与图像的具体情况密切相关。从图像变换模型可以看出，只要能够得到 4 对以上的匹配点，就可以解算出一组变换参数，而 SIFT特征匹配过程中可以得到大量的匹配对，如果能确定 4 对以上正确的
11、匹配点，就可以解算出一组基本的变换参数，然后用这组变换参数把图像 1 中匹配对的坐标变换到图像 2 中，比较匹配对的变换坐标与实际坐标之间的差距，如果这个差距比较小，说明这个匹配对与变换模型基本相符，可以认为是正确的匹配对，保留下来；否则是错误的匹配对，把它剔除。基于这种原理，本文提出一种新的匹配策略。第一步，采用 SIFT 特征对之间的最小欧式距离与次小欧式距离的比值作为初始匹配条件，取一个对所有图像都通用的比率值（比如 0.7） ，对特征进行粗匹配，得到初始匹配集合，此时只能保证 7080%的匹配对是正确的 7。第二步，基于比率值越小匹配正确性就越高的论断和 SIFT 特征数量多的特点，对
12、所有匹配对的比率值进行排序，取前 8 个比率值最小的特征对，作为计算图像投影变换模型参数初始值的控制点。并利用初始变换参数，计算所有特征点的变换坐标与实际坐标之间的差值，如果差值小于某一个阈值时，认为是正确匹配对，将该匹配点保留；否则，将该匹配点剔除。由于在计算图像透视模型变换参数时采用的是最小二乘法，用所求得的参数求取特征点坐标时必然会带来误差，即使是计算 8 个控制点的图像坐标也存在一定的误差。因此，用特征点的变换坐标与实际坐标之间的差值来判断匹配是否正确，就必须给定一个阈值，此阈值太小，可能会损失过多的正确匹配对，太大则又会混入误匹配点。并且阈值选取还不能由人工根据匹配的情况来确定，本文
13、采用按规则自动计算的方法。4第三步，计算 8 个控制点的变换坐标与实际坐标之间的距离差值，进行排序，求出最大值 。由于最好的 8 个匹配对往往会集中在图像变化最小的区域中，用这 8 个控制点求解出来的变换模型参数去计算图像其他区域的特征点变换坐标时，会有比较大的误差，因此，必须增加判断阈值的误差门限，按照误差理论给出的准则，选择 3 作为基本的判断阈值。第四步，考虑到摄像机镜头畸变参数的影响，控制点越靠近图像中心，误差就越小，因此，给定判断阈值时，还须考虑这 8 个控制点的分布范围。如果这 8 个控制点能均匀分布在整个图像区域，判断阈值就取 3，如果集中在某个小的区域，就适当扩大判断阈值，取为
14、 k3，控制点越集中 k 值就越大。计算 8 个控制点分别在两幅图像中 y 方向（x 方向）的最大距离 s，再与两幅图像 y 方向（x 方向）的最大宽度 w 相比较，令 k=w/s。第五步，对初始匹配集合中的所有特征对进行校验，如果特征点的变换坐标与实际坐标之间的距离值小于 3k 时，认为是正确匹配对，将该点保留；否则，将该点剔除。得到正确的匹配对集合。4 实验结果及分析按上述匹配方法进行了实验，图 1 所示为一对实拍图像进行匹配的结果，具有较小的平移、旋转、比例和视点变换。图 1(a)为使用特征点之间欧式距离最小值与次小值的比率为 0.7 时的匹配结果，匹配点为887，其中，明显的误匹配为
15、16。图 1(b)为使用本文的方法进行匹配的结果，匹配点为 651，误匹配为 0。(a) 使用比率为 0.7 时的匹配结果 (b) 新方法匹配结果图 1 第一个实验的匹配结果图 2 所示为具有较小的平移、旋转、比例和视点变换，且自相似性很强的实拍图像匹配结果。图 2(a)为使用特征点之间欧式距离最小值与次小值的比率为 0.7 时的匹配结果，匹配点为 858，其中，明显的误匹配为 45。图 2(b)为使用本文的方法进行匹配的结果，匹配点为 445，误匹配为 0。5(a) 使用比率为 0.7 时的匹配结果 (b) 新方法匹配结果图 2 第二个实验的匹配结果图 3 所示为具有平移、旋转、比例和视点变
16、换的实拍图像匹配结果，其中比例变化比较大。图 3(a)为使用特征点之间欧式距离最小值与次小值的比率为 0.7 时的匹配结果，匹配点为 629，其中，明显的误匹配为 15。图 3(b)为使用本文的方法进行匹配的结果，匹配点为 452，误匹配为 0。(a) 使用比率为 0.7 时的匹配结果 (b) 新方法匹配结果图 3 第三个实验的匹配结果图 4 所示为具有平移、旋转、比例和视点变换的实拍图像匹配结果，其中平移变化比较大。图 4(a)为使用特征点之间欧式距离最小值与次小值的比率为 0.7 时的匹配结果，匹配点为 433，其中，明显的误匹配为 12。图 4(b)为使用本文的方法进行匹配的结果，匹配点
17、为 403，误匹配为 0。(a) 使用比率为 0.7 时的匹配结果 (b) 新方法匹配结果图 4 第四个实验的匹配结果为了进行比较，作者使用不断减小比率的方法，对上述四组图像进行了匹配实验，人工校验匹配正确性，其结果如表 1 所示。Table 1 Matching results under different ratiosImage 1 Image 2 Image 3 Image 4ratios matching error matching error matching error matching error0.7 887 16 858 45 629 15 433 120.6 726 5
18、 647 20 461 3 357 40.5 548 0 448 5 288 1 282 30.4 375 0 279 1 131 1 199 060.3 214 0 130 0 40 0 94 0从表中可以看出，虽然可以通过不断减小比率来剔除误匹配，最终使所有匹配对都是正确的。但此时的比率取值与图像有很大关系，有些图像取比率为 0.5 时就可以完全剔除误匹配，有些图像直到比率为 0.3时才可以完全剔除误匹配，且无法自动选择正确的比率值。另外，如果以正确匹配时的特征点数与比率为 0.7 时的特征点数之比作为匹配效率，则 4 幅图像的匹配效率变化情况如表 2 所示。Table 2 Matchin
19、g results under different ratiosMatching efficiency Image 1 Image 2 Image 3 Image 4Original method 61.8% 15.2% 6.4% 46.0%New method 73.4% 51.9% 71.9% 93.1%Increment 11.6% 36.7% 65.5% 47.1%作者对实际拍摄的图进行了大量的实验，即使在图像存在比例、旋 转 、 平 移 和 视 点 变 化 ， 且 本身有很强的自相似性的情况下，所用实验图像都达到了很高的匹配准确率。高分辨率航拍图像通用具有画幅大、清晰度好的特点，能提
20、取到的匹配对非常多，因此，新的匹配策略能够有效提取足够多的匹配对，且在匹配过程中无须人工干预，就能非常可靠地找到正确的匹配对，该方法为高分辨率航拍图像自动拼接奠定了良好的基础。5 结论本文对原有的 SIFT 匹配策略进行了改进：首先，选取一个基本的最小与次小欧式距离比率值，对SIFT 特征进行粗匹配，得到初始匹配集合；其次，基于特征对之间的比率值越小匹配正确性越好的论断，选取具有最小比率值的前 8 个特征对，计算投影变换模型初始参数；第三，计算 8 个控制点的变换坐标与实际坐标之间的相对最大距离差值 ，以 3 作为基本的判断阈值；第四，用图像 y 方向的尺寸与 8 个控制点分别在两幅图像中 y
21、 方向的最大距离之比，作为误差阈值的控制参数 k；最后，对初始匹配集合中的所有特征对进行校验，如果特征点的变换坐标与实际坐标之间的距离值小于 3k 时，认为是正确匹配对。这种匹配方法无须根据图像的不同，人工调整阈值，就能可靠地提取正确的匹配对，非常适合需要使用自动匹配的场合。实验结果表明，即使在有比较大的比例、旋转、平移和透视变换，以及图像本身自相似性很强的情况下，本文的方法也能稳定、可靠地实现自动配准，所用实验图像都达到了很高的匹配准确率，为提高图像特征匹配的准确率和自动化水平提供了一种有效的方法。参考文献： 1 WANG Cheng-ru, ZHAO Na, ZHANG Li-li. Im
22、age registration and stitching based on triangle geometry similarityJ. Opto-Electronic Engineering. 2007，34(8)：87-92 (in Chinese)王成儒，赵娜，张丽丽. 基于三角形几何相似性的图像配准与拼接J. 光电工程. 2007，34(8)：87-922 CHEN li-guo. Research on the Fast Stitching Algorithm of Sequence Images in the Auto Rack Girder DetectionJ. Opt.
23、Precision Eng., 2008,16(3):531-536 (in Chinese)陈立国.面向汽车车架纵梁检测的序列图像快速拼接算法J.光学精密工程,2008,16(3):531-5363 Chen Zhigang, Yin Fuchang, Sun Fu. Registration Technique for High-Resolution Remote Sensing Image Based on 7Nonsubsampled Contourlet TransformJ. Acta Optica Sinica. 2009, 29(10):2744-2750陈志刚，尹福昌，孙 孚
24、等. 基于非采样 Contourlet 变换高分辨率遥感图像配准J. 光学学报. 2009, 29(10):2744-27504 ZHANG Xian-Quan, TANG Zhen-Jun, LU Jiang-Tao. Image Stitching Based on Line MatchingJ. Computer Science. 2005,32(1)：221-223 (in Chinese)张显全，唐振军，卢江涛. 基于线匹配的图像拼接J. 计算机科学. 2005,32(1)：221-2235 GAO Chao，ZHANG Xin，WANG Yun-li，et al Automatic
25、 stitching approach of aerial image sequence based on SIFT featuresJ. Computer Applications. 2007，21(11):2789-2792 (in Chinese)高超，张鑫，王云丽等. 一种基于 SIFT 特征的航拍图像序列自动拼接方法J.计算机应用.2007，21(11):2789-27926 LOWE D G. Object recognition from local scale- invariant featuresC. Proceeding of ICCV. Piscataway, NJ,US
26、A: Institute of Electrical and Electronics Engineers Inc ,1999,2:1150-11577 LOWE D G. Distinctive image features from scale- invariant keypointsJInternational Journal of Computer Vision，2004, 60(2)：91-l108 LI Xiao-ming, ZHENG Lian, HU Zhan-yi. SIFT Based Automatic Registration of Remotely-sensed Ima
27、geryJ.JOURNAL OF REMOTE SENSING. 2006，10(6):885-892 (in Chinese)李晓明，郑链，胡占义.基于 SIFT 特征的遥感影像自动配准J.遥感学报.2006，10(6):885-8929 LIU Huan-min, WANG Hua, DUAN Hui-fen. A Bidirectional Matching SIFT AlgorithmJ. Ordnance Industry Automation. 2009,28(6):89-91 (in Chinese)刘焕敏，王华，段慧芬. 一种改进的 SIFT 双向匹配算法J. 兵工自动化.20
28、09,28(6):89-9110 HUO Chun-lei，ZHOU Zhi-xin，LIU Qing-shan，et al Remote Sensing Image Registration Based on SIFT and the Distance Between Generalized Tight Pair-wise PrototypesJ. Remote Sensing Technology and Application. 2007,22(4):524-530霍春雷，周志鑫，刘青山等. 基于 SIFT 特征和广义紧互对原型对距离的遥感图像配准方法J. 遥感技术与应用. 2007,2
29、2(4):524-53011 YANG Xiao-min，WUW ei，QING Lin-bo，et al Image feature extraction and matching technologyJ. Opt. Precision Eng., 2009，17（9）：2276-2282 (in Chinese)杨晓敏，吴炜，卿粼波等.图像特征点提取及匹配技术J. 光学精密工程，2009，17（9）：2276-228212 JI Hua, WU Yuan-hao ，SUN Hong-hai, et al SIFT feature matching algorithm with global
30、 informationJ. Opt. Precision Eng., 2009，17（9）：439-444 (in Chinese)纪华，吴元昊，孙宏海等.结合全局信息的 SIFT 特征匹配算法J. 光学精密工程，2009，17（2）：439-44413 Zhang Ruijuan,Zhang Jianqi,Yang Cui,Zhang Xiang. Study on Color Image Registration Technique Based on CSIFTJ. Acta Optica Sinica, 2008, 28(11): 20972103 张锐娟,张建奇,杨 翠等. 基于 C
31、SIFT 的彩色图像配准技术研究J. 光学学报, 2008, 28(11): 2097210314 Liu Guixi,Liu Dongmei,Liu Fengpeng,Zhou Yaping. A Robust Image Registration Algorithm Based on Feature Points MatchingJ. Acta Optica Sinica, 2008, 28(3): 454461刘贵喜,刘冬梅,刘凤鹏等.一种稳健的特征点配准算法J.光学学报,2008,28(3):45446115 Fishchler MA, Bolles RCRandom Sample C
32、onsensus: A Paradigm for Model Fitting with Application to Image Analysis and Automated CartographyJ. Communication Association Machine, 1981, 24(6):381-39516 Mann S，Picard R WVideo orbits of the projective group；a simple approach to featureless estimation of parametersJIEEE Transaction On IP1997，6(9) ：1281-129
