1、双重检测策略耦合 PROSAC 技术的图像匹配算法 童莹 张宴 武汉商学院信息工程学院 武汉理工大学计算机科学与技术学院 摘 要： 当前图像匹配方法主要基于单个像素的灰度或梯度信息等局部特征来完成匹配, 使其存在较多漏匹配点以及错误匹配点, 为此提出一种双重检测策略耦合PROSAC 方法的图像匹配算法。构造灰度值自适应模型, 改进 FAST 算子, 联合Harris 算子, 建立特征点双重检测策略, 完成图像特征点的粗-细提取;基于Haar 小波, 通过确定特征点的主方向以及构造描述子向量, 生成特征描述子;以特征点为中心, 建立矩形搜索窗口, 构造双向匹配策略, 完成特征点的匹配;基于 PR
2、OSAC (progressive sample consensus) 技术, 依据特征点的匹配相似程度, 对特征点进行降序排列, 通过计算匹配点极限距离识别误配点, 有效降低算法的误匹配率。实验结果表明, 与当前图像匹配技术相比, 该算法具有更高的匹配精度与鲁棒性。关键词： 双重检测策略; 图像匹配; 灰度值自适应模型; 双向匹配策略; 渐进式抽样机制; 极限距离; 作者简介：童莹 (1981-) , 女, 湖北武汉人, 硕士, 讲师, 研究方向为计算机应用技术、计算机图像、数据挖掘;作者简介：张宴 (1975-) , 女, 江苏扬州人, 博士, 副教授, 研究方向为图像处理、智能算法、数据
3、挖掘。E-mail:TongYing1981whB收稿日期：2016-09-30基金：湖北省科技攻关计划基金项目 (2015AJ301B46) Image matching algorithm based on dual detection method coupled with PROSAC methodTONG Ying ZHANG Yan Department of Information Engineering, Wuhan Business University; College of Computer Science and Technology, Wuhan University
4、 of Technology; Abstract： To solve these defects such as missing matching points and wrong matching points induced by using the local features of a single pixel gray or gradient information to finish the matching in current image matching method, the image matching algorithm based on dual detection
5、method coupled with PROSAC method was proposed.Harris operator was used to extract the feature points.The feature points extracted by the Harris operator were extracted by the FAST operator to form a double detection strategy to finish the rough-fine extraction of image features.The feature descript
6、or was obtained using feature descriptor generating method based on Haar wave.The bidirectional matching strategy was constructed to complete the matching of feature points.The feature points were arranged in descending order based on PROSAC and the similarity degree of feature points, as well as th
7、e error matching rate of the algorithm was effectively reduced by calculating the limit distance of matching points to identify the mismatching points.Simulation results show that the proposed algorithm has higher matching precision and better robustness compared with the current image matching tech
8、nology.Keyword： dual detection strategy; image matching; gray scale value adaptive model; bidirectional matching strategy; PROSAC; limit distance; Received： 2016-09-300 引言当前, 图像匹配技术1-5得到了飞跃的进步, 如陈凯等6提出了基于竞选算法的灰度图像匹配算法, 利用对图像进行全局优化来代替灰度图像的匹配问题, 通过引入竞选算法对全局最优解进行计算, 以完成灰度图像的匹配;又如高晶等7利用图像灰度信息及其 Hausdorf
9、f 距离对图像完成匹配, 实验结果显示算法具有较高的匹配精度。该类方法利用图像的灰度信息来完成图像的匹配具有一定的效果, 但该方法在对复杂图像或存在灰度差异较大的多图像进行匹配时, 容易出现较多的错误匹配点和漏匹配现象。为了进一步提高匹配精度, Lourenco 等8利用改进 SIFT 算法来实现图像匹配;董晓庆等9提出了光照变化环境下的 SIFT 改进算法, 利用 MSHFHS 构造同态滤波金字塔, 用于构造图像的多尺度空间, 并在尺度空间上利用 SIFT 算法进行特征点的提取与匹配。此类方法都是在 SIFT 算法基础上进行的, 能适应图像旋转及尺度变换等场合的匹配, 而且图像匹配的效果也较
10、好, 但其计算复杂度较高, 导致效率低下。对此, 本文提出了双重检测策略耦合 PROSAC 方法的图像匹配算法的研究。利用Harris 算子的快速性对特征点进行粗提取, 接着借助改进的 FAST 算子的准确性对特征点进行精提取, 形成特征点的双重检测策略, 对特征点提取过程中提取精度与时间开销进行平衡。利用 Haar 小波响应来获取特征描述子。然后构造双向匹配策略, 完成特征点的匹配, 以提高算法的匹配精度。采用 PROSAC 方法对匹配的特征点进行提纯。最后测试了所提算法的匹配精度。1 本文图像匹配算法本文图像匹配算法中设计了双重检测策略来对特征点进行提取, 在通过 Harris算子对特征点
11、进行粗提取后, 接着采用改进的 FAST 算子在粗提取的特征点基础上再次进行精提取, 利用 Harris 算子的快速检测性以及改进的 FAST 算子的精确检测性, 以达到提高提取特征点精度的同时降低时间开销的目的。接着利用SURF 中 Haar 小波响应的方法来获取特征描述子。然后构造双向匹配策略, 完成特征点的匹配。匹配完成的特征点中难以避免的会存在错误匹配点, 在此采用 PROSAC 方法对错误匹配点进行筛除, 对匹配的特征点进行提纯, 从而完成图像匹配。本文所设计的图像匹配算法的整体流程如图 1 所示。图 1 本文设计的图像匹配算法的整体流程 下载原图1.1 特征点的提取特征点的提取方式
12、多种多样, 目前主流的特征点提取算子有 FAST 算子、Forstner 算子、Moravec 算子、Harris 算子等。在诸多的特征点提取方法中有的方法提取精度相对较高, 但是计算复杂度较大、耗时较多。有的方法实现简单、计算量小、效率较高, 但是提取精度相对较低。如张春美等的研究指出Harris 算子具有快速提取特征点的性能, 但是其提取准确度不是很理想。又如江铁等的研究指出 FAST 算子具有精准提取特征点的性能, 但是其计算复杂度高、耗时较多。为了达到提高提取特征点精度的同时降低时间开销的目的, 在此设计了双重检测策略来对特征点进行提取。利用 Harris 算子简单易行、快速高效的特性
13、对图像进行初步特征点提取, 由于其提取准确度不高, 故其提取的特征点中存在错检的情况。接着利用改进的 FAST 算子对 Harris 算子提取的特征点再次进行检测, 将错检的特征点滤除掉, 以提高特征点提取的纯度。Harris 算子提取特征点是依靠自相关函数进行的, 通过一阶偏导对亮度变化进行描述, 像素点在任意方向上的灰度变化通过微分算子进行描述, 若某个像素点在各个方向亮度变化都较大时, 则确定该点为特征点10。图像 R (x, y) 上的像素点移动 (i, j) 后灰度的强度变化可表述为式中:K 为高斯平滑滤波器, M 为对称自相关函数, K 和 M 的具体表述如下特征点的响应函数为其中
14、, det 表示对 M 进行行列式计算, Tr 表示 M 的迹, 为常数, 在此取 0.06, 当某点的 W 值大于阀值 W0时则被视为特征点。在 Harris 算子提取特征点后, 再利用 FAST 算子对 Harris 算子提取的特征点进行检测, 将错检的特征点剔除掉。FAST 算子提取特征点时, 首先选定一个像素点为圆心, 然后使用 Bresenham 法画圆, 若圆上有 N 个像素点的灰度值与选定像素点的灰度值偏差大于阀值 E 时, 则该选定像素点即为特征点, 该过程如图 2 所示11。图 2 FAST 算子提取特征点模板 下载原图特征点的响应函数为式中:R (x) 表示圆周上任一像素点
15、的灰度值, R (p) 表示选定像素点的灰度值, 通常 E 取 12。通过 FAST 算子提取的特征点中会存在较多的边缘点, 在此采用一种自适应的方法对 FAST 算子进行改进, 将边缘点剔除, 其过程如下。首先选取圆周上任一像素点 x, 其灰度值为 R (x) , 然后计算与其对称两个像素点的灰度值之差, 若差值小于阀值 , 则列为观测点, 其表述如下式中:R (x+1) 和 R (x-1) 分别表示与 x 对称的像素点 x+1 及 x-1 对应的像素值。然后将圆周上所有点带入式 (6) 计算, 若圆周上存在的观测点不足 6 个, 则认为该圆对应的中心点为边缘点。可将阀值 与图像中像素点的灰
16、度值构建如下模型, 使得阀值 能根据不同灰度值进行自适应的调整式中:R (i) max表示图像中最大的 i 个灰度值, R (i) min表示最小的 i 个灰度值。 为 1-3 之间的一个常数。1.2 生成特征描述子SURF 中利用 Haar 小波通过确定特征点的主方向以及构造描述子向量两步来生成特征描述子, 具体过程如下。选定一个尺度因子为 的特征点作为圆心, 以 6 为半径作圆 Q。然后选取尺寸大小为 4 的 Haar 小波, 用于计算圆 Q 沿 x 和 y 方向上的小波变换。接着以圆心作为原点, 构造角度为 60的扇形区域, 然后将此扇形区域旋转一周, 对所包含特征点的向量和进行计算,
17、并选取最长的向量作为此特征点的主方向12。获取到主方向后接着构造一个 2020 的窗口区域, 然后将此区域均分为44 个子区域, 选取尺寸为 2 的 Haar 小波对每个子区域计算其主方向上的Haar 小波响应 Kx, 以及其对应垂直方向的 Haar 小波响应 Ky。图像在某个子区域的特性可通过K x、K y以及|K x|、|K y|4 个数值表现出来, 将所有子区域对应的这 4 个数值进行联合可构成一个 64 维的向量, K x、K y以及|K x|、|K y|的联合表述如下再对 64 维的向量进行归一化处理便可得到特征点的特征描述子。1.3 特征匹配目前较多的图像匹配算法中通常通过计算特征
18、点的最近邻与次近邻, 接着求取最近邻与次近邻的比值, 当最近邻与次近邻的比值小于所设定的阀值时, 则对应的两个特征点被认定为匹配的特征点13。该方法虽然简单易行, 但是其通过搜索最近邻耗时较大, 且匹配精度较低。对此本文提出了一种双向匹配策略, 用于降低特征点匹配时的计算复杂度, 同时提高特征点的匹配准确度。设 S1和 S2分别表示待匹配的两幅图像, 则特征点匹配的具体实现步骤如下:(1) 从 S1中选取任意一个特征点 (x i, yj) ;(2) 以 (x i, yj) 为中心, 构造一个边长为 L 的矩形搜索窗口, 然后通过相关系数法14进行相关计算, 以获取 S2中对应的矩形搜索窗口 (
19、x i+L, yj+L) ;(3) 计算 S2矩形搜索窗口内特征点与 S1中点 (x i, yj) 的准欧氏距离 J, 若 J小于阀值 K 则对应的特征点将被视为候选特征点;(4) 计算所有候选点的差平方和相关测度, 然后选取差平方和相关测度较大的N 个点作为参考点;(5) 将 S2中选出的 N 个参考点作为候选匹配点, 用上述方法进行逆向匹配, 若某个参考点与 S1中的 (x i, yj) 匹配, 则这两个特征点被判定为匹配特征点, 若有多个参考点都与 (x i, yj) 匹配成功, 则取其中相关测度值最大的特征点作为目标点;(6) 迭代以上过程即可完成图像特征点的匹配。1.4 剔除误匹配点
20、匹配完成的特征点中, 由于噪声等干扰因素的存在, 不可避免的会存在误匹配点, 在此采用 PROSAC 方法对错误匹配点进行筛除, 对匹配的特征点进行提纯, 从而完成图像匹配。设 v 和 b 表示一对匹配点对, 若该匹配点对不为误匹配点, 则有式中:F 为基础矩阵15。PROSAC 方法剔除误匹配点的过程为, 首先根据匹配特征点的 SURF 特征描述距离大小, 将特征点进行降序排列16。接着选取前 m 个特征点计算其对应的基础矩阵, 然后对匹配点对计算其到对应的极限距离的平方和, 若该平方和小于阀值 F 则对应的匹配点对被认为是正确的匹配点对。对此过程进行迭代, 直到正确的匹配点对数目达到设定值
21、或迭代次数达到设定的上限。2 实验结果及其分析为了验证本文算法的性能, 在配置为 Intel I5, 3.4GHz 主频处理器, 4GB 内存, 500GB 硬盘, 操作系统为 Windows XP 的 PC 机上, 基于 VS2005 环境下, 采用C+语言实现了本文算法。将文献17, 18中的图像匹配方法设立为对照组, 通过不同算法对模糊变换、缩放变化等环境下的场景图像进行图像匹配实验。2.1 图像匹配算法的匹配效果实验及分析在此, 首先用不同算法对旋转图像进行匹配测试, 图 3 为不同算法对旋转图像进行匹配后的测试结果。然后再使用不同算法对缩放以及噪声、模糊叠加后的图像进行匹配测试, 其
22、测试结果如图 4 所示。图 3 不同算法对旋转后图像的匹配效果 下载原图通过对比图 3 中不同算法对旋转图像的匹配效果可见, 虽然不同算法匹配的图像效果都还好, 但图 3 (e) 中的匹配点数目明显比图 3 (c) 和图 3 (d) 多, 而且图 3 (e) 中的错误匹配点也比图 3 (c) 和图 3 (d) 少, 说明本文算法的图像匹配效果较对照组算法更具优越性。再观察图 4 中不同算法对缩放、噪声、模糊叠加后图像的匹配效果可见, 虽然不同算法匹配的图像中都存在一些较明显的错误匹配点, 但是总体匹配效果还较好, 但仔细将图 4 (c) 和图 4 (d) 与图 4 (e) 进行对比可见, 图
23、4 (c) 与图 4 (d) 比图 4 (e) 中不仅存在较多的错误匹配点, 而且检测到的特征点数量也明显较图 4 (e) 少, 说明本文算法在对多干扰的场景图像进行匹配时具有更好的鲁棒性。因为本文算法设计了双重检测策略来对特征点进行提取, 在通过 Harris 算子对特征点进行粗提取后, 再利用改进的 FAST 算子对特征点进行精提取, 有效的提高了特征点的提取精度, 同时本文还构造了双向匹配策略用于特征点的匹配, 降低了图像匹配的错误率, 也提高了算法的鲁棒性。而文献17中采用了 SIFT 方法进行特征点提取, 该方法提取的特征点为非角点而是圆状点, 导致提取特征点的精度不高, 从而降低了
24、算法的匹配准确度。文献18中利用分割图像的归一化互功率谱进行图像匹配, 由于归一化互功率谱抗干扰性较差, 而且不适用于对灰度差异较大的图像, 故而导致算法鲁棒性较差且匹配效果不佳。图 4 不同算法对缩放、噪声和模糊叠加后图像的匹配效果 下载原图2.2 匹配精度与效率量化分析图像匹配的效率为衡量匹配算法的一项重要指标, 在进行目标追踪等过程中都要求较少的图像匹配耗时。在此将通过从牛津大学仿射协变标准图像集的bikes 子集中, 选取一组图像进行不同算法的效率测试实验。将文献17, 18算法分别记为 A 算法和 B 算法, 以便记录分析。实验结果见表 1。表 1 不同算法进行图像匹配正确特征数量与
25、时耗 下载原表 通过对表 1 中不同算法的匹配效率进行比较可见, 在相同的特征点总数下, 本文算法匹配的特征点数量较 A 算法和 B 算法最多, 而且在耗时上较 A 算法和 B算法也最少, 说明本文算法具有较高的匹配效率。因为本文不仅利用了 Harris算子的快速检测性以及改进的 FAST 算子的精确检测性来提取特征点, 而且在本文设计的双向匹配策略中采用的都是计算复杂度较低的计算方法, 故而在提高提取特征点精度的同时减少了耗时。而文献17中采用 SIFT 方法生成特征描述子后, 再利用 B 样条非刚性配准方法完成图像匹配, 由于 SIFT 方法生成的特征描述子具有 128 维度, 加大了算法
26、的计算量, 增加了算法图像匹配的耗时。文献18中采用傅里叶变换将图像中特征区域进行分割, 然后利用分割图像的归一化互功率谱进行图像匹配, 由于傅里叶变换的计算复杂度较高, 从而降低了算法的效率。3 结束语针对当前图像匹配算法对灰度差异较大的图像进行匹配时, 存在匹配精度低以及鲁棒性差等问题, 本文提出了双重检测策略耦合 PROSAC 方法的图像匹配算法的研究。采用 Harris 算子与改进的 FAST 算子构造了双重检测策略, 利用Harris 算子的快速检测性以及 FAST 算子的精确检测性来提取特征点, 然后设计了双向匹配策略, 通过计算特征点的准欧氏距离以及相关测度完成特征点的匹配, 最
27、后通过采用 PROSAC 方法对特征点进行排序, 计算特征点的基础矩阵剔除误匹配点, 完成图像匹配。实验数据显示:与当前图像匹配技术相比, 本文算法具有更高的匹配精度高与鲁棒性。参考文献1Murat Peker, Fuat Karakaya.SIH:Segmented intensity histogram for orientation estimation in image matchingJ.Signal Image and Video Processing, 2016, 10 (6) :1135-1142. 2Kahak SMM, Nordin MJ, Ashtari AH.Defor
28、mation invariant image matching based on dissimilarity of spatial featuresJ.Neurocomputing, 2016, 175 (PB) :1009-1018. 3Duan Jinming, Pan Zhenkuan, Zhang Baochang.Fast algorithm for color texture image inpainting using the non-local CTV modelJ.Journal of Global Optimization, 2015, 62 (4) :853-876. 4
29、WANG Shuai, SUN Wei, JIANG Shuming.Application of scale invariant feature transform descriptor based on rotation invariant feature in image registrationJ.Journal of Computer Applications, 2014, 34 (9) :2678-2682 (in Chinese) .王帅, 孙伟, 姜树明.基于旋转不变特征的 SIFT描述子在图像配准中的应用J.计算机应用, 2014, 34 (9) :2678-2682. 5T
30、olias Giorgos, Avrithis Yannis, Jgou Herv.Image search with selective match kernels:Aggregation across single and multiple imagesJ.International Journal of Computer Vision, 2016, 116 (3) :247-261. 6CHEN Kai, LYU Wenge, XIE Qinghua.Research on gray image matching based on competitive algorithmJ.Journ
31、al of Sichuan University of Science&Engineering (Natural Science Edition) , 2014, 27 (5) :68-71 (in Chinese) .陈凯, 吕文阁, 谢庆华.基于竞选算法的灰度图像匹配研究J.四川理工学院学报 (自然科学版) , 2014, 27 (5) :68-71. 7GAO Jing, SUN Jiyin, LIU Jing.Hausdorff distance image matching method based on neighborhood gray level informationJ.Co
32、mputer Applications, 2012, 31 (3) :741-744 (in Chinese) .高晶, 孙继银, 刘婧.基于邻域灰度信息的 Hausdorff 距离图像匹配方法J.计算机应用, 2012, 31 (3) :741-744. 8Lourenco M, Barreto JP, Vasconcelos F.sRD-SIFT:Keypoint detection and matching in images with radial distortionJ.IEEE Transactions on Robotics, 2012, 28 (3) :752-760. 9DO
33、NG Xiaoqing, CHEN Hongcai.Improvement to SIFT matching algorithm in uneven illuminationJ.Computer Engineering and Applications, 2016, 15 (52) :222-270 (in Chinese) .董晓庆, 陈洪财.光照变化环境下的 SIFT改进算法J.计算机工程与应用, 2016, 15 (52) :222-270. 10Tony Lindeberg.Image matching using generalized scale-space interest po
34、intsJ.Journal of Mathematical Imaging and Vision, 2015, 52 (1) :3-36. 11ZHOU Lili, JIANG Feng.Image matching algorithm based on FAST and BRIEFJ.Computer Engineering and Design, 2015, 36 (5) :1269-1273 (in Chinese) .周莉莉, 姜枫.基于 FAST 和 BRIEF 的图像匹配算法J.计算机工程与设计, 2015, 36 (5) :1269-1273. 12Besbes B, Rogoz
35、an A, Rus AM.Pedestrian detection in far-infrared daytime images using a hierarchical codebook of SURFJ.Sensors, 2015, 15 (4) :8570-8594. 13Hany Abdelrahman Mohammed Elsalamony.Comparing proposed signature with SURF in object detection processJ.IETE Journal of Research, 2015, 61 (5) :466-474. 14YUAN
36、 Kaimin, WEI Chuntao, ZOU Xuan.Correlation coefficient image correction methods with rotation invarianceJ.Application Research of Computers, 2014, 31 (7) :2220-2223 (in Chinese) .原凯敏, 韦春桃, 邹瑄.一种具有旋转不变性的相关系数影像校正方法J.计算机应用研究, 2014, 31 (7) :2220-2223. 15Song Z, Zhou S, Guan J.A novel image registration
37、algorithm for remote sensing under affine transformationJ.IEEE Transactions on Geosciences and Remote Sensing, 2014, 52 (8) :4895-4912. 16DAI Xuemei, LANG Lang, CHEN Mengyuan.Research of image feature point matching based on improved ORB algorithmJ.Journal of Electronic Measurement and Instrumentation, 2016, 30 (2) :233-240 (in Chinese) .戴雪梅, 郎朗, 陈孟元.基于改进 ORB 的图像特征点匹配研究J.电子测量与仪器学报, 2016, 30 (2) :233-240. 17LU Chaoliang, MA Lihua, CHEN Hao.B-spline non-rigid registration algorithm for infrared image based on SIFTJ.Laser&Infrared, 2014 (7)
