1、一种应用于无人机航拍图像的匹配方法 王振华 郑培枫 隋晓锋 李涛 付光涛 郭晓强 魏娜 新奥特(北京)视频技术有限公司 国家新闻出版广电总局广播科学研究院 摘 要： 本文提出了一种基于地理信息标识的图像匹配方法, 应用于无人机航拍图像的自动匹配与识别。首先, 接收无人机通过 4G 传输的图像数据与 GPS 信息;其次, 根据 GPS 信息读取数据库中对应的地理信息特征点数据;最后, 使用特征点完成图像匹配。为加快匹配速度, 使用 SURF 特征代替 SIFT 特征完成运算。实验结果表明, 本文提出的方法能保证速度的同时完成有效匹配, 能够对航拍视频进行实时处理。关键词： 地理信息; 航拍; 图
2、像匹配; SURF 特征; 基金：国家科技支撑计划课题 No.2015BAK05B02基于新闻事件理解和地理信息识别的新闻虚拟化制作关键技术研发和应用示范1 引言随着多轴无人机的迅速发展和普及, 无人机航拍技术被应用到越来越多的领域, 对无人机航拍图像的匹配与识别也成为研究的热点。图像匹配与识别是计算机视觉领域研究的主要课题之一, 目的是为了在更多的领域提供更为可靠的匹配算法。图像匹配与识别是多种技术的综合运用, 广泛应用于人工智能、安全防护、无人机航拍、辅助驾驶、图像遥感、计算机视觉等诸多领域。对于航拍图像的匹配识别主要存在两个方面的难点, 一是匹配的精度能否符合要求, 二是匹配的速度是否能
3、满足实时处理的需求。在航拍图像匹配中, 基于场景纹理、特征点、特定标记信息等各种算法的匹配精度和性能各有差异, 优劣性尚缺乏统一的评判标准。由于航拍范围大、视野广、场景复杂, 提高匹配的精度一直是难点和算法的核心;处理速度方面则存在运算性能瓶颈, 原因是对视频图像进行处理时需要消耗大量的 CPU 和 GPU 资源, 并且随着高清视频的普及, 处理的速度将会遇到更大的挑战。同时, 数据样本集也占用较大存储空间, 匹配中对样本集的处理也要消耗大量的计算机资源。为此, 提出一种基于地理信息标识的图像匹配方法, 完成无人机航拍图像的自动处理。通过在摄像机镜头上加装变焦和聚焦跟踪器, 可以实时计算当前摄
4、像机视角大小, 结合当前 GPS 定位参数和摄像机的海拔高度信息, 可以测算出当前摄像机视场包括的微观经纬度范围。以此范围作参考可以在地图特征匹配中缩小搜索范围, 显著提高搜索速度, 然后通过数据库中的地理信息特征点完成图像的匹配和识别。无人机航拍的视频分辨率为 19201080, 帧率为 25FPS, 编码为 H.264 格式, 通过 4G 实时回传。在接收端进行解码、处理分析、地理信息事件提取和渲染输出。2 方法的提出无人机航拍的视频分辨率较高, 解码后每一帧的数据大小为 6620800Byte, 帧率为 25FPS, 各种匹配算法均不能很好满足实时性处理的要求;并且无人机在飞行中的速度并
5、不高, 短时间内经纬度变化并不明显, 因此考虑使用抽帧和降采样的方式对视频进行处理。为了提高匹配运算的速度, 使用 SURF 特征替代 SIFT 特征。SURF 算法是对 SIFT算法的一种改进, SURF 的全称是 Speed-up Robust Features (加速健壮特征) , 可以在适中的条件下完成两幅图像的实时匹配。SURF 算法与 SIFT 算法在构造图像金字塔时不同之处就是 SURF 采用了 Hessian 矩阵行列以近似图像, 图像上的像素点的 Hessian 矩阵可以表示为式 (1) 。其中 是高斯滤波后图像 在各方向的导数。为了找出图像中的特征点, 需要对原图进行变换,
6、 该变换图就是原图每个像素的 Hessian 矩阵行列式的近似值构成的, 如公式 (2) 所示。其中, 0.9 为经验值。为了提高速度, 使用积分图像来计算像素的 H 矩阵。积分图像, 就是当前的每个像素的灰度都是它与坐标原点 (0, 0) 形成的对角线的矩形内的所有像素的灰度值之和。SURF 算法使用积分图像来计算像素点对应的 Hessian 矩阵, 通过改变高斯模版尺度建立高斯金字塔, 该算法在保持 SIFT 算法优良性能特点的基础上, 解决了SIFT 计算复杂度高、耗时长的问题, 对兴趣点提取及其特征向量描述方面进行了改进, 具有对尺度和旋转的鲁棒性, 且计算速度得到提高。把无人机的地理
7、位置信息、飞行姿态信息和图像视频建立对应关系, 并把此地理信息和飞行姿态信息经编码后和图像的特征点一起存入数据库中, 作为样本特征点集。在匹配中直接使用数据库中的特征点集和接收到的视频数据进行匹配, 这样处理的优点:一是通过地理和姿态信息的限制减少搜索范围, 减少无效运算;二是减少无匹配, 提高匹配精度;三是把特征点样本数据存入服务器, 代替图像或视频, 减少存储空间;四是匹配运算中直接使用特征点, 减少了处理过程中特征点提取步骤, 提高了处理性能。3 基于 GPS 信息和地理信息建立特征点数据库当前, GPS 导航为主要的导航方式, 无人机的位置通过 GPS 信息进行描述。在无人机飞行的过程
8、中, 可以通过 GPS 信息作为位置参照系, 和视频图像建立关系, 来表征某一区域范围内的图像序列, 即地标信息。其中, 每个特征点数据包括的数据如表 2 所示。原始图像和图像的特征点如图 1 所示。4 视频图像匹配接收到无人机通过 4G 传输的视频图像和 GPS 信息后, 视频解码成 RGB 格式的图像序列, 并和 GPS 建立对应关系。以 GPS 信息作为参照, 查询一定范围内的地标数据库, 得到此范围内所有地标图像的特征点集。考虑到在较短时间内, 无人机位置变化不大, 因此, 在查询数据库时, 两次查询之间要有一定的时间间隔和范围间隔。查询到的特征点集与 4G 传回的图像序列进行匹配,
9、流程如图 2 所示。表 1 下载原表 表 2 下载原表 图 1 原始图像和检测到的特征点 下载原图图 2 视频图像匹配流程 下载原图5 实验结果实验中使用无人机在某会议中心现场拍摄, 通过 4G 传回视频, 码率约为12.5Mbps, 图像分辨率为 1080i, GPS 信息每秒更新一次。由于视频中存在大量冗余信息, 在视频处理过程中, 采用每秒抽取一帧的方式进行匹配处理。实验中, 这种处理方式完全能够满足性能要求。实验结果如图 3 (ac) 所示。处理性能如表 3 所示。图 3 (a) 实验结果 1 下载原图图 3 (b) 实验结果 2 下载原图图 3 (c) 实验结果 3 下载原图表 3
10、下载原表 经过多次实验, 使用 SURF 特征点匹配效率得到提高, 匹配的鲁棒性很好, 但匹配的准确性比 SIFT 稍差。当场景较远时, 或出现较大幅度旋转, 匹配点减少, 错误匹配率增加, 并且可能出现漏匹配现象。由于本文的匹配过程中使用了基于 GPS 的数据库特征点信息, 在处理的过程中省略了模版特征点的提取, 处理的速度得以提高。6 结束语本文研究了应用于无人机航拍视频图像的匹配方法, 使用 SURF 特征点进行匹配, 并比较了与 SIFT 特征匹配的优点和缺点。在本文中, 利用了无人机的 GPS 信息, 并构建了基于 GPS 信息的特征点数据库, 减少了存储的数据量, 省略了模版图像特
11、征点提取的运算步骤, 使运算速度再次提升。本文提出的匹配方法主要应用于低空无人机的航拍图像, 特点是目标轮廓较清晰, 可视范围不大且区域内地标数目较少。至于使用本方法应用于高空无人机航拍图像或遥感图像, 有待进一步研究或验证。参考文献1何敬, 李永树等.基于 SIFT 特征点的无人机影像拼接方法研究J.光电工程, 2011 (2) :122126. 2陈艺虾, 孙权森等.SURF 算法和 RANSAC 算法相结合的遥感图像匹配方法J.计算机科学与探索, 2012, 6 (9) . 3杜江, 陈建华等.景象匹配算法 SURF 和 SIFT 匹配性能研究J.机械与电子, 2014 (3) :1013. 4余静, 游志胜.自动目标识别与跟踪技术研究综述J.计算机应用研究, 2005 (1) :1215. 5梁艳菊, 苏君, 陈大鹏.采用 SURF 特征的图像拼接融合算法J. 6何宗, 牟玉香, 郑雄伟.基于 GPS 的遥感图像纠正J.测绘工程, 2005, 14 (3) .
