1、内蒙古科技大学本科生毕业设计说明书（毕业论文）题 目：图像拼接方法及其应用研究 学生姓名：杨洪升学 号：1167118201专 业：电子信息工程班 级：电信二班 指导教师：史明泉内蒙古科技大学毕业设计说明书（毕业论文）I图像拼接方法及其应用研究摘 要图像拼接技术顾名思义就是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术，在遥感技术领域、虚拟现实领域、医学图像处理领域等都有广泛的应用。本文首先分析了目前主流科研图像配准和图像融合的算法，重点研究了 SIFT 算法和 Harris 算子，RANSAC 算法的图像拼接，并对其中的一些问题做出了改进和个人的分析。在本文中对于图像的隐试信息，
2、采取了多尺度表示的图像方法解决，在对于图像的各种操作时都是考虑这些基本问题，其中尺度不变的特征用来图像匹配和物体的识别，本文中对 sift 算法在图像拼接中的问题做了详细的概述。基于特征点的图像拼接中，在提取特征点和检测中做了一些详细的研究，在图像的特点上，本文中提出了一种基于 Harris 算法结合鲁棒性较高 RANSAC 算法提纯匹配点，其主要的思想在于去除经典 Harris 算法中出现的特征点聚集，这样大大减少了RANSAC 算法进行图像配准的运算时间。关键词：图像拼接；图像配准；特征提取；图像融合内蒙古科技大学毕业设计说明书（毕业论文）IIResearch on the applica
3、tion of image mosaic method AbstractImage stitching technology is as the name suggests the number of images into overlapping part of a large seamless high resolution image technology, In the field of remote sensing technology, the field of virtual reality, the field of medical image processing and i
4、s widely used in.This paper analysis of the current mainstream algorithms and image fusion, focuses on the SIFT algorithm and Harris algorithm, RANSAC algorithm for image stitching.In this paper for the image of implicit information, solve the image method adopted a multiple solutions representation
5、 for various operations, in the image are considered these basic questions, including the scale invariant features for image matching and object recognition, in this paper, the image matching problem of SIFT algorithm to do a detailed overview.Based on the feature points of the image stitching. This
6、 to do some detailed research on the feature extraction and detection, image features, this paper proposes a Harris algorithm based on RANSAC algorithm with high robustness, which greatly reduced the RANSAC algorithm for image registration computing time.Keywords: image mosaic, image registration, f
7、eature extraction, image fusion.内蒙古科技大学毕业设计说明书（毕业论文）III目 录摘要.IABSTRACTII第一章 绪论 .11.1 图像拼接的研究背景 .11.2 图像拼接的研究意义 .21.3 图像拼接应用领域和研究 现状 .21.3.1 应用领域 .31.3.2 研究 现状 .41.4 图像拼接的特点 .61.5 本文章节的安排 .6第二章 图像拼接关键技术的研究介绍 .82.1 图橡拼接技术的基本流程介绍 .82.2 图像拼接的信息采集和处理 .92.3 图像拼接的配准 .102.3.1 图像配准的原理 .102.3.2 图像配准的方法 .122.4
8、 图像的融合与合成 .15第三章 基于 SIFT 图像拼接算法 .183.1 SIFT 算法的基本原理 .183.1.1 多尺度空间理论 .183.1.2 检测极 值点 .203.1.3 稳定关键点 .213.1.4 局部特性描述 .223.1.5 拼接融合 .223.2 改进算法分析实例 .23第四章 基于 Harris 算法的图像拼接研究 .264.1 角点提取算子 .26内蒙古科技大学毕业设计说明书（毕业论文）IV4.2 Harris 角点检测原理 .264.2.1 柱面投影生成 .274.2.2 Harris 角点提取 .274.3 RANSAC 算法的原理 .294.4 拼接算法的实
9、例 分析 .314.5 本文两种拼接算法的对比 .33第五章 总结与展望 .345.1 本文总结 .345.2 工作展望 .34致谢 .36参考文献 .37附录 .39内蒙古科技大学毕业设计说明书（毕业论文）1第一章 绪论图像拼接应用广泛的数字图像处理的技术。根据不同特征点的之间的相互匹配，就可以将很多张小视角的数字图像拼接成为一张大视角的图像，拼接之后与原始图像很接近，失真较小。开始源于人们的摄影技术，如果相机的视野远小于人们的视野的时候，我们首先想到的是将多个不同的地点的图像拼接成一幅全景图。由于科学技术的脚步不断前进，拼接技术在数字图像处理、卫星图像处理、医学图像处理等领域都有广泛的使用
10、。在上个世纪 80 年代图像拼接技术开始应用于航天技术和宇航照片的处理之上。1.1 图像拼接的研究背景图像拼接在科学技术的各个行业中都有着至关重要的角色，从 1965 年往后，电子技术和计算机技术的快速发展，图像处理技术也进入了一个高速发展的时期，现在广泛应用于医学，军事，航天技术等各个领域。在日常生活中，摄影技术的发展使得我们不满足于图像大小，在争取全景图的同时，往往限制于图像分辨率的问题，种种的情况使得图像的大小和图像分辨率之间存在冲突。当今医学界，图像处理更是无处不在，在 CT 等医学技术到细胞图形学等，医学对于图像的品质和一些处理手段要求是雨来越高，这其中也在医学中促进的图像处理的发展
11、。现代的医学成像系统中的应用也为医生的诊断提供了医疗诊断依据。在一些患者的诊断中，由于图像的距离和角度上发生变化，所以就需要对图像进行配准，用图像拼接技术使得他们的信息综合在一起，这就为医学上的诊断和生理结构和功能提供了更多的信息。在一些外科医学领域中视网膜的激光手术一直是一个医学难题，一些科学家就提出来利用图像拼接的技术来解决这个难题，他们利用相机的镜头运动和平移没有变化，并且将视网膜看经验主义的研究方法做一个二维的曲面，通过变化矩阵间的变换将视网膜的图像拼接成一个完整的全景图，这个在医学方面做出了巨大的贡献。在环境质量检测中也广泛的用到图像拼接技术，通过卫星或者是航空拍到的某一个场景的图片
12、来实现对这一场景的整体检测，比如河流、耕地或者是虫害等一些情况进行整体的检测和实时的监控。在当今的军事作战模式下地理位置和地形特征在战局中起到至关重要的地位，当然这其中涉及到一种红外线的图像拼接技术，根据热成像内蒙古科技大学毕业设计说明书（毕业论文）2的基本原理，物体自然发射出来的红外射线他是可以转变成可以看得见的热图像，也不会受硝烟、大雾、雪的影像，也有良好的识别伪装能力。另外信息多媒体技术的高速发展，多媒体技术也慢慢的网络化了，比如说视频的点播，网上的购物和一些多媒体的访问，多媒体资源慢慢的引起了人们的极大关注。但这些数据中包含了很多的杂乱信息，当然其中也包括一些静止的场景。为了去除这些数
13、据的杂乱信息，便于多媒体的传输。也涉及到了图像拼接技术，上述技术的应用能够让图像处理更快的步入到商业化和实用化，也为我们的生活带了诸多方便。1.2 图像拼接的研究意义近些年来随着高新科技的告诉发展和一些相机和摄像产品的普及，更多的涉及到图像处理这项技术了，在早期，用相机来拓宽视野经常需要调整相机的焦距来获得相对完整的图像，但伴随着问题是产生的图像的分辨率会比较低，当然是用一些高档的相机也可以避免这个问题，但是往往这些设备比较昂贵，也不容易操作。在普通的家庭中不适合是用。当我们用到图像拼接技术的时候，这个问题就可以轻松的解决，消除我们的一些盲区，同时也能得到一幅大型的无缝高分辨率的问题。这些年来
14、，图像拼接技术的告诉发展也改变我们对于传统的测量的认识，所应用的技术和成熟度也较以往有了直观的改变。图像处理的方法也是实现比较准确、快速将多个场景拼接在一起，让我们感受到真是的感觉。图像拼接是图像处理当中一个重要的研究分支，也是计算机图像学等领域的重点研究课题，其中还涉及到科学技术的多个方面，包括地质的勘探、视频的传输和检索以及数学的建模等都有广泛的应用。就目前来说，图像拼接的一个成功的应用案例就是虚拟现实技术，它是用计算机生成一幅三维的图像，可以使用户通过专门的设备技术在一个虚拟的环境中看到实物的整体概况，也可以进行相互的考察和控制，倒是随着这些技术的告诉发展，也滋生出更多的不足，这也在我们
15、发现不足，改变不足中继续的创新与发展。总体来说吧，图像的拼接技术给我们带来的不止是科学上的进步，也是我们普通人在视觉上、听觉上以及触觉上带了不一样的感受，让我们在学你中体会到真是的一种感觉。1.3 图像拼接应用领域和研究现状关于图像的拼接国内外研究已经有很久的时间了，应用领域也是十分的广泛，可以内蒙古科技大学毕业设计说明书（毕业论文）3说是上至天文，下至地理都有图像处理的研究领域和应用领域。本文就当前的研究现状和应用领域做一个简短的介绍。1.3.1 应用领域就像 1.2 节中提到的那样，图像拼接的应用领域十分的广泛，几乎是科学的各个行业都要涉及到图像的处理，而图像的拼接的技术在计算机图形学以及
16、虚拟技术等方面应用更为广泛，在研究中也占有比较大的比重。以下做一个详细的介绍。1) 虚拟现实技术虚拟现实技术通俗的说就是利用计算机技术自动生成具有三维的视觉、听觉和触觉环境，用户可以使用专门的设备和虚拟环境进行交互行为。在这个技术运用于全景图生成的时候，图像处理的技术也就发挥着重要作用，其中图像的拼接更是不可少的一个重要的部分。下图是描述生成全景虚拟图的过程图 1-1 虚拟全景图生成的过程2) 医学图像的处理在医学的领域，关于图像拼接的应用更是无处不在，随着高新科学技术的发展，一些高端的医疗设备出现在现实生活中，这也引发了医学图像的大发展。在 CT 和 X光照，还有细胞的图像，都对这些图像的处
17、理有很高的技术要求。这些技术也都是在处理医学问题上所解决的过程中产生的。比如一些外科手术，早在上世纪 80 年代Alican Charles 和 V.Stewart 等就有关于利用图像的拼接技术对人的视网膜进行整体的构建。这也为医学界做出了巨大的贡献。另外看一下病变的几张图像和配准后的图像。内蒙古科技大学毕业设计说明书（毕业论文）4图 1-2 人体大脑出病变的图像拼接图(a)和图(b)是 MRI 图像，但是方位不同，图 (c)是两张图像特征点的匹配，图(d)是两幅图像配准拼接以后的图像。虽然来说图像拼接几乎应用于所有的技术领域，但是其技术的发展还不是很成熟，在一些医疗和诊断上还是有不小的进步。
18、3) 军事领域应用图像拼接技术在军事上也有广泛的应用，在军事上获取某一个地域的动态信息是一件很重要的事情，这也关乎到战争的胜利，比如全景图可以原来描述这个地区的动态信息，也就是在同一个区域内对目标的运动和其运动的轨迹得到一个可靠的侦测。另外还有一些环境地域的复杂性，一些光电系统和来打侦测系统，目标存在一定的不确定性和多样性，要是只靠单一的传感器，也能是给出一部分的特征信息，所以这样就不能在军事上得到应用，随之而来的就是多传感器和多种技术同时处理也得到青睐，在获得多个对同一个事物的多种信息在军事上是很重要的一件事情。这种技术在很多国家都有研究，例如一些欧洲国家和美国等发达国家都在研究一种适用于复
19、杂环境下快速得到全天图像的多元信息，以备制定下一步的作战计划。1.3.2 研究现状数字图像处理这门技术已经在国内外研究很多年了，在图像拼接的领域更是研究的热门，其实在研究的目标中可以归纳为追求更高的分辨率和更为广阔的视野。这些年来借助计算机，在图像拼接研究方面也有了很大的突破。在图像拼接的原理上，许多研究成果已在国内外广泛应用。但是就目前的技术而言还是没有得到人们想象的那样快速的和高效的得到一个图形的拼接图像。在各国科研工作者的研究中，对于图像拼接的关键技术的研究是倍受青睐，图像的特征点提取和配准一直是拼接技术的关键所在，在二十世纪 70 年代的时候 Milgram 就曾经发表过这样的文章，他
20、是通过照相机的拼接技术来叙述了资源卫星得到的比较高的分辨率的图像拼接，有人就提出了相位内蒙古科技大学毕业设计说明书（毕业论文）5相关的原理，对图像进行傅里叶的变换，再进行配准和平移。然而在八十年代的时候，Harris 提出的角点检测方法对相位相关的方法做了改进和创新，在对提取到的角点具有平移和选择不变形，他是使用自相关来确定信号二维变化的方位，采用一阶差分运算，提高的拼接的速度和效率。早在本世纪出就有人在前人的基础上提出了自适应的模型。他是根据不同的技术模型来适应不同的相机，最后通过图像的分割和最后的投影和进行拼接。这里要着重了解一个理论，这个理论的提出人也是图像拼接的奠基人，也就早在上世纪九
21、十年代的时候，由 Richard Szeliski 根据全景图像的模型提出 L-M 算法，由于这个算法的高效性和可以处理多种变化图像拼接，也因为这也就成为图像拼接领域经典的算法，直到现在还在有人研究这个理论。在图像的配准上面，特征法的配准也算是比较主流的方法，在具有突出性的图像中，稳定，均匀等特点和对特征点计算小，速度快的特点，也是现在特征点提取应用广泛的方法，最早在研究这个特征的图像拼接方法是上世纪 90 年代的BlaszkaT，Rachid Derche 等人，他们是利用二维的高斯模糊过滤来获得一些看似低级的特征图像的模型，比如定点模型，这个理论的提出也使得很多科学工作者研究基于图像特征的
22、图像拼接研究。后来有人就采用了多尺度小波变换的分析理论，对图像进行小波变换，然后计算出小波变换后的数值，然后在对应图片中的特征点。在国内，关于图像研究起步还是比较晚的，但是研究的速度很快，可以说是站在巨人的肩膀上看远方。在九十年代中后期，关于图像拼接的技术在开始成为国内科学工作者研究的热门，20 世纪出我们的研究真正的达到了世界水平，也是达到了顶峰，这其中也包括了王小睿等科学者提出来的半自动的图像配准方法，还有王祖勋等人就不同传感器和不同的分辨率提出的采用多级影像技术对图像进行拼接和配准。还有几年的国家重点实验室和中国科学院采用的模板匹配的方法来确定两张图像边缘的重叠区域，然后在得到拼接后的图像，这种方法后来运用到了医学上，就微血管的循环等医学影像研究做出了突出的贡献。这些年来，图像拼接的研究是越发的红火，各种算法的层层出现也给了科学工作者不少的启发，也在这方面取得了不小的成效。SIFT 算法的引进、RANSACN 算法的改进，进行匹配，都很好的减少了计算，也缩小的拼接时候带来的误差，提高了拼接的稳定性。尽管出现了各种的算法，其实在研究方向上还是区域的配准和特征的配准。在于这么多算法的应用，还是在于灵活。
