基于彩色描述子SIFT的三维重建系统.doc

1、项目编号： 吉林大学“大学生创新创业训练计划”创新训练项目申请书项目名称 基于彩色描述子 SIFT 的三维重建系统 项目负责人 所在学院、年级、专业 软件学院 2013 级 软件工程 联系电话 电子邮件 指导教师姓名 1 职称 指导教师姓名 2 职称 填表日期 20 年 月 日 吉林大学教务处制表填表须知一、本表适用于创新训练项目。本科生个人或团队，在校内导师指导下，自主完成创新性实验方法的设计、设备和材料的准备、实验的实施、数据处理与分析、总结报告撰写等工作。二、申报书请按顺序逐项填写，实事求是，表达明确严谨。空缺项要填“无” 。三、申请参加大学生创新训练项目团队的人数为 35 人。四、申

2、请项目，必须聘请教师作为指导老师，并请指导教师在申请书中的指导教师意见栏中签署意见。五、填写时可以改变字体大小等，但要确保表格的样式不变；不得随意涂改；A4 纸正反面打印，左侧装订。六、本表由项目负责人报所在学院初审，学院签署初审意见后报送教务处实习与实验教学科（一式 3 份原件） 。七、 “项目编号”由教务处填写。八、申报过程有不明事宜，请与教务处实习与实验教学科联系，电话85166413。项目名称 基于彩色描述子 SIFT 的三维重建系统项目起止时间 2015 年 5 月 至 2016 年 5 月姓名 学院 专业 教学号 联系电话 E-mail QQ 各类实验班负责人院 工程 是 否工程

3、是 否学院 工程 4 是 否学院 工程 1 是 否项目组成员是 否姓名 职务/职称所在单位联系电话 E-mail指导教师1 对本课题相关领域研究情况中国系统仿真学会仿真计算机与软件专业委员会委员，作为主要研究人员长期参与智能信息系统与嵌入式技术、计算机图像处理与可视化领域的研究，能够指导学生完成该项目。姓名 职务/职称所在单位联系电话 E-mail指导教师2 对本课题相关领域研究情况项目性质1.小发明、小创作、小设计（ ）2.开放实验室或实习基地中的创新性实验或新实验开发（ ）3.基础性研究（ ） 4.应用性研究（）5.社会调研 （ ）项目选题来源1.自主立题（）2.教师科研课题的子项目（ ）

4、项目学科类别 计算机科学与技术项目受其他渠道资助情况（填“无”或具体资助来源和经费，包括获奖情无况）一、立项背景和依据（包括研究目的、国内外研究现状分析与评价、研究意义，应附主要参考文献及出处）人类利用眼睛以及大脑来获取视觉并感知外部世界。视觉，不仅是指对光信号的感受，它还包含对视觉信息的获取、传输、处理、存储以及理解等整个过程。计算机及数字信号处理理论出现后，人们开始利用摄像机来获得环境图像并将其转换为数字信号，通过计算机来实现对视觉信息处理的全过程，这样，就形成了一门新兴的学科计算机视觉1，也称机器视觉。计算机视觉涉及到多个学科，对其进行研究需要了解包括计算机、信号处理、模式识别、控制理论

5、、神经网络、数学以及神经生理学等方面的知识。计算机视觉的研究范围也相当广泛，主要包括：目标检测与识别、边缘提取、摄像机定标(Camera Calibration)、特征点提取与匹配以及三维重建等方面。SIFT 特征匹配算法由 Lowe 在 1999 年首次提出，2004 年完善并做出详细的总结和实现方法，是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换依然保持不变性的基于特征的匹配算法。该算法能提取稳定的特征点，并处理两幅图像之间发生平移、旋转、仿射变换、视角变换等情况下的匹配问题，具有很强的鲁棒性，是目前匹配性能最好的，研究最广泛的一种基于特征的配准算法。在 SIFT 算法被提出后，国内外

6、众多学者做了大量的改进研究，以提高特征匹配速度和匹配性能，尤其在基于灰度信息的 SIFT 改进算法上做了大量工作。在降维处理方面最著名的是 Yan ke 在 2004 年提出的 PCA-SIFT 算法，他将主成分分析技术(PCA)应用于梯度图像，以获取 PCA-SIFT 特征向量进行图像匹配。该算法能够有效去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构，提高了 SIFT 特征描述向量的鲁棒性和匹配性能，同时减少了匹配时间2 。2005 年，Mikolajczyk K 为增加描述子的鲁棒性和独特性，提出了 GLOH(Gradient Locationand Orienta

7、tion Histogram)算法。该算法将 SIFT 的 4x4 的子块改成仿射状的对数-极坐标同心圆，然后生成 272 维特征向量，并用 PCA 对特征向量进行降维处理3 。2005 年，Mikolajczyk 和 Schmid 在图像发生仿射变化、尺度变化、旋转变化、模糊、jpeg 图像压縮和光照变化等情况下，对 PCA-SIFT、SIFT.GLOH 、形状上下文、旋转图像、可控滤波器、微分不变性、复数滤波器、矩不变性的描述子进行了对比实验，并对性能进行比较。结果表明，在以上各种变化的情况下，SIFT 描述子的性能最好。2006 年，Bay 在 SIFT算法基础上结合积分图像和 Haar

8、 小波提出了具有尺度不变性和旋转不变性的 SURF 算法4 ，进一步提高了特征匹配速度和匹配精度，但不具有仿射不变性。2009 年李伟沈将 KPCA 应用于 SIFT 特征描述子，提出一种 KPCA-SIFT 算法，克服了 PCA-SIFT 算法存储空间和复杂度较大的问题5 。2009 年，纪华等人提出一种结合全局信息的 SIFT 特征匹配算法，解决了图像中存在多个相似区域造成误匹配的问题6。 2010 年， Xiangzeng Liu 等人将 KICA 应用于 SIFT 特征描述子，改善了经典 SIFT 特征描述子的仿射不变性和匹配速度7。 2011 年，刘向增等人针对 SAR 图像的配准，

9、提出一种利用快速核独立成分分析提取仿射不变 SIFT 描述子的独立成分构建 FKICA-SIFT 描述子的方法8。颜色是一种重要的图像特征，它通常与图像中所包含的物体或场景有关，并描述了图像中的物体或场景的表面性质。颜色特征与其它的视觉特征相比，对图像的大小、方向、视角的变化不敏感，鲁棒性较强。如果忽略颜色信息，那么一类重要的描述物体特征的方式就丢失了，由此会造成目标识别或分类的错误，因此，引入颜色信息作为一种局部特征是十分有意义的。目前，众多学者开始对各种基于颜色信息的 SIFT 算法进行总结以及对其性能作评价和对比，并应用在图像识别和分类、目标跟踪、图像检索以及三维重建等方面。三维重建经过

10、几十年的发展，出现了很多种方法。立体视觉作为计算机视觉的一个重要分支和研究热点，它是研究如何模仿人类视觉的立体感知过程的技术。采用立体视觉方法对物体进行三维重建，是指用数码相机(摄像机)作为图像传感器，综合运用图像处理、视觉计算等技术，用计算机程序自动获取物体的三维信息。立体视觉直接模拟了人眼的工作模式，可以在不同工作条件下获得目标的三维信息，计算非常灵活，这是其它计算机视觉方法很难完成的，因此对立体视觉展开研究，从视觉生理以及工程应用的角度两方面都非常有意义，该方法是三维重建的一个重要发展方向。近几年，随着科技的发展，成像设备的硬件制造成本不断下降，数码相机或者数码摄像机已经能够进入寻常百姓

11、家。目前只要在网络上输入任意一个关键词均可搜索到大量关于所搜索内容的数字图片。利用基于图像的三维建模技术，我们可以直接根据这些图片恢复物体的三维几何结构，而且可以从图片中抽取三维点所对应的颜色值，从而构建出非常逼真的三维模型，给人以强烈的视觉震撼910。由于基于图像的三维重建需要的设备比较简单，因此它的研究成果将具有重大的应用前景，具备很大的应用价值。三维重建的用途相当广泛，它可以用于机器人导航、视觉监控、建筑制造等众多行业。同时在计算机虚拟现实、文物数字化、基于图像的绘制、影视特技等领域也有广泛的应用。目前，在军事、航天等领域同样可以见到基于图像的三维重建技术的身影。在军事上，我们可以利用机

12、载相机拍摄的地面目标的一系列图像来获得要侦察或者打击目标的三维信息，为指挥员提供全方位的信息以便实现精确打击。在应用于航空、航天遥感时，可以对目标进行侦察与识别，尤其是目前我国正在大力进行探月工程研究，利用三维重建技术可以利用探测车自身携带的图像设备直接获得月球表面的三维环境信息。图像中都包含有大量的信息，这些信息是以图像点的方式存在，但是并不是所有的图像点都对三维重建过程产生帮助。只有那些比较特殊的图像点，它们跟其周围的图像点之间存在着明显差别，这些点被称作特征点(feature point)。如果我们能够在两幅图像中分别获得这些特征点的二维坐标，就能够利用它们进行三维重建。对特征点的检测与

13、提取需要利用自动检测技术。11对拍摄的两幅图像的要求是要有足够的重叠区域以保证能够检测到足够多的匹配点。而能否提取并匹配到稳定准确的特征点是三维重建能否成功的关键。就目前存在的特征点检测算法来说，SIFT 是一种比较有效且应用广泛特征提取算法。在研究基于颜色信息的 SIFT 描述子基础上，可以设计出具有更高复原度的三维重建系统。参考文献1 马颂德,张正友.计算机视觉计算理论与算法基础M.北京: 科学出版社,1998.2 Ke Yan, Sukthankar R. PCA-SIFT:A more distinctive representation for local image descrip

14、torsC. Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition. Washington DC, USA: IEEE Computer Society,2004: 506-513.3 Mikolajczyk K, Schmid C. A performance evaluation of local descriptorsJ. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10):1615-16

15、30.4 Bay H, Tuytelaars T, Gool L. SRUF: Speeded up Robust FeaturesC. Proceedings of the 9th European Conference on Computer Vision. Graz : IEEE Computer Society, 2006: 404-417.5 李伟沈,振废.基于 KPCA-SIFT 描述符的配准j.信号处理, 2009, 25(4): 644-648.6 纪华,吴元昊,孙宏海,王延杰.结合全局信息的 SIFT 特征匹配算法J.光学精密工程,2009, 17(2): 439-445.7

16、 Liu X Z, Tian Zh, Leng Ch C. Remote sensing image registration based onKICA-SIFT descriptorsC. Proceedings of the Seventh International Conferenceon Fuzzy Systems and Knowledge Discovery. Yantai, Shandong : IEEE, 2010:278-282.8 刘向增,田铮,史振广,陈占寿.基于 FK1CA-S1FT 特征的合成孔径图像多尺度配准J. 光学精密工程,2010, 19(9): 2186-

17、2195.9 汤伯超. 基于 SIFT 算法的图像特征描述方法研究 D. 广东工业大学, 2012.10 彭科举. 基于序列图像的三维重建算法研究D. 国防科学技术大学, 2012.11 赵璐璐, 耿国华, 周明全, 等. 一种用于三维重建的彩色 Sift 准稠密匹配算法J. 计算机应用研究, 2012, 29(9): 3543-3546.二、项目研究内容（项目主要研究内容；拟解决的关键问题、重点和难点）(1)通过增加色彩信息对 SIFT 算法进行改进。SIFT 算法是一种基于尺度空间的，对图像缩放、旋转甚至仿射变换依然保持不变性的特征匹配算法。但经典 SIFT 算法的特征描述子由灰度图像生成

18、，忽略了颜色信息，造成图像的匹配性能下降。目前，出现了多种针对彩色图像 SIFT 算法，如 HSV-SIFT, OpponentSIFT, W-SIFT 和 RGB-SIFT 等。这些彩色图像 SIFT 算法都是通过分别计算三个通道的 128 维特征向量，然后合成一个 3*128 维的特征向量，最终完成彩色目标匹配。但在光照变化时这些算法匹配效率普遍不高，而且它们的特征向量维数远远高于经典 SIFT 算法的 128 维，时间大大增加。SIFT 算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT 所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变

19、化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。 颜色是一种重要的图像特征，它通常与图像中所包含的物体或场景有关，并描述了图像中的物体或场景的表面性质。颜色特征与其它的视觉特征相比，对图像的大小、方向、视角的变化不敏感，鲁棒性较强。如果忽略颜色信息，那么一类重要的描述物体特征的方式就丢失了，由此会造成目标识别或分类的错误，因此，引入颜色信息作为一种局部特征是十分有意义的。本项目拟通过对 SIFT 描述子色彩丰富度的增加，进一步增强图像匹配的可靠性和鲁棒性，均衡匹配时间与匹配效率，从而更好的应用于三维重建系统的设计。(2)三维重建系统的设计目前只要在网络上输入任意一个关键词均可搜索到大量关于所

20、搜索内容的数字图片。利用基于图像的三维建模技术，我们可以直接根据这些图片恢复物体的三维几何结构，而且可以从图片中抽取三维点所对应的颜色值，从而构建出非常逼真的三维模型。每幅图像里面都包含有大量的信息，这些信息是以图像点的方式存在，但是并不是所有的图像点都对三维重建过程产生帮助。只有那些比较特殊的图像点，它们跟其周围的图像点之间存在着明显差别，这些点被称作特征点(feature point)。如果我们能够在两幅图像中分别获得这些特征点的二维坐标，就能够利用它们进行三维重建。对特征点的检测与提取需要利用自动检测技术。在得到了两幅图像的特征点后，还需要对它们进行匹配以获得对应点。特征点的检测以及匹配

21、过程不可避免地会引入误差与误匹配，因此，必须要有鲁棒性的策略来去除错误匹配的影响，从而使得重建过程具有鲁棒性。对拍摄的两幅图像的要求是要有足够的重叠区域以保证能够检测到足够多的匹配点。而能否提取并匹配到稳定准确的特征点是三维重建能否成功的关键。就目前存在的特征点检测算法来说，SIFT 是一种比较有效且应用广泛特征提取算法。本项目将利用改进的 SIFT 算法设计一种三维重建系统，该系统可以更为准确高效的匹配图像中的特征点，从而完成多幅二维图像到三维模型的转换。重点和难点: （1）SIFT 算法是通过分别计算三个通道的 128 维特征向量，然后合成一个 3*128 维的特征向量，最终完成彩色目标匹

22、配。SIFT 算法提取的是灰色描述子，在算法中增加色彩信息，必然导致信息量的增加，将会带来很高的时间复杂度。利用色彩信息改进 SIFT 算法，并均衡匹配时间与匹配效率，是本项目必须要解决的关键问题。（2）三维重建是一种较为复杂的系统，设计该系统需要研究者有着较高的理论基础以及编程实践能力，本项目力求做出一套准确高效的三维重建系统，其图形界面的开发以及整体的框架设计是本项目需要解决的另一个重要问题。三、项目特色及创新点（1）利用颜色信息改进 SIFT 算法，进一步提高其匹配能力，并利用降维方法和并行技术有效降低算法时间复杂度，使其具有更广泛的应用价值。（2）设计一套具有可视化界面的三维重建系统,

23、将改进的 SIFT 算法应用于三维重建,从而提高三维重建系统的准确性和效率。四、申请理由（1、团队条件自身/团队具备的知识、素质、能力、特长、兴趣；2、前期准备基础等）计轩,男,软件学院软件工程本科生,2013 级 6 班学生 ,学习刻苦,成绩优异,专业知识扎实,有良好的团队合作精神,具备创新能力。有较强的论文写作能力,思维严谨缜密,能够胜任撰写论文、研究报告及算法分析等工作。沟通能力强,能较好地协调组内关系,合理安排各组员的任务,从而发挥团队的力量。徐璐,女, 软件学院软件工程本科生,2013 级 9 班学生,学习努力,态度认真，了解科研过程专业知识扎实，自学能力强，具有较强的团队协作能力，

24、积极参加各种活动，具有扎实的数学功底，熟练掌握 C/C+等多种编程语言，具有较强的算法实现能力和软件开发能力。曾获二等奖学金，单项奖学金、院优秀学生等荣誉。苏晓春，女，软件学院软件工程本科生，2013 级 9 班学生，勤奋好学，成绩优异，专业知识扎实，自学能力强，具有较强的团队协作能力，积极参加各种活动，具有扎实的数学功底，熟练掌握 C/C+等多种编程语言，具有较强的算法实现能力和软件开发能力。曾获二等奖学金，单项奖学金、院优秀学生等荣誉。陈叶凝，女，软件学院软件工程本科生，2013 级 9 班学生，院学生会少民部干事，有较强的文字表达能力，英语阅读及表达能力较好。学习认真，成绩优秀，有很强的

25、自学能力，具有较高的编程水平，较好的掌握了项目所需的专业知识。五、项目实施方案（研究思路和方法,实施计划、技术路线、人员分工等）研究方法与技术路线： SIFT三维重建基本框图（1）利用色彩信息改进 SIFT 算法SIFT 算法是一种基于尺度空间的，对图像缩放、旋转甚至仿射变换依然保持不变性的特征匹配算法。经过对 SIFT 算法的分析,可知 SIFT 算法的实质是在不同的尺度空间上查找关键点，并计算出关键点的方向。经典 SIFT 算法的特征描述子由灰度图像生成，忽略了颜色信息，造成图像的匹配性能下降。但是颜色是一种重要的图像特征它通常与图像中所包含的物体或场景有关，并描述了图像中的物体或场景的表

26、面性质。颜色特征与其它的视觉特征相比，对图像的大小、方向、视角的变化不敏感，鲁棒性较强。如果忽略颜色信息，那么一类重要的描述物体特征的方式就丢失了，由此会造成目标识别或分类的错误，因此，引入颜色信息作为一种局部特征是十分有意义的。本项目将把具有色彩信息的描述子引入 SIFT 算法,从而提高算法的准确性和鲁棒性,使得在三维重建系统的生成更为精准.（2）三维重建步骤研究及算法设计基于图像特征的匹配算法具有计算量小、算法速度快、高效、精确等特点，吸引了更多研究者的精力。通常情况下，很难完全描述特征点之间的关系。用来描述特征点集之间距离的描述子必须在用来匹配图像时必须具有较高的精确度和效率，而且必须满

27、足以下三个要求.(1在图像发生平移、旋转和尺度变化时具有不变性;(2)必须具有独特性，也即同一点集之间的距离必须是 0;(3)对相关联的个别点之间的改变须具有不敏感性。在本项目中的此步骤上特征点应有已经改进好的基于特征点集不变性的图像匹配算法,即改进了的 SIFT 算法,进行提取.能进行更为准确高效的进行图片匹配。对摄像机进行标定,获取图像.在获取图像后,利用计算机图形学相关知识,通过透视变换,错切变换,相似变换等进行图像校正。进行二次匹配，计算视差.可以选用基于窗口的灰度匹配 ,基于窗口的稀疏点匹配 ,基于窗口的稠密点匹配,以上三种方法。获取空间点 ,点云对齐，拼接。多视角点云数据的拼接方法

28、可以分为两步。1 首先利用离散的特征进行匹配的方法实现粗配准,2 再使用迭代最近点算法(ICP)算法进行精确配准。之后实现曲面重构。可采用分治算法 ,逐点插入法, 三角网格生长法以上三种方法。最后进行纹理贴图, 可采用纹理映射,凹凸映射,环境映射以上三种方法。（3）三维重建系统开发与测试研究小组成员进行研讨,进行早期框架设计,编写相应代码.实现基本功能后,加入可视化界面的使用.项目该阶段将实现一个可视化、易操作的可实行三维重建的应用软件。该软件可以根据用户提供的多幅图片,进行简单操作后进行三维重建.该软件将产生最新效果图对算法结果进行呈现，使研究人员对于算法运行结果有更直观的认识。研究人员可以

29、方便地使用软件对结果查看。软件会将每一次算法运行的环境、结果等信息以日志方式记录，研究人员可以使用该软件对之前的运行结果进行查询和对比分析。该软件也将作为开源软件发布于互联网，借此希望其他研究人员能对该算法进行不断优化、改进，同时在遵守开源许可的情况下可以根据自己研究的需要对软件进行一些特定的修改。人员分工：计轩：负责制定总体研究思路，确定研究计划及分配任务。研究过程中负责 SIFT 算法及三维重建算法理论知识的研究及算法改进工作，在研究后期负责总体情况的分析和研究报告的撰写。徐璐：负责 SIFT 算法的实现和三维重建系统的总体设计和实现苏晓春：负责三维重建系统的界面设计以及系统测试工作陈叶凝

30、：负责项目资料的整理，撰写论文及研究报告，参与 SIFT 算法改进工作。六、项目进度安排（文献查阅、社会调查、方案设计、开题报告、实验研究、数据处理与分析、研制开发、填写结题表、撰写论文和研究报告、结题答辩和成果推广等时间安排）2014 年 12 月2015 年 2 月 查阅项目相关资料；2015 年 3 月 选题并确定研究方向；2015 年 4 月 讨论并书写项目申请书；2015 年 5 月7 月 SIFT 算法分析；2015 年 8 月9 月 设计改进算法；2015 年 10 月2015 年 11 月 设计三维重建系统；2015 年 12 月2016 年 1 月 开发三维重建系统界面及功能

31、测试；2016 年 2 月2016 年 3 月 发布软件、撰写研究论文及报告；2016 年 4 月 填写结题表，参加结题答辩。七、项目研究所需资源（实验室、仪器设备、实验材料、资料等）1、利用学校图书馆，查阅并收集国内外相关资料和数据。2、通过中国知网、知名会议或论坛等其他途径查询国内外相关方面的资料。3、咨询相关领域知名专家学者。4、系统所需的摄像头、主机等实验设备八、项目经费预算与用途（购置实验消耗材料、低值品、资料、加工测试、打字复印、调研、市内公交、论文发表、专利申请等经费开支）1、购买图书资料和消耗品：2000 元；2、打印、复印论文及技术文档：1500 元；3、实验设备及器材：30

32、00 元；4、论文版面费：3000 元；5、通信及网络费：500 元；6、申请软件著作权：1000 元合计：11000 元九、项目完成预期成果（成果形式：研究论文、专利、设计、产品、软件、研究或调研报告等）1、设计并完成一套基于彩色描述子 SIFT 的三维重建系统。2、项目研究报告 1 篇。3、申请软件著作权。4、在完成系统的前提下,力争发表学术论文 1-2 篇。十、项目诚信承诺本项目负责人和全体成员郑重承诺：该项目研究不抄袭他人成果,不弄虚作假,按项目研究进度保质保量完成各项研究任务。项目负责人签名： 年 月 日项目组成员签名： 年 月 日十一、指导教师意见（从项目科学性、前沿性、可行性、研究性、可操作性和成效性进行评价,是否同意立项）该项目研究的是近年来国内外学术界备受关注的内容，具有较强的科学性和前瞻性。该项目的研究将有效地改善经典 SIFT 算法，解决色彩丰富度不足，计算量大等问题，对于提高图像匹配准确性有着十分重要的意义，项目将完成的三维重建系统有很高的实际应用价值，具有很强的可行性、可操作性和研究性。同意立项。签 名：年 月 日十二、学院评审意见（学术价值、预期效果、研究方案可行性、是否同意立项）工作组组长签名（公章）：年 月 日十三、校专家组评审意见专家组组长签名：年 月 日十四、学校意见领导小组组长签名（公章）：年 月 日