1、西北工业大学明德学院本科毕业设计论文I目 录摘 要 .1ABSTRACT .2第一章 绪 论 .41.1 课题研究背景和意义 .41.2 国内外研究现状 .51.3 本文的具体结构安排 .7第二章 运动目标检测 .82.1 检测算法及概述 .82.1.1 连续帧间差分法 .92.1.2 背景去除法 .112.1.3 光流法 .13第三章 运动目标跟踪方法 .163.1 引言 .163.2 运动目标跟踪方法 .163.2.1 基于特征匹配的跟踪方法 .163.2.2 基于区域匹配的跟踪方法 .173.2.3 基于模型匹配的跟踪方法 .183.3 运动目标搜索算法 .183.3.1 绝对平衡搜索法
2、 .183.4 绝对平衡搜索法实验结果 .193.4.1 归一化互相关搜索法 .213.5 归一化互相关搜索法实验结果及分析 .22第四章 模板更新与轨迹预测 .264.1 模板更新简述及策略 .264.2 轨迹预测 .284.2.1 线性预测 .294.2.2 平方预测器 .30西北工业大学本科毕业设计论文II4.3 实验结果及分析： .31致 谢 .36参考文献 .37毕业设计小结 .38西北工业大学明德学院本科毕业设计论文1摘 要图像序列目标跟踪是计算机视觉中的经典问题，它是指在一组图像序列中，根据所需目标模型，实时确定图像中目标所在位置的过程。它最初吸引了军方的关注，逐渐被应用于电视制
3、导炸弹、火控系统等军用备中。序列图像运动目标跟踪是通过对传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置。它是计算机视觉系统的核心，是一项融合了图像处理、模式识别、人工只能和自动控制等领域先进成果的高技术课题，在航天、监控、生物医学和机器人技术等多种领域都有广泛应用。因此，非常有必要研究运动目标的跟踪。本论文就图像的单目标跟踪问题，本文重点研究了帧间差分法和背景去除法等目标检测方法，研究了模板相关匹配跟踪算法主要是：最小均方误差函数(MES)，最小平均绝对差值函数(MAD)和最大匹配像素统计(MPC)的跟踪算法。在跟踪过程中，由于跟踪设备与目标的相对运动, 视野中的目标可能出现大小
4、、形状、姿态等变化, 加上外界环境中的各种干扰, 所要跟踪的目标和目标所在的场景都发生了变化, 有可能丢失跟踪目标。为了保证跟踪的稳定性和正确性, 需要对模板图像进行自适应更新。由于目标运动有一定得规律，可以采取轨迹预测以提高跟踪精度，本文采用了线性预测法。对比分析了相关匹配算法的跟踪精度和跟踪速度；对比不采用模板更新和模板跟新的跟踪进度和差别，实验表明，跟踪算法加上轨迹预测及模板跟新在很大程度上提高了跟踪帧数，提高了跟踪精度，具有一定的抗噪声性能。关键词： 目标跟踪，目标检测 ，轨迹预测 ，模板更新 西北工业大学本科毕业设计论文2ABSTRACTTarget tracking, image
5、sequence is a classic computer vision problems, it is defined as a set of image sequences, in accordance with requirements of the target model, real-time images to determine the location of the target process. It initially attracted the concern of the military has gradually been applied to televisio
6、n-guided bombs, fire control systems for military preparation. Moving target tracking sensor is taken through the image sequence analysis, to calculate the target image in each frame position. It is the core of computer vision system is a combination of image processing, pattern recognition, artific
7、ial only and the results of automatic control in areas such as advanced high-tech issues in the aerospace, control, biomedical and robotics fields, etc. There are widely used. Thus, it is necessary to study the tracking of moving targets.In this paper, the image of the single-target tracking problem
8、, research the target detection method is mainly based on inter-frame difference and background removal method to detect the target in preparation for target tracking. Template matching tracking algorithm is: the smallest mean square error function (MES), the smallest mean absolute difference functi
9、on (MAD) and the maximum matching pixel statistics (MPC) of the tracking algorithm. In the tracking process, due to the relative camera movement with the goal, the goal of vision may occur in size, shape, gesture, such as changes in the external environment combined with the various kinds of interfe
10、rence, as well as over time, to track where the goals and objectives scene changes have taken place, it is possible to track the target is lost. In order to ensure the stability and tracking accuracy, the need for adaptive template image update. Since the goal of movement must be the law of the fore
11、cast track could take to improve the tracking precision, this article uses the square of the linear prediction method and prediction method.Analysis of the relevant matching algorithm to track the tracking accuracy and 西北工业大学本科毕业设计论文3speed; contrast do not use templates and template updates with the
12、 new tracking the progress and differences in the experiment proved that the tracking algorithm with trajectory prediction and templates to a large extent with the new frame to improve tracking,Improved tracking accuracy, which has strong anti-noise performance.Key words: Target tracking ， Target De
13、tection ， Trajectory Prediction，Template Update西北工业大学本科毕业设计论文4第 1 章 绪 论本章首先讨论了目标跟踪的研究背景和意义；介绍了目标跟踪在国内外的研究现状；接着讨论了目标跟踪研究中面临的困难和待解决的问题；最后介绍了本文的主要工作和总体结构。1.1 课题研究背景和意义运动目标跟踪在军事、智能监控、人机界面、虚拟现实、运动分析等许多领域有着广泛的应用前景，在科学和工程中有着重要的研究价值，吸引了国内外越来越多研究者的兴趣。图像序列中的运动目标跟踪，就是在各帧图像中检测出各个独立运动的目标，或是用户感兴趣的运动区域（如人体、车辆等） ，并
14、且提取目标的位置信息，得到各个目标的运动轨迹。其实质是通过对传感器获取的图像序列进行分析，得到目标在每帧图像中的位置、速度及加速度等特征参数。图 1-1 目标跟踪原理图国内外学者对目标跟踪算法进行了大量深入的研究，取得了令人瞩目的研究成果。但是，现有的目标跟踪算法大多受限于特定的应用背景，跟踪算法还有待于进一步研究和深化，研究一种具有鲁棒性和实时性、适用性强的目标跟踪方法依然面临着巨大挑战。目前，运动目标跟踪算法的主要难点有：复杂背景下的运动目标提取、目标之间的相互遮挡以及目标与背景之间的遮挡、阴影处理、多摄像机的数据融合等。尤其是遮挡和阴影问题，它们普遍存在于现实环境中，严重影响跟踪算法的可
15、靠性和适用性。本文重点研究了序列图像的几种常用跟踪方法。西北工业大学本科毕业设计论文51.2 国内外研究现状目标跟踪就是通过对摄像机获得的图像序列进行分析，计算出目标在每帧图像上的二维位置坐标，并根据不同的特征值，将图像序列中不同帧之间同一运动目标关联起来，得到各个运动目标完整的运动轨迹，即在连续的图像序列中建立运动目标的对应关系。目前，国内外学者提出了许多不同的跟踪算法和跟踪系统，可以按照不同的划分依据对跟踪算法进行不同的分类：就跟踪对象而言，可以分为车辆跟踪、人体跟踪或人体部分跟踪（如跟踪手、脸、头和脚等身体部分）等；就跟踪目标个数而言，可以分为单目标跟踪和多目标跟踪；就跟踪视角而言，可以
16、分为单摄像机的单一视角、多摄像机的多视角和全方位视角；还可以通过摄像机类型（红外摄像机、可见光摄像机） 、摄像机状态（运动、固定） 、跟踪空间（二维、三维）和跟踪环境（室内、室外）等方面来进行分类。 2针对不同的研究对象有不同的跟踪算法，主要有以下几种跟踪算法：1) 基于特征的跟踪为了实现目标跟踪，没有必要跟踪整个目标区域，只要跟踪目标的某些显著特征，就可以实现对整个运动目标的跟踪。这些显著特征可以是目标的质心，也可以是目标上的任意一点，只要这些特征具有高度的稳定性，不易受外界因素如光照强度变化、噪声等因素的干扰，对目标大小、位置、方位不敏感即可。为了提高跟踪的鲁棒性，往往不只选一个特征，而是
17、选一组特征，在一般情况下，可利用的特征有：角点、直边缘等局部特征和质心、表面积和惯量矩等全局特征，在实际应用中，采用什么特征主要取决于目标具有哪些特征以及算法实现的具体要求。基于特征的目标跟踪方法利用跟踪特征点位置的变化来跟踪目标，首先，从图像序列中提取目标的显著特征，如拐点、质心或有明显标记区域对应的点、线、曲线等；然后在连续图像帧之间寻找特征的对应关系，即进行特征匹配，最后计算运动信息，从而通过对特征的跟踪来完成对整个目标的跟踪。Polana将每个行人用一个矩形框封闭起来，封闭框的质心被选作跟踪的特征，在跟踪过程中，如果两人出现相互遮挡的情况，只要能区分质心的速度，就能成功地完成人体跟踪。
18、西北工业大学本科毕业设计论文6这种方法的优点是：即使场景中出现部分遮挡情况，只要目标的一些特征可见，仍可以保持对运动目标的跟踪。由于只跟踪已选择的显著特征，上一帧目标的特征在下一帧图像中的可能匹配数目大大小于相关跟踪算法，处理的数据量小，并且由于特征的精心选取，使得在光照和目标几何形状发生变化时，也能进行目标跟踪，具有一定的鲁棒性。特征的选取对整个跟踪算法十分重要，关系到整个跟踪系统的可靠性和跟踪精度，它应具有对目标大小、位置、方向和照度变化不敏感的特点，如灰度局部极大值点、跟踪。其不足是要求独立而准确地初始化边界，而这在实际应用中往往很难实现。2) 基于相关的跟踪相关跟踪法，又叫模板匹配法，
19、其主要思想是：将目标的基准图像（模板）在实时图像中以不同的偏移值进行位移，然后根据一定的相似性度量准则对每一个偏移值下重叠的两个图像进行处理，计算两者的相关值，根据最大相关值确定实时图像中目标的位置。简单地说，就是在当前帧中寻找与上一帧目标相关性最大的区域。相关跟踪法具有很强的噪声抑制能力，可以在很小的信噪比条件下工作，它具有对有关目标的知识要求甚少、定位精度高、跟踪距离远、可靠性高和较强的局部抗干扰能力等优点，而且计算简单，易于编程和硬化。由于它只利用图像间的灰度相关性作为区域相似性的判断依据，对几何和灰度畸变十分敏感，光照强度变化或目标运动姿态发生变化等都将对算法产生较大的影响，计算量偏大
20、。而且往往不能充分利用目标的几何特性，易产生积累误差，它适用于实时图像与参考图的产生条件较为一致，目标尺寸变化很小，景物与目标的相关性不强的场合。3) 基于运动估计的跟踪基于运动估计的跟踪方法是利用图像序列中目标的运动信息来对目标进行跟踪的一种方法。运动信息又称为光流，基于光流估计的方法，利用了灰度的变化信息，首先，从图像序列的灰度变化中计算速度场，一般需要计算灰度的一阶导数和二阶导数；然后利用一些约束条件从速度场中估计运动参数和物体结构。光流方法又分局部光流法和全局光流法，局部光流法能够准确的反映出运动边缘处的运动信息，但是对于图像中的弱纹理区域不敏感；全局光流法能西北工业大学本科毕业设计论
21、文7够得到每个像素处的光流，但是对于运动边界处的光流变化不敏感。由于噪声、多光源、阴影和遮挡等原因，使得计算出的光流分布不是十分可靠和准确，实际景物中的速度场不一定总是与图像中的直观速度场有唯一对应关系，且偏导数计算会加重噪声水平，计算复杂，使得基于光流的方法在实际应用中常常不稳定。尽管目标跟踪算法可以大致分为上述几类，但是这些方法并不是孤立的，在进行目标跟踪时，为了保证跟踪的可靠性和准确性，常常混合使用几种算法以得到更好的跟踪效果。1.3 本文的具体结构安排第一章 绪论，详细阐述了目标跟踪的研究背景和意义，总结了国内外研究 的发展现状，讨论了目前目标跟踪存在的困难和不足，指出了本文重点解决的
22、问题。第二章 主要研究了帧间差分法、时间差分法和背景去除法及算法和各自的适用范围。第三章 匹配方法和目标搜索算法 ，重点用最小平均绝对差值函数(MAD)做了跟踪算法实现跟踪。第四章 模板更新，由于目标的大小在变化及拍摄设备姿态的变化等导致目标变化，因此必须采取模板更新，已保证跟踪精度。西北工业大学本科毕业设计论文8第 2 章 运动目标检测目前，已经有许多标准的算法用于运动目标检测，它们具有不同的效果和复杂度。在实际应用中，运动目标的提取通常不是采用单一的检测算法，而是对某一算法进行改进或是综合运用几种算法以求达到更好的效果。无论采用哪种目标检测算法，都应该满足以下几个条件：能够准确地从图像序列
23、中检测出运动目标；操作简便、快捷以及适应实时系统的要求；对天气、光照等环境变化不敏感，且对于摄像机振动或由其它情况引起的噪声有很好的鲁棒性；所需要的先验信息越少越好。运动检测主要有三种方法：光流法、时间差分法和背景去除法。光流法在摄像机运动的条件下也能检测出独立的运动目标，然而大多数的光流计算相当复杂，不能够用于实时处理。时间差分检测法对于运动环境具有较强的自适应性，但一般不能完全提取出所有相关区域的像素点，在运动实体中容易产生空洞现象。背景去除法适用于固定摄像机的情形，它先为背景建立背景模型，通过将当前图像帧和背景模型进行比较，确定出亮度变化较大的区域，即认为是前景区域。这种方法计算速度很快，可以获得完整的运动区域，但对于场景中光照条件和噪声比较敏感，在实际应用中需要采用一定的算法维护和更新背景模型，以适应环境的变化。 10本章首先简单概述了目标检测算法，然后详细介绍了本文使用的自适应背景去除算法，接着针对阴影对目标检测的影响，本文从色彩和光照不变性的角度，分析和讨论了阴影的特性，提出了一个新的可用于阴影去除的算法，提高了阴影去除率，最后介绍了噪声处理和区域标记方法。2.1 检测算法及概述运动目标检测就是对包含运动信息的图像序列进行适当地处理，从而去除
