1、 基于人体特征的运动检测与跟踪 摘要随着计算机视觉、模式识别等相关技术的发展，基于视频的运动人体检测和跟踪受到了多方关注，被广泛应用到银行、商场、停车场等对安全要求较高的地域监视中。基于视频的方法是唯一一种无入侵的运动捕获方法在海量视频数据检索、人机交互、视频监控、体育运动分析等领域有广泛的应用前景。 实时场景下的人体跟踪会比较复杂，存在背景变化、遮挡、噪声及其他干扰因素，难以同时满足准确性、鲁棒性和实时性的要求。本文对单个摄像机且摄像机静止条件下的人体检测跟踪进行了研究，分析了现在已知的一些检测跟踪方法，采用背景减除法和投影比例检测法，提出了一种适用于室内室外环境，由运动物体检测、运动物体分
2、析和人体运动跟踪 3 部分组成，使用单个静止数字摄像机得到德尔灰度图像序列作为输入，能够对单人或多人的运动行为进行监控的视频检测与跟踪系统。关键词：人体跟踪；人体检测；运动人体；Idetection and tracking of human according to the feature of human ABSTRACTWith computer vision, pattern recognition, and other related technologies, based on video motion detection and tracking by the body much
3、 attention has been widely applied to banks, shopping malls, parking lots and other areas requiring high security monitored. On the one hand human motion in video massive video data retrieval, human-computer interaction, video surveillance, sports analysis and other fields have a wide range of appli
4、cations, and video-based approach is the only non-invasive method of motion capture. It contains some of the other problems, such as how to specify the video sequence to identify a specific body motion.Real-time human tracking scenarios would be more complicated, there is a background change, occlus
5、ion, noise and other interference factors difficult to simultaneously satisfy the accuracy, robustness and real-time requirements. The proposed system is a suitable for indoor and outdoor environments of video detection and tracking system, the entire system consists of a moving object detection, mo
6、tion analysis, and human motion tracking objects in three parts. The system is fully implemented in software application that runs on an ordinary personal computer, use a digital camera to get a single still image sequence as input del gray, you can also use an infrared image sequences, capable of s
7、ingle or multiplayer sports behavior monitoring.Keywords: human tracking; human detection; Human Movement;II目录摘要.IABSRACT .II第 1 章 绪论.11.1 国内外研究现状.21.2 运动人体检测与跟踪难点.31.3 本文研究内容.4第 2 章 人体运动目标检测与跟踪理论概述.62.1 人体运动目标方法.62.1.1 运动物体分割.62.1.2 运动物体分类.92.2 运动目标跟踪.10第 3 章 算法实现.123.1 读取与屏幕显示.123.1.1 AVI 格式.123.1
8、.2 BMP 图片格式 .143.2 人体运动检测.153.2.1 背景减法.153.2.2 中值滤波.173.2.3 二值化.183.2.4 数学形态学.193.3 运动区域分析.20III3.3.1 纵向与横向投影.213.3.2 前景区域轮廓分析.223.4 卡尔曼滤波.253.5 实验结果.28第 4 章 结论.324.1 毕业设计工作总结.314.2 系统不足和展望.31致谢.33参考文献.340第 1 章 绪论计算机视觉是实现利用计算机对于三维景物世界的理解，即实现人的视觉系统的某些功能 .，是一个相当新且发展十分迅速的研究领域。机器视觉是在120 世纪 50 年代从统计模式识别开
9、始的,当时的工作主要集中在二维图像分析和识别上,如光学字符识别、工件表面、显微图片和航空图片的分析和解释等 。2到了 80 年代中期,机器视觉获得了蓬勃发展,新概念、新方法、新理论不断涌现；尤其是近年来,机器视觉技术正广泛地应用于各个方面,从医学图像到遥感图像,从工业检测到文件处理,从毫微米技术到多媒体数据库,从安全鉴别、监视与跟踪到国防系统,不一而足。可以说,需要人类视觉的场合几乎都需要机器视觉。数字图像处理技术是从 20 世纪 60 年代以来随着计算机技术和VISL(VisualInteraetive SnyatxLeaming)的发展而产生、发展和不断成熟起来的一个新技术领域,它在理论上
10、和实际应用上都取得了巨大的成就。数字图像处理的主要研究目的在于通过对原始图像的再加工,使之能具备更好的视觉效果或能满足特定的需求,在处理上主要包括图像的采集、编码、存储和传输,图像的合成,图像的增强、变换与复原等诸多内容。目前己广泛应用于工业、微生物领域、医学、遥感、航空航天及国防等许多重要领域 ,而且多年来一直得到世界各科3技强国的广泛关注。尤其是在视觉要求越来越高的今天,数字图像处理作为机器视觉的基础,是机器视觉系统的关键工具。近年来，人体运动视觉分析成为计算机视觉领域备受关注的前沿方向。人体运动视觉分析是从包含人体的图像序列中检测、识别、跟踪人体以及获取运动参数，进一步对人的行为解释和描
11、述。它属于图像分析和理解的范畴，其研究内容涉及计算机视觉、模式识别、图像处理、人工智能和人体运动学等方面，是一个跨多学科的研究课题。运动人体检测和跟踪是人体运动视觉分析的一个重要组成部分，有着广泛的前景和经济价值。它在视频监控、虚拟会议、人机交互、临床诊断、教育训练、虚拟现实等方面的应用都引起了广大科研人员和相关商家的浓厚兴趣，例如在银行、商场、军事基地等对安防要求较高的场合，实时的视觉监控将有重要意1义；在智能控制方面，可以通过对人脸识别和表情分析以及手势识别等更好的实现人机交互。另一方面，运动人体检测与跟踪算法的实现可以节它是从图像序列中提取并描述人体轮廓的运动，然后进行跟踪，更高级的处理
12、是对人的行为进行识别和理解。它在视频会议、医疗诊断、高级人机交互、小区、超市、银行等地带的安全监控，游戏动画中人的虚拟现实及基于内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值。人体运动的检测、识别与跟踪这一课题主要应用于智能视频监控领域。通过实时地观测被监视场景的运动目标，如人或车辆等，分析描述他们的行为，节省了大量的人力物力。更重要的是，有些场合由于客观原因，人类可能不方便或者根本不可能亲自到现场进行查看，这时只有通过其他方法，如用计算机进行实时监视来完成需要的工作。这项技术研究内容丰要涉及到运动目标检测与提取、运动人体识别、运动人体跟踪、运动分析与运动理解、视频认证等方面的内
13、容。因此研究智能视频监视技术有着重要的理论意义，而人体运动的检测与跟踪则是智能视频监控中的重要组成部分。节约大量的人力资源和物质资源，极大地降低了监控特定区域的成本。1.1 国内外研究现状人体检测和跟踪人体检测和跟踪具有重要的理论价值和广泛的应用范围，很多国家的科研机构和有关部门都投入到该领域的研究之中。目前已有许多人体检测和跟踪的系统，如 WrenC.R.等4开发的实时人体跟踪系统 Pfinder，该系统跟踪复杂场景下非拥挤人群中的单个人，已用于许多应用中；美国国际商用机器公司与美国马里兰大学联合开发了的实时智能视频监控系统 W4，它建立人类外形的的模型，可以检测和跟踪人群和在拥挤环境下的人
14、体行为，用于民宅、停车场和银行等场合；美国 DARPA 资助卡内基梅隆大学戴维 SARNOFF 研究中心等大学和公司合作联合研制开发的 VSAM 视频监视与监控系统，该系统能够用于普通民用场景以及战场的实时监控；Olsen 等开发的单人跟踪系统 TI 系统，它使用运动检测的方法检测室内场景下的运动物体，使用一阶预测跟踪他们并识别其行为。在国内也有很多科研机构对人体运动分析进行相关研究，包括中科院自动化所模式识别国家重点实验室、北京大学视觉2与听觉信息处理国家重点实验室及清华大学智能技术与系统国家重点实验室。而国内的一些团队也对人体运动分析的某一部分进行了深入的研究，比如说中科院研究生院李华、刘
15、国羿研究了基于人体姿态和骨架的检测算法；中南大学李弟平研究了一种基于人体上半身形态的运动检测算法。另外，国际上相关的权威期刊，如 CVIU（ Computer Vision and ImageUnderstanding） 、PAM（IIEEE Transaction on PatternAnalysis and Machine Intelligence） ，以及重要会议如 ICC（International Conference on Computer Vision）等，对人体检测跟踪、识别及运动分析领域有着重要的促进作用。1.2 运动人体检测与跟踪难点尽管许多学者已经进行了有益的尝试，但是由
16、于行人运动的复杂性和不规 则性，使它很难用一个统一的方法进行研究。许多方法和模型或是过于简单而 不能普遍采用，或是过于复杂难以在实际中进行应用。行人运动跟踪和分析还需要不断发展。目前存在的主要问题有： (1)运动人体检测、识别与跟踪还没有通用的方法，通常是在受限的条件 下，针对特定的环境设计相应的检测方法。如人体运动期间不被遮挡、背景相对简单、摄像机静止不动等。 (2)复杂背景下对运动人体的检测，由于受周围环境影响较大，通常对外 界干扰无能为力。当行人所穿衣服颜色与背景着色相似或背景光线变化较大时，很难从背景中分割出运动的人体。 (3)复杂背景下对人体运动的深入分析，一般通过对人体进行建模来完
17、成，只能处理单个人体的运动，且测试条件比较苛刻，系统复杂。 (4)单幅图像处理难以实现对人体的可靠检测，因而必须对序列图像进行 处理，需要存储和处理的数据量大，且系统的实时性能很难保证。(5)行人检测与跟踪技术涉及到多种学科的知识，包括计算机视觉、图像 处理、模式识别、人工智能等，如何将它们相结合也是值得深入研究的问题。 而且由于人体是非刚性物体，运动比较灵活、复杂，具有不规则性，因此很难找到统一的模型描述人体的运动。而且人所处的环境千差万别，变化因素很3多，不同的应用对人体检测与跟踪的性能要求不尽相同。而运动检测与跟踪算法的鲁棒性、准确性和实时性的统一仍是尚未解决好和正在努力追求的目标5，难
18、以采用一个通用的方法研究，满足所有环境下的性能要求。目前存在的难点主要有：（1）环境和人体特征的多变性。环境会随着时间变化，如光线的强弱，会影响图像的亮度、对比度及阴影；移动人体所穿衣服颜色与背景相似时，很难从背景中分离出人体目标。如何实现快速准确地进行运动检测，适应周围环境的变化是要面临的一个难点。（2）场景中运动物体的干扰。在应用场景中，可能存在大面积区域中各种目标的运动，如车辆的突然启动与停止；以及频繁变动的物体，如摇摆的树、波动的水面，都会增加人体运动目标检测的难度。因此，对运动物体如何有效分类，避免或减少跟踪目标的丢失，能区分虚假目标，进而提高跟踪算法的有效性，有着重要的作用。（3）
19、遮挡。在复杂场景中，尤其是拥挤环境下，人与人之间、人与其他运动目标可能会相互遮挡，人体也会发生自遮挡，如何判断遮挡的开始和结束，采取何种策略处理遮挡，对检测和跟踪的准确性带来很大的影响。（4）目标的失踪。运动目标长时间停留在场景中，可能变成背景目标，造成跟踪丢失。（5）系统性能评估6。一般而言，人体运动分析系统的三个基本要求是鲁棒性、准确性、实时性。这三个性能的重要性在不同的应用存在着差别：鲁棒性对于监控系统特别重要，准确性对于控制系统特别重要，而实时性则对实时高速系统非常关键。因此，选择有效的算法和方案来适应不同的应用，提高系统的性能，降低计算复杂度具有很大的意义。同时，如何测试系统的鲁棒性
20、、准确性、实时性也是值得考虑的问题。1.3 本文研究内容由于人体运动的复杂性，从目前的研究现状和技术水平来看，建立一个适合所有情况的运动人体检测与跟踪系统是不现实的。因此，解决一定限定条件下或某种应用场景下的运动人体检测和跟踪问题仍是该领域主要的研究方向7。4本文针对单个摄像机及摄像机静止的条件下，设计一种适用于简单环境下多人移动目标的跟踪算法。本文提出了一种基于多特征的人体移动目标跟踪算法，实现了对多个人体的有效跟踪。在运动人体检测方面使用统计方法，首先建立背景模型并周期性更新，通过把图像某像素点与模型比较得到运动的前景部分。对于运动前景采用中值滤波去除噪声，并使用数学形态学的开运算去除小面
21、积的非人体运动部分。对于人体运动区域，该系统将轮廓投影分析和形状分析相结合，可以有效的去除大面积非人体活动区域和影子的影响，能够分析前景活动区包含几个运动者，将区域合理分配各每个运动者，并分别进行跟中。在跟踪中采用了区域跟踪和特征跟踪相结合的方法，把运动区域的中心点作为运动特征点进行跟踪。在水平与垂直连个方向上根据特征点位置分别建立卡尔曼滤波器，通过预测下一帧中该特征点的位置建立连续帧之间的特征点的联系。卡尔曼滤波的迭代计算采用衰减记忆滤波法与平方根滤波法，抑制了发散。该算法可以检测到运动者的数量和具体位置，但要手动设定背景。5第 2 章 人体运动目标检测与跟踪理论概述随着计算机视觉、模式识别
22、等相关领域的研究和发展，人体运动目标的检测和跟踪的方法也层出不穷，以适应不同的应用环境。根据摄像头是否静止，可以将监视场景分为静态背景类型和动态背景类型：根据所包含的人体个数，可以将检测对象分为单人检测跟踪和多人检测跟踪；根据环境中运动人体有无遮挡，可以将跟踪分为有遮挡跟踪和无遮挡简单跟踪。静态背景下摄像机位置保持固定，只有跟踪目标和其他待滤除的运动物体发生相对运动，背景不改变或者只有微小的改变；动态背景下摄像机在跟踪过程中可能会发生移动或旋转，导致视频的前后相邻两帧和背景发生巨大变化。2.1 人体运动检测方法人体运动目标检测是在输入图像中确定运动人体的过程，是整个人体运动分析系统的第一部分，
23、运动目标检测的目的是将运动人体部分从图像中提取出来，能否正确地分离运动人体是整个系统成败的关键。运动目标检测由运动物体分割和运动物体分类两部分组成。2.1.1 运动物体分割运动物体的分割就是把图像中的运动部分，比如汽车、行人等分离出来，因为只有运动的部分才是能够跟踪的部分。运动部分的分割常常受到光线变化、影子和遮挡等因素的影响。因此选用一种稳定可靠的分割方法是很重要的。常用的分割方法有以下几种。（1）背景减法。在运动检测中，背景减法（Background Subtraction）是一种常用的技术，尤其是对于静态场景。它首先建立背景模型作为参考图像，通过将含有运动物体的图像与事先通过背景模型得到的背景图像相减得到运动部分其原理如图 2-1 所示。这种方案简单易行，但是极易受到光照等外部环境变化的影响，必须配合其他方法进行修正。背景模型的建立主要有 3 种方法，一是通过求多幅图像的像素点均值得到，二是通过多幅图像的像素点中值得到，三是通过建立自适应模型得到，从而能对抗外部环境变化。
