1、视频运动对象跟踪王一伟和约翰肯尼迪多尔蒂罗伯特凡戴克电气工程国家标准与技术宾夕法尼亚州立大学的盖瑟斯堡，MD20899，美国大学园区，PA16802，美国 vandyckantd.nist.govfyxw131，jfdohertygpsu.edu摘要科技进步使视频采集设备更好，更便宜，从而增加有效地利用数字视频的应用程序的数量。相对于静态图像，视频片段提供在对象和场景随时间推移而变化方面的更多信息。然而，视频需要更多的存储空间，更广泛的传输带宽。因此引发视频压缩的话题。MPEG 4 压缩标准建议视讯物件平面的使用。如果视讯物件平面分割正确且运动参数根据视讯物件平面推导，我们可以得到更好的压缩比
2、例。因此，要充分利用的 MPEG 4 标准，对象跟踪的算法是必要的。很明显，运动目标跟踪算法在侦察领域，机器人技术等领域有广泛的应用，所以，我们提出了一个算法以跟踪移动视频序列中的对象。该算法首先在每一帧中从背景中分离出移动物体。然后，根据位置，大小，灰度分布与对象的纹理计算 4 个变量集的值。一种以规则为基础的在帧间跟踪对象的方法应运而生，其根据的是变量的值。初步实验结果表明该算法性能良好。测试还表明，该方法获得成功说明新的轨迹（对象开始移动） ，停止轨迹（对象停止移动）和可能的碰撞（物体移动一起）。1.导言由于科技进步，有更多的负担得起的数字视频市场采集设备。这意味着更多的应用数字视频。经
3、目睹了摄像头的应用和成功的高清晰度数码摄像机的出现，我们相信数字视频将很快成为日常生活的一部分生命。与静态图像，视频片段提供更多的有关如何对象和场景发生变化时间，但在存储空间和更广泛的成本增加带宽的传输。因此，视频专题压缩，引起越来越多的关注，在近年来。的 MPEG 4 标准建议的用法在视频压缩对象的飞机。通过细分对象飞机和确定每个运动参数正确的，可以达到良好的压缩效果。因此，跟踪对象的算法是必要的。此外，在在侦察方面，机器人技术等，有中移动目标跟踪算法的极大兴趣。因此，在本文中，我们目前的移动算法物体的跟踪。许多现有的算法1 - 4部分的每部影片框架确定的对象，这动作都可以计算昂贵的，这是没
4、有必要，如果我们的目标是确定移动的物体。另外，我们建议一个算法5派生的议案为基础的对象框架之间。虽然初步结果令人鼓舞，跟踪算法5是有限的，不能处理如（对象开始新赛道的一些复杂的情况移动） ，停止追踪（对象停止移动）和可能的碰撞（物体一起移动） 。因此，我们现在规则为基础的方法来处理这些情况。其余该文件的结构如下：第 2节将审查一些必要的背景小波变换和摄像机运动模型。我们会检讨算法我们开发了5第 3节，引入跟踪算法在第 4 节。实验结果显示第 5 节，其结论是第 6 给出。2.背景2.1.小波变换和滤波器由于它广泛的研究工作，小波变换现在是信号分析和相关领域非常强大的工具。与一些传统的变换，例如
5、傅立叶变换，小波变换可以实现空间和频率的局部分析。在离散信号组成的区域的分析中，小波变换与滤波器是密切相关的。两通道滤波器组所示图.1 6。（a ）分析的一部分（b）合成的一部分图 1. 2 通道小波分解和重建结构对于数字图像，信号是二维的。因此，在图像分析和压缩中，两个一维小波分析通常独立用于图像的水平和垂直方向；结构图.1 是串联的，如图.2 所示。使用分解结构图.2 重复进行，一小波金字塔可以创建多分辨率分析。图像“莉娜”的一个小波金字塔以图。3 为例7。如果我们考察图.3 时，我们可以看到，在高频段，系数在边缘的位置有大振幅。此性质有时用于边缘检测。2.2.摄像机运动估计视频序列中，连
6、续帧之间的差异通常由于相机和物体的运动共同决定。由于我们在这一工作兴趣是跟踪移动物体，我们需要尽可能去除通过相机的动作造成的差异。相机的动作已被研究了很长时间，有文献中的许多文章。我们使用的模型是投影/双线性模型8 9。它可以表征几乎所有可能的相机运动，如翻转，旋转，缩放，平移，倾斜等射影。模型的描述是 8 个参数（m i , i = 1,2,8） 。（a ）分析的一部分（b）合成的一部分图 2.图像分解与重构结构通过方程其中（x , y）是原来的坐标。转换后的坐标（x, y）可使用公式:双线性模型，通过下面的方程描述，是一个近似的投影模式，也使用 8 个参数（q i , i = 1,2,8）
7、描述相机的动作。这种计算是基于如下方程表达的二维光流假设其中 uf 和 vf 是沿着 x 和 方向的速度，而 Ex ，E y 和 Et 是灰度值关于 x , y ,t 的偏导数图 3。小波金字塔“莱娜”如果我们定义 um = x x v m = y y，通过使用双线性模型并尽量减少我们可以获得双线性模型的参数。使用原始的和改造的四点的坐标，我们可以近似得到投影模型的参数。为了降低计算负担，以上过程常常在一个多尺度的金字塔。自从后来我们计划将其纳入动作登记算法成小波的压缩算法，我们使用小波金字塔而不是常用的拉普拉斯-高斯金字塔。3对象隔离算法虽然本文的重点是下一节介绍的跟踪算法，我们首先复习一下
8、5里介绍的对象隔离算法。该算法始于当前帧和参考帧。小波变换是适用于每个帧，它将创建一个小波金字塔和滤波器，分解层次的选择取决于若干对帧的大小和视频内容。在上一节描述的摄像机运动模型适用于两个最低清晰度数字图像。假设移动对象只占据了整个图像的一小部分，运动估计的结果主要是为了对应背景的差异。换言之，上述结果在这一水平非常接近真正的摄像机运动。然后两个边缘图像会通过添加最低清晰度的交流带的振幅被创建。上面计算的运动参数可用于图像的边缘对齐和差异计算。由于移动着的物体的位置差异较大，最低的高分辨率图像大致可以通过阈值化的方法分割成可能对象和背景区域。此外，我们只在可能的背景区域中运用运动估计算法以实
9、现更精确的摄像机运动估计。当我们完成处理最低的分辨率水平后，我们在更高的分辨率水平上重复以上的过程。有着更高的分辨率的直流带可以使用合成过滤器的从低分辨率水平中创建。相应的较低的分辨率水平中的运动参数可作为较高的分辨率水平的初始值，低分辨率水平中只有被归为背景的区域才被计算。基本上，随着分辨率的提高，该算法将经可能多地选择更多的区域作为目标物体区域，直到达到最高分辨率水平。一个程序流程图鉴于5。上述过程会产生不同尺寸的可能的对象块。在一些区域块是物体移动而得到的，有的则只是噪音的结果。为了使同一个运动物体的区域块一起一起和消除噪音的效果，我们开发了一个基于投影算法所表示的“鸿沟”/“ 山”的方
10、法。我们开始于与最高分辨率层次边缘图像，所有被归为背景的像素被设置为零。一个列向量通过加入每个行的像素值被创建。显然，在这列向量零元素意味着有相应没有对应的像素行。一个“沟”是指值大于预设的阈值而被设置为连续的零，而两个“沟”之间的元素组被定义为“山”。每个“ 山”中拥有最大值的元素被称为“峰 ”。如果一个“山”的宽度比预设的阈值大且它的“ 峰”足够高，我们可以得出这样的结论：至少有一个对象在这个“山”中。对于 pq 像素的原边缘图像，上述程序将所有可能的对象置于 m 个小矩阵中，每个矩阵有 q 列，而行数等于“山”的大小。此外，如果我们运用同样的想法于这些矩阵，添加每一行的值而不是每一列，包
11、含对象的矩阵中的总大小该将变得更小。同样的算法应用迭代直至矩阵的总大小不没有发生任何变化。每一个最终矩阵将被视为一个对象的位置。总之，通过多次加列和行，我们能够获得若干矩形，每个矩形包含的一个孤立的对象。为了清楚地说明上述“沟”/“山 ”方法，图.4 是给出一个例子。一个 100 行 100 列的二进制图像包含两个对象，如图.4（a） 。一个对象是 2020，另一个是由 3015。背景的灰度值为 0，而对象的灰度值为 1。一个 100 个元素的列向量被通过加入每一行的值而创建。如图.4（b） 。通过设置 “沟”宽度和“山” 宽度的阈值为 10，我们可以看到，有 3 个“沟” 和两个“山”。由于
12、对象必须在“ 山”里，而不是已知可能的对象是在最初的 100100 矩阵里，现在我们知道他们在两个较小矩阵里。对于第一个大小为 20100，第二个大小是 15100。然后，我们依次对这两个较小的矩阵用同一个一个想法。我们现在添加列从而在行向量中检测相应的“沟”和“ 山” ，而不是增加对每一行到列向量里。我们应用该算法继续迭代下去，直到矩阵的大小不改变了。在这个例子中，我们需要三个步骤。左，右侧，顶部和底部的边界位置对第一个对象来说是 21，40，16 和 35，对第二个对象来说是 6，85，61 和 75。为了取得准确的结果，无论是前一帧还是后一帧，都用来做参考帧。那个在当前帧检测区的对象则被
13、视为最终结果。（a ）示例图像（b）列向量图图 4.“沟” /“ 山” 方法的一个例子4.跟踪算法一旦对象的区域是在每个帧中都确定，我们就需要以个跟踪算法来跟踪每一帧中的对象。在本节中，我们将提出一个以规则为基础的算法，这个算法需要使用对象的轨迹，大小，灰度分布和纹理的信息。以这些信息为基础的变量首先被计算出值，然后追踪结果以变量的值为基础被计算出来。对象轨迹的变量是对象位置坐标。为了确定对象的位置，我们定义对象的质心为（c x,cy）O 是对象区域坐标的集合，p i,j 是边缘图像在位置（i,j）的值。然后每个对象都与点对应。此外，我们假定数相邻帧中该对象轨迹接近直线且对象加速率在这些帧中是
14、一个常数。该对象在前 3 帧中的位置可用于计算 v 和 a,其关系如下等式在这里 v 是初始速度且 a 是加速度。然后，v 和 a 用于预测在当前帧中的位置。通过比较预测位置和真实的位置，就可以实现轨迹的跟踪。假设帧速率是足够，对象的大小在相邻帧中不应该发生重大变化。分散变量用于通过大小跟踪对象。对象的分散程度，disp 定义为其中（c x,cy）是对象的质心，而 O 和 pi,j 与定义质心的等式里的含义相同。当离散程度在每一帧中都计算出来了，我们就可以比较它来跟踪对象。对象的灰度分布通常并不变化太多，因为光线条件在连续帧之间相对稳定。也就是说，在帧与帧之间，相同对象的灰度值跨度相似。我们使
15、用的变量，是灰度分布的基础上的，是整个平均灰度范围 grm，最大灰度的 10像素平均灰度值 grh，最小灰度 10的像素的 平均灰度值 grl。这三个变量将表明对象的灰度跨度。因此，基于灰度的跟踪可以通过匹配不同帧中的对象的变量来实现。最后一个变量是基于对象的纹理。对象的表面通常并不相同。如果我们考虑在对象上灰度变化，它们在对象间通常是不同的。这些差别反映在小波变换系数中。一个变量，记作 tx，可以粗略的对象的纹理属性，是在 “边缘”图像中 10%最大值的像素的平均值。一般来说，大的值表示对象上拥有更多的纹理。因为有违反假设的极端情况存在，显然，上述四组变量并不能始终正确地跟踪对象。因此，我们
16、不能只依赖于一组变量，而需要将 4 组变量结合在一起。在当前帧，每个对象都与四组变量相关联。前一帧中每个在现有的轨道也将产生 4 组变量。因此，跟踪问题成为找到对象和现有轨道中的最佳的匹配。一种自然的方法是计算变量之间的差异值，然后阈值化差异。如果有 m 个对象在当前帧中且有 n 个轨道，将会有mn 组变量的差值要计算。考虑新轨迹的情况，停止跟踪和轨道的碰撞，当我们扩展跟踪的对象，我们必须确保对象的变量类似于现有轨道。既然我们有四组变量， ，我们使用的第一条规则是，至少有三个组变量的差值必须小于阈值。否则，我们将不认为此对象是轨道可能的延伸。当我们评估了 mn 组的差值后，我们将得到大小为 m
17、n 的矩阵。矩阵的元素表明了具体对象有多少组对变量的差异且轨迹一定小于阈值。同样地上段所指出的，一个元素大于 2 对应于一个可能的轨迹延伸。然而，显然，有通常不会有且仅有一个合资格的元素在矩阵的每一行，每列中。因此，我们制定了以下策略。首先，我们从简单的情况开始。如果某个元素在其所在行和其所在列中是唯一合格的元素，这没有含糊之处。我们只是把相应的对象的相应的轨道作一个延伸，并通过除去这一行和这一列简化了矩阵，第二，假设 ei,j 是 i 行中唯一有资格的元素，如果 j 列中所有其他有资格元素在并其相应的行中不是唯一的元素，我们将扩大对象 i 的轨迹 j，并消除 i 行和 j 列，从而简化了矩阵
18、。当 ei,j 在 j 列中是唯一合格的元素且 i 行中所有合格的元素在其对应列中都不是唯一的，那么其过程是类似的。经过上述两个规则反复使用，对应于复杂情况下的合格元素不能通过简单地阈值化解决。然后，我们采用一个加权和来作成本函数，描述等式如下这里，dif 是成本函数，w tr， wdisp，w gr，w tx 是权重，上标 f 和 t 说明变量是从轨迹还是当前帧计算出来的。对于矩阵中的每一个合格的要素，计算其加权和。然后，对于每列，选择行生产的最小的 dif，相当于找到现有的轨迹的最佳匹配的对象。有时，在上述过程之后，会留下没有匹配的轨迹和对象。这些情况往往符合新的轨道，停止跟踪，和轨迹碰撞
19、。我们首先通过检查变量值考虑的轨迹碰撞的可能性。如果预测几个现有轨道的平均值几个接近某个物体（与离散的值兼容） ，我们然后评估离散值。如果对象离散值大于最大的轨道离散值和小于所有这些轨道离散值求和，我们将把这个对象和这些轨迹标记为可能的轨迹碰撞。然后剩下的没有被匹配的对象和轨迹就是新的轨迹，停止轨迹。给出一个例子，是上述过程清晰。如果阈值化后，该矩阵是其中每个元素表示有多少组变量小于相应的阈值。从这个矩阵，我们可以看到，在当前帧中有 5 个存在的轨迹和 6 个对象。e 1,1 为 4，在第一行第一列是唯一合格的元素。因此，我们把延伸第一个轨迹对应第一个对象。这个矩阵则简化为在新的矩阵中，e 4
20、; 4 为 3，在第 4 行是唯一合格的元素。虽然 e4; 4 在第 4 列不是唯一的元素，其他元素在第 2 行，此行具有不止一个合格的元素。因此，使用规则二，我们延伸第四个轨迹对应第四个对象，并简化该矩阵在再次使用的第一条规则后，矩阵成为现在，假设 difij 是 ei,j 的加权求和，如果 dif3,3dif5,3 且 dif3,3dif5,5 那么第三个轨道延长对应第五对象且第五轨道延长对应第三个对象。现在，矩阵成了因为所有的轨迹均已扩展，第六个对象会被认为是开始一个新的轨迹。最后的结果（1,1） ，（2,2） ， （3,5） ， （4,4） ， （5,3） ， （6,6 *） ，其中（
21、i,j）指对象 i 对应轨迹 j 且*表明新的轨道。5.实验结果上述算法在“玩具车” 序列进行测试。帧的大小是 512 512。图.5 显示了连续 9 帧(a)帧 1 (b)帧 2 (3)帧 31(d)帧 4 (e)帧 5 (f)帧 6(g)帧 7 (h)帧 8 (i)帧 9图 5.玩具车序列的帧图.6.说明了在第 3 部分中描述的分离对象的算法。该算法应用于帧 4 和帧 5。我们选择Daubechies 的 5 / 7 双正交滤波器且使用四个水平的小波分解。我们在图像加入特别效果以强调在图.6 中的对象。很明显，在每帧两个移动物体都被检测到。该算法在每一帧中都执行以分离对象。然后，在第 4
22、部分中阐述的跟踪算法被使用。跟踪结果列于表 1。在不同的帧中的相同对象被标有相同的对象 ID，以表明轨道。质心的值要给出以提供对象的位置信息。评价表 1，我们可以看到，该算法成功跟踪到两辆玩具车，他们先靠拢，然后分开。两个意见值得一提。对.1，首先，在开始 3 帧中，玩具车的特征改变了，因为碰撞。因此，该算法不拿起轨迹。然而，当所有的对象在图像中出现时，帧 4 和帧 5 中的跟踪的结果将被更正。第二，在帧 6 中，没有一个现存的轨迹匹配新的物体。但是，作为轨迹上预测位置的平均值是（140.7，338.2） ，这很接近物体的质心（135.5，332.1） 。（a）帧 4（b）帧 5图 6.帧 4
23、 和帧 5 中检测对象的区域我们评估对象和轨迹的离散度。对于新的对象离散度是 66.0 而对于两个轨道是 35.2 和42.5。因为 42.566.035.5+42.5=77.7，我们可以说有在 6 帧可能相撞的轨道。6.结论和意见在本文中，我们首先回顾分离视频序列中运动的物体的算法，然后介绍了以规则为基础的跟踪算法。初步实验结果表明了甚至在一些复杂的情况下该算法的有效性，如新的轨迹，停止轨迹，轨迹碰撞等。表.1.跟踪结果该算法的目标是识别和快速追踪移动的物体。然而，相机动作的投射模型计算量有些大。它也不能很好地处理碰撞。因此，我们将研究采取其他方式更快，更可靠的摄像机运动估计方法，如基于特征
24、的算法。参考文献1 D. Wang, Unsupervised Video segmentation Based On WatershedsAnd Temporal Tracking, IEEE Trans. Circuits Syst. Video Technol.,8(5):539-546, September 1998.2 G. L. Foresti, Object Recognition And Tracking For Remote VideoSurveillance, IEEE Trans. Circuits Syst. Video Technol., 9(7):1045-1062
25、,October 1999.3 P. Salembier, F. Marqu_es, M. Pard_as, J. R. Morros, I. Corset, S.Jeannin, L. Bouchard, F. Meyer, B. Marcotegui, Segmentation-BasedVideo Coding System Allowing The Manipulation Of Objects, IEEETrans. Circuits Syst. Video Technol., 7(1):60-74, February 1997.4 A. J. Lipton, H. Fujiyosh
26、i, R. S. Patil, Moving Target ClassificationAnd Tracking From Real-time Video, Applications of Computer Vision,1998. WACV 98. Proceedings., Fourth IEEE Workshop on, pp. 8-14,1998.5 Y. Wang, R.E. Van Dyck, J. F. Doherty, Tracking Moving Objects inVideo Sequences, Proc. Conference on Information Scien
27、ces and Systems,Princeton, NJ, March 2000.6 M. Vetterli, J. Kovacevic, Wavelets And Subband Coding, Prentice-Hall, INC., Upper Saddle River, NJ, 1995.7 M. Antonini, M. Barlaud, P. Mathieu, and I. Daubechies, ImageCoding Using Wavelet Transform IEEE Trans. on Image Processing,1(2):205-220, April 1992
28、.8 S. Mann, R. W. Picard, Video Orbits of The Projective Group: ASimple approach To Featureless Estimation Of Parameters, IEEE Trans.on Image Processing, 6(9):1281-95, September 1997.9 S. Lertrattanapanich, N. K. Bose, Latest Results On High-resolutionReconstruction From Video Sequence, Technical Report Of IEICE.DSP99-140, pp. 59-65, December 1999.
