1、 一种移动机器人对运动目标的检测跟踪方法刘伟 12 王建平 1 张崇巍 1 （1：合肥工业大学电气与自动化工程学院安徽 合肥 230009；2 合肥学院： 安徽 合肥 230106）摘要：从序列图像中有效的自动提取运动目标区域和跟踪运动目标是自主机器人运动控制的研究热点之一。本文给出了连续图像帧差分和二次帧差分改进的图像 HIS 差分模型，采用自适应运动目标区域检测、自适应阴影部分分割和噪声消除算法，对无背景图像条件下自动提取运动目标区域。定义了一些运动目标的特征分析和计算，通过特征匹配识别所需跟踪目标的区域。采用 Kalman 预报器对运动目标状态的一步预测估计和两步增量式跟踪算法，能快速平
2、滑的实现移动机器人对运动目标的跟踪驱动控制。实验结果表明该方法是有效。关键词： 目标检测与识别，改进的 HIS 差分模型，Kalman 滤波器，增量式跟踪控制策略。中图分类号:TP391.41 文献标识码:A A method of moving object detection and tracking of mobile robotLIU Wei 1, WANG Jian-ping 2(：Hefei University Hefei 230106；2：School of Electric Engineering and Automation, Heifei University of Te
3、chnology, Hefei 230009)Abstract：Extracting moving objects from in video sequences adaptively without background image has been focused in robot research fields. A improved HSI image difference model based on sequences image difference and second image difference is presented.Moreover，a self-adaptive
4、 division method to extract the moving objects without background knowledge is adopted. The feature of moving objects are definited and the area of objects can be recognized through the feature marching. To track the moving objects quickly and smoothly, the forecast of moving objects state and two-s
5、teps -increment tracking algorithm based on Kalman filter are adopted. Experimental results show that the proposed approach is effective. Key Words: Object Detection and recognition, HSI Image Difference Model, Kalman Filer, Increment Control Tracking Strategy1 引言运动目标检测和跟踪是机器人研究应用及智能视频监控中的重要关键技术，一直是
6、备受关注的研究热点之一。在运动目标检测算法中常用方法有光流场法和图像差分法。由于光流场法的计算量大，不适合于实时性的要求。对背景图像的帧间差分法对环境变化有较强的适应性和运算简单方便的特点，但帧间差分不能提出完整的运动目标，且场景中会出现大量噪声，如光线的强弱，运动目标的阴影等 12 3。为此本文对移动机器人的运动目标检测和跟踪中的一些关键技术进行了研究，通过对传统帧间差分的改进，引入 HSI 差值模型、图像序列的连续差分运算、自适应分割算法、自适应阴影部分分割算法和图像形态学方法消除噪声斑点，在无背景图像条件下自动提取运动目标区域。引入一些运动物体的特征分析，对运动目标区域的特征值进行计算和
7、匹配，分类识别和提取所需跟踪的运动目标区域。采用 Kalman 滤波器对跟踪目标的运动轨迹进行预测，建立移动机器人跟踪运动目标的两步增量式跟踪控制策略，实现对目标的准确检测和平滑跟踪控制。实验结果表明该算法有效。2 运动目标检测方法视觉系统的视频图像的典型输出模式为 RGB。理论分析和试验结果都表明，对同一颜色属性物体，在光照光源种类、照度、物体反射特性不同条件下，测得的 RGB 颜色值分布很分散，3 个分量互相关联变化，占据整个颜色空间的比例非常大，很难确定识别 RGB的阈值范围，而且容易把并非指定颜色的物体包括进去，或漏掉应该识别的部分物体。作者：刘伟，合肥工业大学在读博士，合肥学院助教；
8、王建平，博士，合肥工业大学教授；张崇巍，合肥工业大学教授，博导该项目获肥学院自然科学基金（08KY006ZR） ，合肥学院重点实验室建设资金，安徽省教育厅自然科学基金（KJ2008B121）支助接近人眼对颜色感知的色调、饱和度和亮度属性（H，S，I ）模型更适合于图像识别处理。因此，本文引入改进型 HIS 帧差模型。2.1 运动目标图像 HSI 差值模型：设移动机器人在某一位置采得的连续三帧图像序列 ， ， ，根据仿人眼对),(1yxfk),(fk),(1yxfk色度的敏感系数比亮度要低 5，通过对图像色调 H、饱和度 S 和亮度 I 属性的敏感系数调整 4，将所得序列每一帧图像转换为更能突出
9、移动目标的改进型 HSI图像 ，如下式：),(yxfi（1） (,)(,),()1,)HiSiIiWyXYXYxxyk其中：W H ，W S ，W I 分别为设定的色调、饱和度和亮度的敏感系数。将通过公式（1）转化后的第 k 与第 k-1 帧图像差分，第 k+1 与第 k 帧图像差分。定义 1 帧差分图像计算模型如下: （2） 11(,)|(,)(,)|,|dkkkfxyxyxySII （3） 211()(,)(,)|,|dkkkfxyHxyxyII其中: ， 为连续三帧图像序列的帧差),(1yxfd),(2yxfd分后的结果。2.2 噪声的处理：差分后的图像中含有较多噪声斑点，其中部分是背景
10、被误检为运动区域，还有就是背景的扰动，如树木，草等的摆动。为了去除这些干扰，使用了数学形态学中的开启和闭合算法作为噪声滤除器。2.3 运动目标阴影部分自适应分割在理想状态下 ， 中应该只包括运),(1yxfd),(2yxfd动目标的移动部分，实际结果中运动目标往往存在阴影部分，并很难区分。因为运动目标本身与阴影部分有相似的视觉特征，通常在检测中无法直接区分运动目标和阴影。仿人对阴影的认识，当非运动目标像素点被阴影覆盖，则它的亮度值会显著变小，色度信号变化不大，而当它被运动目标覆盖时则亮度可能变大也可能变小，但色度的变化会很大，且阴影部分应具有相似的亮度值和色度值。HSI 图像颜色空间具有较好的
11、色度和亮色感知一致性。通过计算图像间颜色的相似性，找出运动目标移动区域中的阴影部分 9。为减少计算量并不失一般性，可仅对公式（2）和（3）运算结果相与所得区域计算出运动目标移动区域中的阴影部分亮度和色度值的相似性。定义 2 二次帧差分图像运算为：Y（x,y）= = ),(yxfd),(1yxfd),(yxYH),(yxYS （4） ),(yxI运算规则定义为： 11,min|(,)(,)|()|HkkkYxyxyxy,i|,|()|SkS11(,)in|,(,)|I kkYIxyIxyxy其中：Y（x,y）为相与运算所得结果，相与运算为对， 两个帧差分图像的色度 H、饱和度),(1fd),(2
12、fdS 和亮度 I 值取极小运算。HSI 图像颜色空间的色调属性 H 能比较准确地反映颜色种类，对外界光照条件的变化敏感度程度低，具有比较稳定和较窄的数值范围。但是亮度 I 较小时，H 的值趋向于不确定，为了确定出两个帧差分图像结果 ， 做相与运算结果所得区域，利用),(1yxfd),(2yxfd类间距与类内距之比作为最佳分割的目标函数 5。为了更好的自适应确定其分割阈值，本文在差分图像计算时采用取色调 H 和亮度 I 双属性的改进型 HSI 帧差分模型， 定义 3 改进型 HSI 颜色空间图像的二次帧差分模型为：T（x，y）= + （5） ),(yxYH),(I其中：T（x，y）为帧差分图像
13、的计算结果，帧差分模型为色度 H 和亮度 I 值求和运算。设将 HSI 颜色空间图像象素值为大于 T 的像素区域构成区域 A1（x,y） ，设其方差为 A1（T） ，小于等于 T 构成区域 A2（x,y） ，设其方差为 A 2（T） ，则可设：（6） TA21)(求（6）式对 T 的导数，并令其为零，求取该式最大值对应的 Tmax 便是图像分割的二值化阈值。这样可使目标移动部分和非目标物的像素值差别最大，而各自区域内部的像素值分布差别最小，从而达到以Tmax 为阈值将图像 Y（x,y）二值化成运动目标移动部分区域 Ym（x,y）和不变背景部分区域 Yb（x,y）的两个区域的最佳分割。 当非运动
14、目标像素点被阴影覆盖应具有相似的亮度值和色度值，可计算出图像间颜色的相似性。对图像序列 中的运动目标移动部分区域 Ym（x,y） ，),(yxfk本文采用如下公式计算可找到该区域中的阴影部分 6。定义 4 阴影区域的判断式为： 11(,)|(,)(,)|kkkkIxyHxyxy（x,y） Ym （7）其中：参数 是考虑光源的影响，光源越亮取值越小，是为了去除噪声的影响(01 Ei ；),0(1对于车：D it0； 对于动物：其他；运动目标的匹配 当场景中含有多个运动目标，利用下列规则对当前检测出的运动目标 Fi （i=1 ，2， ）进行匹配。定义 5 运动目标的匹配规则集：规则 1 If Di
15、 1 and Ei Then 运动目),0(1标是人。规则 2 If Di t0 and Ei Then ),(1运动目标是车。规则 3 If Di 1 and Mit0 and Ei Then ,0运动目标是动物。 通过对检测出的运动目标特征逐个与预期跟踪的目标特征进行匹配，确定要跟踪的运动目标的区域，记为 OR。3.3 运动目标的定位由于目标运动的跟踪通常是通过描述运动目标中心的图像中的上下、左右、前后三维运动轨迹来实现的。所以计算运动目标区域的重心点为运动目标中心点。获得被跟踪的运动目标区域中心点的横坐标、纵坐标和深度坐标值。 计算跟踪运动目标区域的重心点的横坐标、纵坐标为：（11） R
16、Oyxyxm),(),( ),(（12） ROyx),(),( ),(其中：O R 为二值化图像 中的确定要跟踪的运Fk动目标区域。 计算跟踪运动目标区域的重心点的深度坐标值在没有特殊已知信息的条件下计算物体的深度信息是一件比较困难的事，由于跟踪本身对精度的要求并不是很高，本文采用单摄像机近似小孔成像原理的测距方法，较精确地计算出深度距离 mz 值。实际中机器人摄像机采用的是正对前方的放置方式，高度已经测定为 H，焦距已经测定为 f，运动目标本身的重心距离地面有一定的高度，采用运动目标重心点正下方的运动目标区域边缘点在图像中的坐标表示 A 点，具体计算如下：A ( X , Y , Z )f图像
17、原点D ( x0, y0)B ( x , y )OCH图 1 小孔成像原理的测距示意图由图(1)可得，C 是摄像机，O 是摄像机在地面上的投影，图像成像面中心点坐标为 D（x O，y O） ，运动目标重心点正下方的边缘点的三维立体坐标为A（X A，Y A，Z A） ，该点在图像上的投影点坐标为B（X B， YB） ，则三角形 ACO 与三角形 CDB 相似，经过计算可以得出物体地面上的点与摄像机的水平距离 mZ。mZ=fH/（Y B-y0） (13)其中：dy 是摄像机成像像素的纵向物理尺寸，H 为摄像机与地面高度。4 运动目标的预测跟踪控制4.1 运动目标的运动轨迹估计：检测确定出运动目标后
18、，由于目标会不停运动，需要控制移动机器人对运动目标的跟踪，使得运动目标图像保持在移动机器人的视觉范围之内，并使运动目标图像的重心位置始终位于移动机器人的可视图像的中心位置。为了使跟踪更为准确，控制更平滑，本文采用 Kalman 滤波器（EKF ）预估运动目标位置，建立移动机器人跟踪运动目标的控制策略。运动目标的前/后/左/右移动可以通过其重心在图像上的左右平移和运动目标成像的深度来反映，由公式（14）可知，运动目标的深度信息可以通过目标边缘点的纵坐标计算得出，因此构造 Klaman 滤波器时，设状态 向量 X(t)为: X(t)= 。Tyx tytxtmt )()(其中： , 分别为 t 时刻
19、运动目标重心点 A在图像上 x 方向和 y 方向的位置， , 分t)(ty别为 t 时刻运动目标 A 点在 x 方向和 y 方向上的运动速率， 为两个状态之间的采样时间间隔。 系统的状态方程：运动目标的跟踪过程可以用下面的时间线性状态方程描述：即： )()()( ttXt)(tyxtmyx= +10t)(tyxtmyx（14）)( ttyxmyx其中： 是状态误差，假定为零均值高斯噪声，取为 = ，其方)tTyxmyx tttt )()( 差分别为： Tttttttt )()()()( 26252423221 量测方程为：)()(tXtHtY即： (15） )()(10)( ttmt myxy
20、xmyx其中： 为观测误差，假定为零均值高斯噪声，取为 ，其方差分别为：Tyxttt。)(21 初始条件确定系统初始状态的确定，运动目标初始位置 A 点为（x(0),y(0)） ，可实时检测计算得到第五帧时刻运动目标的重心点位置作为初始 A 点位置(x(0),y(0) 状态值；运动目标初始移动速率为（ , ） ，可以)0x)(y通过实时检测第二帧与第五帧的重心点位置变化和采样时间间隔 之比计算得到，即初始 X(0)= x(0),y(0),tx(0), y(0)T。量测方程中的噪声协方差矩阵 R(t)=E T，模型噪声的协方差矩阵 Q(t)=E)( )(tT,估计误差协方差矩阵 P（t） ，初始
21、状态值tQ，R 和 P（0）只需取不为零的矩阵。 一步预测估计推导根据 Kalman 滤波理论的预测模型递推公式，进行一步预测估计推导如下：P（1/0）= (16) )(*)(tQttTK（1）=P(1/0)*H T*(H*P(1/0)*HT+R)-1 (17) P(1) =(I-K(1)*H)*P(1/0) (18) 得到 K(1)后可以根据下式计算出系统的下一步状态预测值：X(1)=X(0)+K(1)*(Y(1)-H*X(0) (19) 由公式（15）（20） ，可依此类推得：X(2)，X(3) ，X(k)，X(k+1)，。4.2 移动机器人运动控制策略：使移动机器人检测出的运动目标的重心
22、始终位于图像的中心位置（x O，y O） ，则跟踪问题可表示为机器人的两步运动：首先驱动机器人左右移动 X 使运动目标的重心点出现在图像的中心位置 yO 轴上，再驱动机器人前后移动Z 保持图像大小不变。 X 的计算目标水平移动的实际距离可以通过摄像机的小孔成像模型近似算出，推导如下：(20) dytmxHftdxtmXoyxzox )()()(其中：dx 是摄像机成像像素的横向物理尺寸。 Z 的计算：实际跟踪过程中需要保持运动目标的成像面积与图像总面积的比值不变，由公式（9）运动目标成像面积与运动目标物体自身表面积的关系可推导出Z 的计算公式。设保持运动目标的成像面积与图像总面积的比值为常值
23、k1，实际状态下运动目标在图像中所占的比值为 k2，计算得到此时物体重心距离机器人的近似距离为 mZ，为了达到运动目标成像面积为保持的比值 k1，机器人需要移动的距离表示为Z ，则：Z(t)= =Zmk)1(2（21） ， dytYHfkB)(*)1(02其中：Y B(t)为运动目标重心点正下方的运动目标区域边缘点在图像中的坐标可由重心点坐标得出，由公式（19）和（21）看出可以通过 Kalman 滤波预测出来的 、 和确定保持运动目标图像大小比值)(tmxtyk1，可分别计算得出移动机器人的两步运动 X 和 Z 。5 实验结果分析5.1 实验条件本文对提出的方法在户外场景运动目标检测进行了大
24、量的实验验证。实验条件如下：移动机器人摄像机分辨率为 320*240，高度 H 为 853mm，焦距 f 为36mm，每秒钟 25 帧，摄像机成像像素的横向，纵向物理尺寸可分别通过对摄像机的标定得到,dx=0.12mm, dy=0.09 mm, HIS 空间下的敏感系数取：W H =0.1，W S =0.1，W I =0.80；检测与跟踪的运动目标选择为汽车，设定运动目标都归一化为距离摄像机为L=500cm 的位置得到成像面积，该位置上所设成像面积阈值 t0=400 像素，每个目标点连通区域B=50，=8，仿射不变矩与人头肩部分经验不变矩差的绝对值所设的容限值 1= 100，移动机器人每间隔
25、1秒调整一次跟踪位置，每次采集 3 帧图像，即采样间隔时间 =1 秒，保持运动目标的成像面积与图像总t面积的比值为 k1=0.1。图（a1） 图（b1） 图（c1） 图（d1） 图（e1） 图（f1）图（g1） 图（h1） 图（i1） 图（j1） 图（k1） 图（a2） 图（b2） 图（c2） 图（d2） 图（e2） 图（f2）5.2 实验步骤如下：摄像机在 t 时刻捕捉的三帧原始图像为图（a1） 、图（b1）和图（c1） 。由公式（1）转化成的新的 HIS 空间下的图像为图（d1）至图（f1） 。分别图（e1）与图（d1）和图（f1）与图（e1）差分，结果为图（g1）和图（h1） 。由公式（
26、4）对图（g1）和图（h1）做相与运算，结果为图（i1） 。由公式（5）和(6)求图（i1 ）的自适应二值化阈值得到二值化图像图（j1） 。由图（j1）中的每个目标点连通区域代回图（e1）中，由公式（7）以及 2.4 节相应方法得到图（k1） 。由公式（8）(10) 和定义 5，通过给出的特征识别方法对图（k1）可识别出运动物体分别为所要跟踪的目标。跟踪目标为人体，由公式（11） (12)计算得出图（k）中目标的重心坐标为 mx（t ）=59，m y（t）=170，Y B(t)=229，得到深度为mZ=4874mm，重心点沿 x，y 方向的移动速度=87 像素/t, =0，由公式（16）Q ，
27、R)0(x)0(和 P（0） 。由公式（13）(19) Kalman 滤波器计算运动目标状态的一步预测。m x（t+1）=146，m y（t+1）=168， =76 像素/t, =0，)1(tx)1(t由公式（20）和(21) 计算出移动机器人对运动目标状态的一步预测增量式两步运动跟踪值X=430mm 和 Z =0。在机器人移动 X 和Z 之后的位置上重新捕捉的三帧图像为图（a2 ）至图（c2）重复上述操作，得到一步运动之后在 t+2 时刻下的系统预测状态 X（t+2）=132，166，72，0，通过 Kalman 滤波器重新估计得到预测值，驱动机器人跟踪移动目标为了使移动机器人跟踪运动的驱动
28、控制性能平滑，对于运动目标图像面积比变化在（1/9,1/11）范围之间时，可不对机器人做前后移动的驱动控制。6 结论本文对移动机器人的运动目标检测和跟踪中的一些关键技术进行了研究，实验结果表明：（1）给出了改进的图像 HIS 差分模型，定义了连续图像帧差分和二次帧差分运算，可有效的适应环境变化的影响，能对无背景图像条件下有效提取运动目标区域。（2）引入了一些运动物体的特征分析，定义了运动目标区域的特征值计算，可对运动目标进行特征匹配，能判别和提取所需跟踪的运动目标区域。（3）采用了 Kalman 滤波器对运动目标状态的预测，定义了移动机器人的增量式两步跟踪算法，能快速平滑的实现移动机器人跟踪运
29、动目标的驱动控制。（4）本文方法对于运动物体的遮挡造成的目标消失或运动物体移动过快等问题需要进一步研究。参考文献1李庆忠，陈显华，王立红.一种视频运动目标的检测与识别方法J.模式识别与人工智能，2006，19（2）:238-242.2杨威，张田文.复杂景物环境下运动目标检测的新方法J.计算机研究与发展，1998,35（8）：724-728.3张辉，王强.徐光佑，朱志刚.运动目标的快速检测和识别J.清华大学学报（自然科学版） ，2002,42（10）:1401-1404.4 王建平,钱波,姜滔.基于变换域分析的车牌分割研究J.合肥工业大学学报（自然科学版）,2004,27（3）:251-255.5 王建平，秦枫.灰度文本图像自适应二值化滤波算法设计及应用J.合肥工业大学学报（自然科学版） ，2004,27（5）:509-512.6 林洪文，涂 丹，李国辉.基于统计背景模型的运动目标检测方法J.计算机工程，2003，29(16): 97-99.7 李凌娟，贾振堂，贺贵明.一种鲁棒的视频分割算法J.中国图像图形学报，2002，7（11）：1128-1133.8 倪福川，贺贵明，龙磊.基于不变矩的人形“头肩像”识别技术J.计算机工程，2005，31(10):174176.
