1、9.1 均值漂移理论9.1.1 核密度估计核密度估计（KDE）：对于一组采样数据，把数据的值域分成若干相等的区间，每个区间称为一个 bin，数据就按区间分成若干组，每组数据的个数与总参样个数的比率就是每个 bin 的概率值。与直方图法不同的是，KDE 多了一个用于平滑数据的核函数。核函数：X 表示 d 维的欧式空间，x 是该空间中的一个点，用一个列向量表示。X 的模。R 表示实数域。如果一个函数 K： 存在一个剖面函数 k：0, ，即2Tx RRK（ x）=k（ ） （9.1）2并且满足：1）k 是非负的，且是非增的。2）k 是分段连续的，并且 。0()krd那么，函数 K（x）就被称为核函数
2、。假设 d 维空间 中有 n 个数据点 ，i=1 ，n，则点关于核函数 K（x）和带宽矩阵 HdRix的核函数估计表示为（9.5）1()()HiifxKXn式中， ；H 是 dd 的对称正定带宽矩阵。122()HK我们另外定义核函数 K（x）的轮廓函数 k（x） ，使得（9.6）2,()()kdKcx式中， 为常量。,kdc令带宽矩阵 H=h2I，则可进一步简化密度估计的复杂度。这样，根据式（9.5）和式（9.6）就可得在带宽为 h，核函数为 K 时的核密度估计为（9.7） 2, 1()nkdihicxf h几种常见的核函数 1）Epanechnikov 核2）单位均匀核函数3）高斯核函数9.
3、1.2 均值漂移均值漂移（MS）是一种非参数的，迭代的搜索密度模式的方法，它最初的含义就是偏移的均值向量。在这里均值漂移指代的是一个向量。 MS 算法一般是指一个迭代步骤，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定条件结束。通过对标准密度梯度进行估计可以得到样本集中密度最大数据的分布位置。利用核函数的可微性，从式（9.7）可知，密度梯度的估计等于密度估计的梯度： （9.8）2, , , 21()()()()nkd ihKhKiicxfxfxxkh令 g（x）= ,将 g（x）作为轮廓函数，则对应的核函数 ， 为相()k2,()()gdGxcx,
4、gdc应的标准化常量。核函数 K（x）称为 G（x）的阴影函数。将 g（x）代入式（9.8） ，可得22 21, , 2 2 21 11()()()()niin nikd kdi ihKi ni i iixghc cxxfxxggxhh （9.9）点 x 关于核函数 G（x）的密度估计为（9.10）2, 1()()ngdihicxf h定义均值漂移向量为（9.11）21, 21niiihGniixghmx通过分析得知，均值漂移向量始终指向密度增最大的方向，因此沿着均值漂移向量方向逐步搜索可以得到密度的局部极大值。均值漂移算法通过反复将数据点朝着矢量方向移动，直至收敛。当迭代结束时，核中心的位置
5、对应概率密度的极值。9.2 基于均值漂移和特征匹配的红外目标跟踪9.2.1 基于均值漂移的红外目标跟踪首先采用灰度核直方图对红外目标进行描述。假定x i,i=1,，n表示红外目标区域内的像素坐标，则目标模型的概率密度为（9.12）2001()()niu iixqxCkbxuh式中，u=1 ， 2，m 为目标特征值 bin；k（x）为核函数的轮廓函数；h 是核函数的带宽；文中采用 Epanechnikov 核来计算目标的核密度估计。X 0 是目标区域的中心位置。 为 Kronecker ()xdelta 函数，b： 是像素点到像素特征的映射；C 为归一化常熟，使得 。21,R， mu=1q核函数
6、 k（x）的作用是对目标区域的像素设置权值，使得远离目标区域中心的像素设置较小的权值，而靠近目标中心的像素设置较大的权值。相应的，候选目标可表示为（9.13）21hniu iiyxpyCkbxu式中，y 是候选目标区域的中心位置； 为候选目标区域的像素总数。hn然后, 在红外目标表观模型建构之后，跟踪问题即转化为在下一帧红外图像中寻找与目标模型 最相似的候选目标 。定义目标模型与候选目标之间的距离为qpy（9.14）1Dy式中， 为 和 之间的 Bhattacharyya 系数。1,muiypyqpqq最小化式（9.14）相当于最大化 Bhattacharyya 系数。在 处对 进行 Tayo
7、r 展开，0upyy得到其线性近似：（9.15）011022mmuuuuqypyqpy将式（9.13）代入式（9.15）可得（9.16）201 122hnm iuuiuCyxypyqk式中，权值 为i（9.17）10mui iuqbxupy将式（9.16）中的第 2 部分最大化，即可得到新的目标位置：（ 9.18）201201hhniiiniii yxxghy式中， 。()gxkx于是整个跟踪过程可描述为：首先初始化候选目标坐标 ，计算权值 ，利用式（9.18）进0yi行迭代计算，直到 或大于预定的最大迭代次数，最后得到的 即为目标所1iiy 0y在的位置。9.2.2 红外目标的特征匹配修正定
8、位由于灰度直方图所包含的图像信息单一，缺乏足够的信息来描述红外目标，因此目标描述并不稳健。在灰度空间中建立的目标灰度概率密度分布易受噪声印象，容易导致跟踪结果与目标实际位置相偏移。因此，利用特征匹配对均值漂移算法所得的跟踪结果进行修正，有效消除跟踪误差，避免跟踪失效。首先对目标模板和候选区域进行 Harris 特征点提取，然后采用改进的 Hausdorff距离对特征点进行匹配，最终实现目标的准确定位。1. Harris 特征点提取Harris 算子采用了与自相关函数相联系的矩阵 M，矩阵的特征值是自相关函数的一阶曲率，如果自相关函数的两个一阶曲率值都很高，那么就认为该点是 Harris 特征点
9、。Harris 特征点检测的过程步骤：1） 计算图像 I 在 x 和 y 方向的导数 和 ，通过计算图像与高斯核的微分来实现。xIy（9.19）,()*(,)x xG（9.20）,()*(,)y yIxIxG（9.21）,xyxyIIIx式中， 为高斯核的标准离差。2） 构造自相关矩阵 ，即计算在 x、y 和 xy 方向的图像导数与高斯核的卷积。(,)Mx（9.22）2 2(,),(,)(),xyxyGIGIx 3） 如果矩阵 M 有两个都很小的特征值，则该点位于图像灰度的平缓区，若 M 有一大一小的两个特征值，则该点在边缘处，若 M 有两个比较大的特征值，则该点就是 Harris 特征点，即
10、（9.23）2det(, ()CxxTracext式中， 是固定的参数；det 为矩阵的行列式；Trace 为矩阵 M 的迹；t 为设定的阈值，通过调整 t 的大小可以控制特征点的数目。由于噪声和背景的影响，提取的 Harris 特征点中总是难免存在一些不属于目标的所谓的“杂点” ，会影响到匹配结果。因此，下一步的工作就是采用一种 Hausdorff 距离度量算法，弃除杂点，匹配目标特征点。2. 改进的 Hausdorff 距离测度Hausdorff 距离是描述两组点集之间相似程度的一种度量，即集合之间距离的一种定义形式。若给定两组有限像素集合 和 ，则 Hausforff 距离定义12,mA
11、aa， 12,mBb，为（9.24）,mx,HBhAhA式中， 是某种距离范数；h（A,B ）称为 A 和 B 见的正向,a,in,bBAhaHausforff 距离；如 和 等，h（A,B ）的意义与 h（A,B）相似，称为反向 Hausforff 距离。L2在图像匹配中，Hausforff 用来衡量两幅图像之间的相似度，这种方法不强调图像中的匹配点对，点与点之间的关系是模糊的。Huttenlocher 等提出了部分 Hausforff 距离的概念，在用于有比较严重遮掩或者退化的图像中产生了很好的效果。Dubuisson 和 Jain 在匹配被噪声污染的综合图像时，提出了基于平均距离值的 M
12、HD（mean hausdorff distance） 。结合以上两种 Hausforff 距离的定义，Sim Dong-Gyu 等人提出了 LTS-HD（least trimmed square-hausdorff distance）算法，即使目标被部分遮掩或者因噪声而退化，这种匹配方法也能产生很好的结果。但 Harris 提取出来的特征点定位精度仅为一个像素，单个像素的信息毕竟有限，因此难免会受到噪声影响，出现误匹配。一种消除点误匹配的方法是认为兴趣点的选择是在一个小的区域里，尝试在点匹配过程中引入点的邻域信息（如灰度均值，位置均值） 。当特征点 与特iiaA征点 做 LTSHD 度量时，
13、也考虑 的邻域 与 的邻域 之间的相似性。ibAia()iNaib()iNb在此邻域之间的相似性用式（9.25）所示的灰度均值绝对值度量。（9.25）()()i i iDGrayNGrybt式中， 为集合 A 中特征点 的邻域； 为集合 B 中特征点 的邻域，Gray 表示邻()iNai iNib域的灰度均值，邻域的大小都是 MM； 为两个邻域的灰度均值绝对差，t 为设定的阈值，阈iD值的选择与邻域的大小有关。9.3 基于改进均值漂移算法的红外目标跟踪9.3.1 跟踪模型对于给定的核中的 n 个点 （i=1，2，n） ，使用核 K（x）的变量 m 的核密度估计：ix（9.26）1nKidifm
14、h式中，m 是 d 维核的中心；n 为核中点的数目；h 为核的半径。在基于均值漂移算法红外目标跟踪中，核函数 K（ x）的作用是给实时图像中待匹配目标区域的像素设置权值，使得原理待匹配目标区域中心的像素设置较小的权值，而靠近待匹配目标中心的像素设置较大的权值。因为远离待匹配目标中心的像素容易受到其他目标冲突或背景像素的影响，所以加权后的候选目标像素在进行密度估计的时候增加了它的鲁棒性，提高了搜索跟踪能力。简单情况下可通过匀布核来计算目标的核密度估计。由此得到的图像特征分布将是图像的直方图。Epanechnikov 核在连续空间中能够产生最佳的积分均方误差（MISE ） 。因此，这里采用Epan
15、echnikov 核来计算目标的核密度估计。实时图像中待匹配目标区域可描述为其灰度特征的概率密度函数（PDF） ，并采用核密度估计计算得到。基于灰度特征 u=1，2，L(L 为量化级数)的待匹配目标区域的 PDF 可通过下式计算得到，即（9.27）1ni iiFxuKxmPuC式中， 是 Kronecker 函数；常数 C 是归一化常量，且 。 101,LniuiPCKxm对于对比度低且背景亮度经常高于目标亮度的红外图像；采用密度估计构造的 PDF 并不包含灰度的空间关系，因此不能很好的描述待匹配目标区域的特征模型。为了引入空间关系，核密度估计通过联合两个 Epanechnikov 核来确定。
16、第一个核通过待匹配目标区域像素位置坐标到目标质心的欧几里德距离来确定灰度特征的空间关系。也就是说，以目标质心为中心放置一个二维核，核的值表示空间权重。获得空间关系的二维 Epanechnikov 核定义如下：（9.28）2 22Kx=0,TThxxh其 他式中，h 为核半径。第二个核作为特征直方图的加权因子，也就是说，以特征值为中心放置一个一维核。一维Epanechnikov 核定义如下，即（9.29）231Kx=40,hxh其 他使用联合核，目标特征 u 的核密度估计可从下式得出（9.30）n12Pu=i iiKFxuKxmC式中，u=1 ， 2，L（ L 为量化级数） ；C 是为归一化常数
17、量，且 ；21niiCKxm， 为两个核的半径，需单独确定。1h29.3.2 跟踪方法为了获得更好的跟踪精度，我们融合了目标区域的灰度图像和局部标准差图像核密度估计所得到的特征信息。局部标准差图像通过源图像中每个像素的邻域得到，是一个非常好的描述局部图像结构频率特征的方法。图像中像素 Xi 的局部标准差根据所定义的邻域 M 采用下式计算：（9.31）21i iXMSFN式中，F 表示图像的灰度值函数； 为 X 的邻域 M 中像素位置的坐标；N 表示邻域 M 中的像i素个数。实验中选取 M 为 55 的邻域。假定前面阶段的检测和识别算法在某一帧捕获到目标， 表示它的中心，利用式（9.7）分0m别
18、计算目标模板的灰度图像和局部标准差图像的每一灰度级的核密度估计，分别用 和 表FQS示。在下一帧中定位目标的一种可能的方法是，在实时图像中搜索待匹配目标的临近区域，通过计算临近区域内的核密度估计，找出与模板相似的分布。我们可以直接通过最小化目标模板与待匹配目标区域之间的距离来定位目标，距离值越小越相似。定义目标模板与待匹配目标区域的核密度分布之间的距离为（9.32）1dm式中， 是修改的 Bhattacharya 系数，它融合了图像灰度和局部标准差的特征。可把修改的 Bhattacharya 系数理解为模板与目标分布的相似程度，定义为（9.33）12uuuuLFFSSumPmQPmQ式中，L
19、为实时图像和局部标准差图像的灰度级数。Bhattacharya 系数越大，距离值就越小，目标模板与候选目标也就越相似。因此目标跟踪就变成了在当前帧中从上一个目标位置的邻域内搜索目标的新位置，使得以位置 m 为自变量的距离函数取得最小值。利用 Taylor 展开式将式（9.33）在上一个目标位置 处展开，其线性近似为0m（9.34）0214ni iimKxC式中（9.35）1 10 0u uu uL LF Si i iu QQKFxKSxPmPm 表示通过式（9.31）计算得到的局部标准差图像函数。式（9.34）中的第一项与 miS无关。因此，要使 d（m）最小，就是使式（9.34）中的第二项最
20、大，而该项代表着当前帧中位置m 处使用 计算的核密度估计，只不过多了加权值 。2Kx i这样就可以使用均值漂移过程寻找邻域内该核密度估计的极大值。在这个过程中，核中心从当前位置 移向新位置 ：01（9.36）1041niimxh重复以上过程就可以找到距离函数的最小值，从而实现对当前帧中的目标进行跟踪。9.3.3 核半径的自动更新在均值漂移跟踪算法中，二维核的窗口大小起着非常重要的作用，因为它不但决定了参与均值漂移过程迭代的样本数量，而且也反映了跟踪窗口的大小。书中提出了一种根据找出仿射模型中的比例变换因子对二维核的半径进行自动更新的算法，以便对红外成像制导跟踪过程中不断增大尺寸的目标进行有效的
21、跟踪。由于改进算法只需要求前后两帧中运动目标的比例变换因子，因此可考虑前后两帧中目标的运动只存在平移和缩放。这样，成像序列中目标的运动可由以下简化的仿射模型给出：（9.37）xxkyy式中， 和 分别表示前后两帧中同一目标特征点的位置坐标；k 是比例变化因子；,xy(,)x为坐标平移参数。()利用比例变换因子 k，二维核的半径就可按如下方法进行自动更新：（9.38 ）22hkh由于此时红外成像序列中目标边缘特征较为明显，而且目标的边界易于提取，因此可通过提取边界，以边缘的作为匹配特征点对模型中的参数进行估计。通过提取前后两帧图像目标的边界计算他们边缘点的互相关矩阵，找出最大相关位置，代入式（9
22、.14）就可得到平移参数和比例变换因子 k 的估计值。得到比例变换因子 k 后就可代入式（9.15）计算二维核(,)xy的新半径。9.3.4 跟踪流程改进的均值漂移算法通过以下步骤可实现对当前帧中目标的跟踪：1） 利用前一帧计算概率密度函数所使用二维核的半径根据式（9.38）更新当前帧的二维核半径，并定义一个小的正常数 。2） 计算目标模板的灰度图像和局部标准差图像在前一帧位置 处的概率密度函数 和0mFQ。SQ3） 使用前一次目标中心 初始化当前帧待匹配区域的中心，并计算当前帧中待匹配目标区0m域灰度图像和局部标准差图像的概率密度函数 和 。FPS4） 根据式（9.32）和式（9.33）计算两个概率密度函数的距离值 。kd5） 根据式（9.36）计算下一个待匹配目标区域的中心位置 。1m6） 用 代替 并转到步骤 3）重复以上迭代过程，直至每一次迭代过程中 的改变量小1m0 kd于正常数 。
