1、经典光流法综述,叶思 2010.4.21,1.光流简介,三维场中P点的运动投影到二维平面后形成的M点的二维运动场,1.光流简介,光流场则是指图像灰度模式的表面运动，它是一种像素级的运动，理想情况下，光流场和二维运动场互相吻合，但实际上并不经常如此。,1.光流简介,这里我们可以认为光流场实际就是在时间序列上帧与帧之间图像的像素级运动，后面的部分，我们将讨论如何求出视频中运动物体的光流场，而运动场和光流场的不一致问题，则不在我们此次讨论范围内 。,2.经典光流法,Lucas-Kanade(LK)pyramidal LK（PRLK）,LK算法的原型最初是一篇讲述配准问题的论文，该文主要论述了如何对两
2、幅图像中的感兴趣区域进行配准，这实际也是一种求光流的方法，但这里配准过程中使用的是牛顿迭代的方法，而经典LK光流法中使用的是解线性方程组的方法。An Iterative Image Registration Technique with an Application to Stereo Vision发表在1981年的Proceedings of Imaging Understanding Workshop上。该文通过空间的灰度梯度信息，求解两幅图像之间相应区域的匹配问题，它可以用在各种线性变换下，甚至是旋转变换。它被引用的次数达到了2330多次。,2.1 Lucas-Kanade(LK)算法,
3、2.1 Lucas-Kanade(LK)算法,上图表示两幅图像某区域 R的匹配， F(x) 和 G(x)分别表示两幅图像在相应坐标下的像素灰度值，我们的目标是找到相应的向量h，使得在感兴趣的区域 R中，F(x+h) 和 G(x)的差别最小，这里的差别也就是：,2.1 Lucas-Kanade(LK)算法,一维坐标下两条曲线的匹配我们的算法是基于 F(x) 上在 x 邻域上具有线性性质的假设,当 h 较小时，我们可以得出：,2.1备注：牛顿迭代法,牛顿迭代法是一种求方程根的方法，如图所示蓝色曲线是我们要求的方程，所求目标便是图中所示的曲线与x轴的交点，是经过n次迭代后的结果，在收敛的情况下，它是
4、不断向正确的值逼近的。,由 可以得到：,于是我们令：,2.1 Lucas-Kanade(LK)算法,根据我们的线性假设，曲线线性较好的地方求出的h必然更为准确，而线性性能的度量可以用曲线的二阶导来表示，二阶导较小的地方如拐点，即二阶导为零处则线性最好，所以我们给每个x处得出的h一个权值：,2.1 Lucas-Kanade(LK)算法,这里有个问题就是在曲线为平的时候， 为零时，作为分母，h的求取会出现无意义的情况。于是我们做一个小变换， ，将它代入使两曲线的E最小，这里我们使用差的平方来判断两者差异大小，有：,为了使误差E最小，我们对E求h的导数：,2.1 Lucas-Kanade(LK)算法
5、,由一维扩展到多维：,前面我们提到过算法是基于h很小的假设，所以当h很大的时候计算出来的 结果误差很大甚至是错误的，文中在一维的情况下对正弦曲线的匹配进行了上述算法的计算实验，设：实验发现，当 时，上述算法的结果能收敛到正确的h值上去，这表明最初的偏差值可以最多取到波长的一半。我们从中可以获得启发：抑制图像高频的部分，可以扩大h的收敛域。我们将图像进行平滑便可以达到这个效果，但这同时损失了图像的细节部分，会反过来造成匹配的不够准确，尤其当平滑窗口大于我们匹配的区域时，我们将得不到匹配结果。,2.1 Lucas-Kanade(LK)算法,从前面一维和二维的推导过程来看，我们都是使用了F和G的两幅
6、图像的F(x+h)和G(x)的相等与否关系来得到h的求解，我们假设了F(x+h)=G(x)。 而在视频中，对于t和t+dt帧的光流计算，也相当于两幅帧图像的像素匹配过程，这里我们假设在视频帧中，物体的对应像素的灰度值不因运动而变化，也得到光流的基本公式：,2.2 LK光流,2.2 LK光流,LK算法基于以下三个假设：1）亮度恒定2）时间连续或者是运动是“小运动”3）空间一致，临近点有相似运动，保持相邻,类似的，对于 也进行一阶泰勒展开：,之前的匹配中我们对F(x+h）进行一阶展开： 使得F(x+h)=F(x)+hF(x)，然后代入相关公式中计算。,2.2 LK光流,对t求导，令 分别表示水平方
7、向、垂直方向的光流速度， 表示某方向的梯度，用一阶差分代替一阶微分，于是光流基本计算公式有一般形式：,2.2 LK光流,假设在一个小窗口内的像素光流是一致的：,2.2 LK光流,使用最小二乘法解 里的向量u:,图三情况下，在纹理密集的地方可以求得u。,考虑矩阵的可逆性：,2.2 LK光流,2.2 PRLK光流,1）在LK算法中，有些情况会导致矩阵不可逆，这些情况下无法计算光流，于是我们可以考虑寻找一些好的特征点来计算光流，也就是角点。2）在光流计算中，当光流较大，也就是物体运动范围较大时，计算误差很大，这时，我们引入金字塔的思想，对原始图像进行采样，进行类似coarse to fine的过程，对先通过高层金字塔找出大的运动量，再逐步细化，计算小的运动量并不断纠正大运动量的精确度。,2.2 PRLK光流,2.2 PRLK光流,LK法,PRLK法,PRLK找相对应的点,OVER!,
