1、沈阳理工大学数字图像处理课程设计摘 要运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB 这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助 matlab 软件编写程序，运用 Horn-Schunck 算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运
2、动目标的运动情况。关键字：光流法；Horn-Schunck 算法；matlab沈阳理工大学数字图像处理课程设计I目 录1 光流法的设计目的 .12 光流法的原理 .12.1 光流法的介绍 12.1.1 光流与光流场的概念 .12.1 光流法检测运动目标的原理 22.1.1 光流场计算的基本原理 .22.2.2 基于梯度的光流场算法 .22.2.3Horn-Schunck 算法 32.2.4 光流法检测运动目标物体的基本原理概述 .53 光流法的程序具体实现 .63.1 源代码 63.1.1 求解光流场函数 .63.1.2 求导函数 .83.1.3 高斯滤波函数 .93.1.4 平滑性约束条件函
3、数 .103.1.5 画图函数 .104 仿真图及分析 .12结论 13参考文献 14沈阳理工大学数字图像处理课程设计01 光流法的设计目的数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了 广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理 等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用 Matlab 编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试
4、所学的内容解决实际工程问题，培养学生的工程实践能力。运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。2 光流法的原理2.1 光流法的介绍2.1.1 光流与光流场的概念光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动” ，即
5、反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平沈阳理工大学数字图像处理课程设计1面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体发生相对运动时，被观察物体表面带光学特征的部位的移动给人们提供了运动和结构的信息。当相机与场景目标间有相对运动时所观察到的亮度模式运动称之为光流(optical flow)，或者说物体带光学特征部位的移动投影到视网膜平面(也即图像平面) 上就形成了光流。光流场是指图像灰度模式的表观运动，它是一个二维矢量场，所包含的信息就是各个像素点的瞬时运动速度矢量信息。光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动 1
6、。2.1 光流法检测运动目标的原理2.1.1 光流场计算的基本原理一般情况下，光流由相机运动，场景中目标运动或两者的共同运动产生。光流场的计算大致可分为三类：基于梯度的方法(Horn-Schunck)；基于匹配的方法；基于能量的方法。基于梯度的方法利用图像灰度的梯度来计算光流，是研究最多的方法。基于梯度的方法根据运动前后图像灰度保持不变这个基本假设，导出光流约束方程。由于光流约束方程并不能唯一的确定光流，因此需要导入其他的约束。根据引入的约束不同，基于梯度的方法又可以分为全局约束方法和局部约束方法。全局约束的方法假定光流在整个图像范围内满足一定的约束条件；而局部约束的方法假定在给定点周围的一个
7、小区域内，光流满足一定的约束条件。基于匹配的方法，这类方法是将速度 vm 定义为视差 d=(dx,dy)t，使得两个时刻的图像区域的匹配最佳。为了找到最佳匹配，我们可以对定义在 d 上的相似度量，如规一化的互相关系数，进行最大化，也可以对某一距离度量，如光强度差的平方和，进行最小化 2。2.2.2 基于梯度的光流场算法梯度光流法又分为全局约束方法和局部约束方法。全局约束方法假定光流在整个图像范围内满足一定的约束条件，而局部约束的方法假定在给定点周围的一个小区域内，光流满足于一定的约束条件。下面先导出光流约束方程。然沈阳理工大学数字图像处理课程设计2后给出两种比较典型的基于梯度的方法。假定图像上
8、点 在时刻 t 的灰度值为 ，经过时间间隔 dttyx),(m）（ tyx,I后，对应点的灰度为 3，当时，可以认为两点的灰度不变，d),d,I（也就是：（2.1）（）（ tyxtyx,I,I 如果图像灰度随 x,y,t 缓慢变化，可以将(1)式左边泰勒级数展开：（2.2）),(,I tIdtd）（其中 代表二阶无穷小项。由于 dt0，忽略 ，可以得到：（2.3） ItIyx令 u=，v=代表 x,y 方向上的光流， IX=，I Y=， IT=分别代表图像灰度相对于 x,y,t 的偏导 4，式(2.3)可以写成：（2.4）0IvuItyx此式即光流场的基本方程。写成向量形式，即：（2.5）tm
9、IV其中=(I X, Iy)是图像在点 m 处的梯度，V m(U,V)是点 m 的光流。上式称为光流约束方程，是所有基于梯度的光流计算方法的基础。2.2.3 Horn-Schunck 算法Horn-Schunck 算法提出了光流的平滑性约束。即：图像上任一点的光流并不是独立的，光流在整个图像范围内平滑变化。因此 Horn-Schunck 算法是一种全局约束的方法 5。设平滑性约束项为极小化：（2.6）dxyvuxyxs )(E22由基本等式，显然要求极小化：（2.7）IItyxc2)(沈阳理工大学数字图像处理课程设计3于是，由(2.6) 和(2.7) 式可知，最后求得光流应满足（2.8）式：（
10、2.8）dxyIvuIvutyxyxyx )()(min 222这里 的取值要考虑图中的噪声情况，如果噪声较强，说明图像数据本身的置信度较低，需要更多的依赖光流约束，所以 可以取较大的值；反之，取较小的值。为了满足(2.8) ，可将该式对 u 和 v 分别求导，并取导数为 0。这样就得到 5：（2.9）txyxII22（2.10） tyyvuv以上两式也称为 Euler 方程。如果令 和 分别表示 u 邻域和 v 邻域中的均值(可用图像平滑算子求得) 6，并令 和 ，则式(2.9)和(2.10)改写成：（2.1）（）（ kjikjikjikjikjikjikjikji IIIII ,1,1,1
11、,1,1,1,1,t 44I 1）（2.12）txyxIuvIu22xI）（2.13） tyy）（从上式解得：（2.14） 22)(yxtxIvuI（2.15） 22y)(yxtIIv式(2.14)和(2.15)提供了用迭代法求解 u 和 v 的基础 7。实际中，常用松弛迭方程进行求解：（2.16） 22)()()()1( yxtkkxkk IIu沈阳理工大学数字图像处理课程设计4（2.17） 22)()(y)()1(vyxtkkxkk IvuI其中 k 是循环数， 和 是初始值，可以取为 0。 和 是局部平均，(0)u() uv为权重系数，根据导数求取的精确度确定。 在实际求解过程中，需要估
12、计亮度的时间和空间微分。这可在图像点的一个 222 立方邻域中估计 8，如果下标 分别对应 ，那么 3 个一阶偏,ijk,xyt导分别是：）（）（ 1,1,1,1,1,1,1x I4I4 kjikjijikjikjikjikjikji III（2.18） ）（）（ 1,1,1,1,1,1,1y II kjikjijikjikjikjikjikji III（2.19）（2.20）（）（ kjikjikjikjikjikjikjikji IIIII ,1,1,1,1,1,1,1,t 44I ）也就是用一阶差分来替代灰度 I 关于 x,y,t 轴的偏导。上述算法的实现相对简单，计算复杂性较低。但是这
13、种技术存在着严重缺陷。首先，图像灰度保持假设对于许多自然图像序列来讲都是不合适的，尤其是在图像的遮合边缘处和(或)当运动速度较高时，基于灰度保持假设的约束存在较大误差。其次，在图像的遮合区域，速度场是突变的，而总体平滑约束则迫使所估计的光流场平滑地穿过这一区域，此过程平滑掉了有关物体形状的非常重要的信息。第二，微分技术的一个要求是 I(x，y，t)必须是可微的，这暗示着需对图像数据进行时空预平滑 9，以避免混叠效应; 而且数值微分的求取具有病态性，如果处理不当将对最终的速度估计产生显著影响。2.2.4 光流法检测运动目标物体的基本原理概述给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图
14、像运动场，沈阳理工大学数字图像处理课程设计5在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标与图像背景存在相对运动，运动物体所形成的速度矢量必然与邻域背景速度矢量不同，从而检测出运动物体及位置。光流法的优点：光流不仅携带了运动物体的运动信息，而且携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象 10。3 光流法的程序具体实现下面，以光流场计算的典型方法Horn-Schunck
15、算法位例，介绍光流法的Matlab 程序实现对图像运动目标的检测。3.1 源代码3.1.1 求解光流场函数function u, v = HS(im1, im2, alpha, ite, uInitial, vInitial, displayFlow, displayIm) % 输入：% im1-输入图像 1% im2-输入图像 2% alpha-反映 HS 光流算法的平滑性约束条件的参数% ita-（3.15.9）式中的迭代次数% uInitial-光流横向分量初始值% vInitial-光流纵向分量初始值% displayFlow-光流场显示参数，其值为 1 时显示，为 0 时不显示% d
16、isplayImg-显示光流场的指定图像，如果为空矩阵，则无指定图像输出% 输出：% u-横向光流矢量沈阳理工大学数字图像处理课程设计6% v-纵向光流矢量% 初始化参数 g)% 功能：求解光流场if nargin2if sum(sum(imgOriginal)=0imshow(imgOriginal,0 255);hold on;endendif nargin4rSize=5;endif nargin5scale=3;endfor i=1:size(u,1)for j=1:size(u,2)if floor(i/rSize)=i/rSize | floor(j/rSize)=j/rSizeu
17、(i,j)=0;v(i,j)=0;endendendquiver(u, v, scale, color, g, linewidth, 2);set(gca,YDir,reverse);沈阳理工大学数字图像处理课程设计114 仿真图及分析将上述程序保存为 matlab.m 格式，并输入两帧连续图像，如图 4.1 所示：图 4.1 输入的两帧测试图像由图 4.1 可知：输入的两帧连续图像为灰度图像，并且有运动的目标即河中水流和空气。图 4.2 两帧测试图像的光流场及放大图像沈阳理工大学数字图像处理课程设计12由图 4.2 可知：输入的两帧连续图像，在经过求导函数、高斯滤波函数、平滑条件函数处理之后
18、，用光流法将图像中运动物体的速度矢量显现出来，图中的红色箭头即是图像中目标运动的方向。结 论光流法是对运动序列图像进行分析的一个重要方法，光流不仅包含图像中目标的运动信息，而且包含了三维物理结构的丰富信息，因此可用来确定目标的运动情况，反映图像的其他信息。基于光流法可以实现在军事航天、交通监管、信息科学、气象、医学等多个领域的重要应用。例如，利用光流场可以非常有效地对运动目标进行检测和分割，这对地对空导弹火控系统的精确制导、自动飞行器精确导航与着陆、战场的动态分析、军事侦察的航天或卫星图片的自动分析系统、医学上异常器官细胞的分析与诊断系统、气象中对云图的运动分析、城市交通的车流量进行监管等都具
19、有重要价值。沈阳理工大学数字图像处理课程设计13参考文献1 贾永红. 计算机图像处理与分析M. 武汉：武汉大学出版社，2001.62902 陈桂明. 应用MATLAB语言处理数字信号与图像处理M. 北京：科学出版社，2000.120130.3 姚敏等.数字图像处理M.机械工业出版社，2008.03.5078 .4 吴健康. 数字图像分析M. 北京：邮电出版社，1989.89100.5 容观澳. 计算机图像处理M. 北京：清华大学出版社，2000.6686.6 夏良正.数字图像处理M.南京:东南大学出版社，1999.2022.7 章毓晋.图像处理和分析基础M.北京:高等教育出版社，2002.4456.8 唐良瑞，马全明，景晓军等.图像处理实用技术 M.北京: 化学工业出版社，2001.108130.9 姚敏. 计算机图像处理M. 北京：机械工业出版社，2006.101120.10 赵小川.matlab图像处理能力提高与应用案例M.北京航空航天大学出版社，2014.249259.
