1、 2010 级 本 科 毕 业 设 计 论 文 第 1 页 共 34 页1 绪论1.1 研究背景及意义人脸识别是生物特性鉴别技术的一个主要方向，它涉及图像处理，模式识别，计算机视觉等多个研究领域，具有十分广泛的应用前景，多年来一直是一个研究热点。相对于其它人体生物特征识别技术，如指纹识别、虹膜识别、掌纹识别，人脸识别技术是最直接、最自然、最容易被人接受的。与其它技术相比，它具有侵犯性小、较少需要或不需要用户的主动配合、样本采集方便、应用场合广泛、潜在的数据资源丰富、设备成本低等优点 1。人脸识别系统具备操作及流程简单、适用面广、支持一对一或一对多比对、支持多点同时采集比对、带有数据库支持记录及
2、查询功能，对采集现场环境要求较低，可在极短的时间里判断出进出者的身份是否合法，杜绝使用他人钥匙、密码、磁卡等非法进入。人脸识别技术的安全性、可靠性较高，且拥有广泛的市场需求，它可以应用于公安部门的犯人档案管理、犯人辨认查找、刑侦破案、安全验证系统、信用卡验证、医学、档案管理、视频会议、人机交互系统、证件核对、保安监视、门禁控制及至自动柜员机（ATM ）等多种场合 2。人脸识别对人类来说是件自然而然的事情，但对计算机而言，人脸识别却远非一个已解决的课题。所有的人脸都具有相似的结构，在纹理上也十分相近。另外图像受光照、成像角度及成像距离等外界条件影响，具有“一人千面”的特点，欲建立一种具有各种不变
3、性的描述模型还是比较困难的。此外，人脸识别技术研究与相关科学的发展及人脑的认识程度紧密相关 3。诸多因素都使人脸识别研究成为一项极富挑战性的课题，一方面信息化进程的日益加快，电子商务、重要场所的安全认证、智能化环境等许多应用领域对与人脸有关的信息处理提出了迫切要求；另一方面，硬件和软件技术的发展，为满足实际应用系统对人脸检测、跟踪及识别技术的实时化要求提供了可能性 2。所以，人脸识别的研究不仅涉及心理学、生理学、人工智能、模式识别、计算机视觉、图像分析与处理等多个学科领域，更是模式识别、人工智能和计算机视觉的典型案例之一 2。对这一问题的研究和解决，有助于对其他对象识别问题的研究分析和解决，人
4、脸识别也因此成为这些基础研究领域的重要课题之一，具有重要的理论研究价值。1.2 国内外研究现状及发展趋势2010 级 本 科 毕 业 设 计 论 文 第 2 页 共 34 页近30年来，人脸自动识别的研究取得了很大的进展，从工程索引（EI）上检索到的相关文献已达数千篇，包括IEEE PAMI 在内的重要国际期刊也有专栏甚至专刊报道人脸识别的最新研究进展，同时还出现了专门的国际学术会议，如人脸手势识别国际学术会议 1。目前人脸识别领域内最著名的国际研究机构包括：美国麻省理工学院媒体实验室及人工智能实验室、南加州大学、CMU卡内基梅隆机器人研究及交互系统实验室、马里兰大学等。另外，一些国家或地区也
5、有不少研究机构在人脸识别领域进行了大量的研究工作 4。90年代中后期以来，国内的许多研究机构在自然科学基金、863计划、攀登计划等资助下，开始了对人脸识别的研究。其中主要包括清华大学计算机系、自动化系、电子系以及哈尔滨工业大学、南京理工大学信息学院、中科院自动化所、上海交通大学图像处理与模式识别研究所、中山大学数学系等，他们在人脸识别研究领域都进行了许多很有意义的尝试，积累了经验 5。中科院计算所人脸识别研究小组2001年5月与专门从事人脸识别商业系统开发和销售的四川成都银晨网讯科技有限公司全面合作，在北京成立了ICT-YCNC 人脸识别联合实验室，专门研究和开发商业人脸识别系统。一年来，实验
6、室在实时人脸检测与跟踪、人脸识别、人脸确认等方面进行了大量卓有成效的研究，并开发了一套具有良好鲁棒性的实时人脸检测系统；提出了一种新的基SFS的人脸识别方法，并基于该方法开发了一套实时人脸识别确认系统，目前已通过系统测试，并进入产品开发阶段。另外，实验室以成熟的“特征脸”人脸识别技术为基础，对其进行了很多改进和扩充，尝试了基于人工神经网络、支持向量机、线性判别分析、基于GMM的双子空间人脸识别方法等，研究了基于Gabor 小波变换和弹性图匹配的人脸识别技术，以及基于统计模型的人脸识别方法等 5。1.3 人脸识别的常用方法（1）基于几何特征的方法几何特征最早是用于人脸识别的。人脸由眼睛、鼻子、嘴
7、巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征。将人脸用一个几何特征矢量表示，用模式识别中层次聚类的思想设计分类器达到识别目的 6。这就要求选取的几何特征矢量具有一定的独特性，能够反映不同人脸之间的差别，同时又具有一定的弹性，以消除时间跨度、光照等的影响。几何特征矢量是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点间2010 级 本 科 毕 业 设 计 论 文 第 3 页 共 34 页的欧式距离、曲率、角度等 6。（2）基于弹性模型匹配方法弹性模型匹配方法
8、的思想是将人脸上的一些特征点作为基准点构成弹性图，每个基准点存储一串具有代表性的特征矢量，采用分级结构的弹性图，去除一些冗余节点，形成稀疏的人脸描述结构 7。通过测试样本和特征样本的弹性匹配来完成识别。弹性模型匹配方法有很多，例如：在人脸图像上放置一组矩形网格节点，每个节点的特征用该节点处的多尺度Gabor幅度特征描述，各节点之间的连接关系用几何距离表示，从而构成基于二维拓扑图的人脸描述，根据两个图像中各节点和连接之间的相似性进行人脸识别。还有将人脸图像表示为可变形的3D 网格表面，将人脸匹配问题转换为曲面匹配问题，利用有限元分析的方法进行曲面变形，根据两幅图像之间变形匹配的程度识别人脸等。（
9、3） 神经网络方法目前神经网络方法在人脸识别中的研究方兴未艾。Valentin 8,9提出一种方法，首先提取人脸的50个主元，然后用自相关神经网络将它映射到5维空间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；Intrator 8,9等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取，而监督神经网络用于分类。Lee 8,9等将人脸的特点用六条规则描述，然后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善；Laurence 8,9等采用卷积神经网络方法进行人脸识别，由于卷积神经网络中集
10、成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果。神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。（4）基于线性和非线性子空间的方法基于子空间的方法是基于图像像素本身的，主要是利用计算模板和图像灰度的自相关性来实现识别功能，一般来说模板匹配法要优于基于几何特征法 10。目前，在诸多子空间方法中，应用最广泛的是特征脸法（PCA），这是针对人脸整体特征的研究，利
11、用Karhunen-Lobve 变换原理，将图像表示为一些低维的正交基组成的子空间，然后采用最小距离准则进行人脸识别。线性判别分析（LDA）是一种较为普遍2010 级 本 科 毕 业 设 计 论 文 第 4 页 共 34 页的用于特征提取的线性分类方法。它使投影后的模式样本的类间散布矩阵最大而类内散布矩阵最小，也就是说，投影后保证模式样本在新的空间中有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。线性判别分析提取的特征向量集强调的是不同人脸的差异而不是照明条件、人脸表情和方向的变化。因而，采用此方法对光照条件、人脸姿态等的变化不太敏感，从而有助于提高识别效果。但是传统的算法
12、常常遇到的一个问题是样本类内散度矩阵通常是奇异的，即“小样本集合问题”。针对这一问题已有了许多改进方法并取得了很好的识别效果。独立分量分析（ICA）是一种很有效的提取方法。与PCA相比，ICA 有两个优势：一是ICA获得的独立分量不需要满足正交关系，能够消除象素间的高阶统计相关性，而PCA只能消除象素间的二阶统计相关性；二是ICA获得的一组矢量比本征矢量更具空间局部描述性，具有更好的人脸描述能力。借鉴SVM的Kernel 方法，PCA 、LDA和ICA等都被扩展到了核空间。与线性子空间方法相比，基于 Kernel的方法获得了更好的识别效果 11,12。（5）其他方法Brunelli等对模板匹配
13、方法作了大量实验，结果表明在尺度、光照、旋转角度等各种条件稳定的情况下，模板匹配的效果优于其他方法，但它对光照、旋转和表情变化比较敏感，影响了它的直接使用。Goudail等人采用局部自相关性作为人脸识别的判断依据，它具有平移不变性，在脸部表情变化时比较稳定。在最近的一些工作中，Benarie等提出VFR的表示框架并将它用于人脸识别的工作中，Lam等人研究了不同视点下的人脸匹配和识别问题，Vetter等人讨论了由单幅人脸图像生成其他视点的人脸图像的可能性，Mirhosseini等则探讨了多种信息融合的人脸识别方法 13。1.4 本论文的主要研究工作本论文主要研究一种应用于人脸识别的特征融合算法，
14、该算法提取人脸图像中关键特征点的 Gabor 特征作为局部特征，提取人脸图像的奇异值特征作为全局特征，对这两类特征利用串行融合算法进行融合，并利用最近邻分类规则将图像进行分类。本论文研究内容的主要流程如图 1.1 所示。2010 级 本 科 毕 业 设 计 论 文 第 5 页 共 34 页奇异值提取Gabor 特征提取输入人脸图像输入人脸图像串行融合 最近邻分类 输出分类结果图 1.1 特征融合算法的主要流程2 Gabor 特征提取算法的实现2.1 Gabor 小波简介由于Gabor特征对光照、姿态具有一定的鲁棒性 7,13，因此Gabor 特征在人脸识别领域的应用非常广泛，目前已经成为了最为
15、主流的人脸特征抽取方法。Gabor特征具有良好的空间局部性和方向选择性 7,13，可以很好的描述图像的纹理信息，因此许多人脸识别算法都采用Gabor 特征作为识别特征。EGM是最早应用Gabor特征进行人脸识别的算法之一，该算法仅对人脸图像中部分关键特征点进行Gabor变换，并将人脸描述为以这些特征点位置为顶点、以其Gabor变换系数为顶点属性、以其关键点位置关系为边属性的属性图，从而将人脸识别问题转化为图匹配问题。通过合理的选择特征点的位置，弹性图可以很好地同时对人脸的关键局部特征及其它们之间的关系进行建模，从而既利用了人脸的图像亮度分布特征，又利用了面部结构信息。GWN方法从最佳描述的角度
16、，通过一个优化过程完全自动地确定特征位置及其相应的小波参数，并最终用这些参数作为人脸的描述来进行人脸识别。但GWN是一种基于参数优化的建模方法，计算复杂度很高，其用于人脸识别的有效性还需要更多的实践检验。GFC算法的基本思想是在粗略对齐人脸图像的前提下，逐像素计算每个像素点的多方向、多尺度Gabor变换特征，形成Gabor 特征的人脸表示，然后进一步用Fisher判别分析法提取特征，为了解决逐像素Gabor 特征维数过高的问题，Liu 采用了简单的下采样处理方法。 AdaGabor算法采用AdaBoost算法对高维Gabor 特征进行选择的降维，该方法采用机器学习的方法更加客观地利用Gabor
17、特征，从而能在有效降维的同时提高识别性能。Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似。它在提取目标的局部空间和频率域信息方面具有良好的特性。虽然Gabor小波本身并不能构成正交基，但在特定参数下可构成紧框架。Gabor小波对于图像的边缘敏感，能够提供良好2010 级 本 科 毕 业 设 计 论 文 第 6 页 共 34 页的方向选择和尺度选择特性，而且对于光照变化不敏感,能够提供对光照变化良好的适应性 14。上述特点使Gabor 小波被广泛应用于视觉信息理解。二维 Gabor小波变换15是在时频域进行信号分析处理的重要工具，其变换系数有着良好的视觉特性和生物学背景，因此被广泛
18、应用于图像处理、模式识别等领域。与传统的傅立叶变换相比，Gabor小波变换具有良好的时频局部化特性。即非常容易地调整Gabor滤波器的方向、基频带宽及中心频率从而能够最好的兼顾信号在时空域和频域中的分辨能力；Gabor小波变换具有多分辨率特性即变焦能力。即采用多通道滤波技术，将一组具有不同时频域特性的Gabor小波应用于图像变换，每个通道都能够得到输入图像的某种局部特性，这样可以根据需要在不同粗细粒度上分析图像。此外，在特征提取方面，Gabor小波变换与其它方法相比：一方面其处理的数据量较少，能满足系统的实时性要求；另一方面，小波变换对光照变化不敏感，且能容忍一定程度的图像旋转和变形，当采用基
19、于欧氏距离进行识别时，特征模式与待测特征不需要严格的对应，故能提高系统的鲁棒性 16,17。 无论从生物学的角度还是技术的角度，Gabor特征都有很大的优越性。Jones和Palmer的研究表明 18，在基本视觉皮层里的简单细胞的感受野局限在很小的空域范围内，并且高度结构化。Gabor变换所采用的核（Kernels）与哺乳动物视觉皮层简单细胞2D感受野剖面（Profile）非常相似，具有优良的空间局部性和方向选择性，能够抓住图像局部区域内多个方向的空间频率（尺度）和局部性结构特征。这样，Gabor分解可以看作一个对方向和尺度敏感的有方向性的显微镜。同时，二维Gabor函数也类似于增强边缘以及峰
20、、谷、脊轮廓等底层图像特征，这相当于增强了被认为是面部关键部件的眼睛、鼻子、嘴巴等信息，同时也增强了诸于黑痣、酒窝、伤疤等局部特征，从而使得在保留总体人脸信息的同时增强局部特性成为可能 18。图2.1即显示了这一结论。图2.1中的每一列代表一组实验，其中第一行代表脊椎动物的视觉皮层感受野，第二行是Gabor滤波器，第三行是两者的残差。可见两者相差极小。Gabor滤波器的这一性质，使得其在视觉领域中经常被用来作图像的预处理。2010 级 本 科 毕 业 设 计 论 文 第 7 页 共 34 页图2.1 Gabor滤波器和脊椎动物视觉皮层感受野响应的比较从图像处理的角度来看，Gabor特征有如下好
21、处：（1）Gabor核函数由于去掉了直流分量，因此对局部光照的变化不敏感，常常被用在要求对光照有适应性的场合；（2）Gabor滤波结果可以反映图像不同尺度、不同方向上的灰度分布信息。一般说来，大尺度滤波可以反映全局性较强的信息，同时可以掩盖图像中噪声的影响；小尺度可以反映比较精细的局部结构，但容易受到噪声影响。小波核函数在空域和频域上都有一定的局域性，这使得其对平移、拉伸、旋转和尺度变换都具有一定的鲁棒性。虽然平移变换对复向量的相位有一定影响，但在人脸识别这个问题中，平移对结果的影响是要考虑的，Gabor特征仍然具有很好的刻画特性。正是由于Gabor特征的这些特性，使得其在人脸识别中得到了非常
22、广泛的应用。2.2 人脸图像的 Gabor 特征二维 Gabor 小波的定义为：2exp2exp,2 ikzzkz（2.1）式中： 是与小波频率带宽有关的常数； 为空间位置坐标； 确定了yxz,Gabor 内核的方向和尺度。在采用 8 个方向和 5 个尺度的采样时，某人方向和尺度上的 可以写为 。其中 为采样尺度， 为尺度标号；ie, fmax 4,10v2010 级 本 科 毕 业 设 计 论 文 第 8 页 共 34 页为采样方向， 为方向标号。 为最大频率， 是频域中的87,10maxf内核间隔因子。令参数 、 、 ，可以获得较好的小波表征和2maxf2辨别效果。Gabor 变换与 Ga
23、bor 内核的卷积为：zkzJk,（2.2）设 的幅值和相位分别为 和 ，则 。组合不同尺度和方向zJk kAkikezA的 ，构成图像在 位置处的 Gabor 特征矢量。z定义 Gabor 特征 和 在不考虑相位差时的相似性为：JKKAAJS22,（2.3）在提取人脸图像的 Gabor 特征时，通常采用多个在不同尺度和方向上的 Gabor滤波器组成滤波器组，并根据图像的特点和神经生理学的结论来选择参数。通常研究采用共包括 8 个方向（ ； ）和 5 个尺度（ ； ；8n7,102maxf）的 Gabor 滤波器组，并令 ，使滤波器的带宽约为 1 倍频程。4,3210 由于 Gabor 特征具
24、有良好的空间局部性和方向选择性，而且对光照、姿态具有一定的鲁棒性，因此在人脸识别中获得了成功的应用。然而，大部分基于 Gabor 特征的人脸识别算法中，只应用了 Gabor 幅值信息，而没有应用相位信息，主要原因是 Gabor 相位信息随着空间位置呈周期性变化，而幅值的变化相对平滑而稳定。所以本论文将输入图像依次与滤波器组的各个滤波器进行卷积，并取其幅值作为输出，即， drIGrRKK,0,0,2,KKR（2.4）设图像的大小为 ，通过 40 个滤波器得到 Gabor 特征的维数高达，计算量很大，且由于 Gabor 特征在相邻像素间是高度相关和冗余的，所40以通常只需要稀疏的提取部分节点上的
25、Gabor 特征。2010 级 本 科 毕 业 设 计 论 文 第 9 页 共 34 页一个 人脸图像经 Gabor 变换后就得到幅值特征和相位特征的维数都是，计算量很大，而且 Gabor 特征在相邻像素间是高度相关的，所以必须对4Gabor 特征进行降维。本论文所采用的降维方法就是对 Gabor 变换系数进行简单的下采样，如对 Gabor 特征进行固定行固定列均匀分布采样。提取单幅人脸图像的Gabor特征的基本步骤如下：（1） 划分Gabor特征的采样点本论文划分的采样点的个数为 40*30 =1200 个，采样点数目较多，目的是为了得到更加清晰的 Gabor 图像。划分采样点后的人脸图像如
26、图 2.2 所示：图 2.2（a） 原人脸图像 图 2.2（b ） 划分采样点后的人脸图像由于得到的 Gaobr 特征的维数较大，下面实验将采用均匀下采样对 Gaobr 特征进行处理，从而达到降维的目的。（2） 提取人脸图像的 Gabor 特征本文采用 40*30 =1200 个规则分布的采样点，在采样点上提取各个滤波器输出的值，联合起来组成列向量，从而得到每幅图像的 Gabor 特征向量，并以此作为该人脸图像的局部特征向量。得到的人脸图像的 Gabor 特征如下图所示：2010 级 本 科 毕 业 设 计 论 文 第 10 页 共 34 页图 2.3（a） 单幅人脸图像的 Gabor 幅值特
27、征 图 2.3（b） 单幅人脸图像的 Gabor 相位特征由以上图像可见，与原图灰度值随位置的变换相比，滤波器输出的幅值随位置的变化要更小更不敏感；Gabor 相位信息随着空间位置呈周期性变化，而幅值的变化相对平滑而稳定。因此，即使采样点稍有偏移也不会使提取出的特征值发生太大变化。也就是说，Gabor 特征具有良好的空间局部性和方向选择性，而且对光照、姿态具有一定的鲁棒性，可以容忍更大的器官定位和对齐误差。3 奇异值特征提取算法的实现3.1 人脸图像的奇异值特征一个典型的模式分类系统包括预处理、特征提取、分类三部分。一个理想的特征提取器应该产生一个表达，以使得后续分类器的工作变得简单。通常情况
28、下，特征的数目几乎总是少于用于描述完整的感兴趣的目标所需的数据量，特征选择和特征提取的基本任务是如何从许多特征中找出那些有效的特征。特征提取是模式识别中的关键，其目的是获取特征数目少而分类错误概率小的特征向量 19。由于在很多实际问题中常常不容易找到那些最重要的特征，或者受条件限制不能对它们进行测量，这就使特征提取的任务复杂化而成为模式识别系统最困难的任务之一。特征提取的目的是获取一组“少而精”的分类特征。从统计特征方法考虑，目前用于图像识别的特征提取方法一般可以分为：（1）直观性特征：如图像的边沿、轮廓、纹理和区域等。这些都属于图像灰度2010 级 本 科 毕 业 设 计 论 文 第 11
29、页 共 34 页的直观特征，物理意义明确，提取比较容易。（2）灰度的统计特征：如灰度直方图特征，将图像看作一种二维随机过程，引入统计上的各阶矩阵作为特征来描述和分析图像是目前普遍采用的方法。众所周知的有 Zerk 矩等。（3）变换系数特征：对图像进行各种数学变换，可以将变换的系数作为图像的一种特征，如离散余弦变换、傅立叶变换、霍夫变换等在图像特征抽取方面均有广泛的应用。（4）代数特征：反映了图像的一种内在属性，将图像作为矩阵看待，可对其进行各种代数变换，或进行各种矩阵分解，由于矩阵的特征向量反映了矩阵的一种代数属性，并且具有不变性，因此可以用来作为图像特征。如 KL 变换或主分量分析，实际上就
30、是以协方差矩阵的特征向量作为空间基底的一种代数特征提取。基于奇异值特征的人脸识别方法是由 Hong 首先提出来的。他们将人脸特征分为视觉特征、统计特征、变换系数特征以及代数特征四类，代数特征反映了图像的本质属性。因为图像本身的灰度分布描述了图像的内在信息，所以可以将图像作为矩阵看待，进行各种代数和矩阵变换后提取的代数特征是人脸的表征。奇异值分解是求解最小二乘问题的一种有效工具，在数据压缩、图像处理以及模式识别等方面得到了广泛应用，为提取人脸代数特征提供了一种有效的手段。矩阵的奇异值特征是一种有效的代数特征抽取方法 20。奇异值之所以能够作为一种特征在图像识别中应用，其理论依据是：图像的奇异值具
31、有良好的稳定性；奇异值反映了图像的一种代数本质，这种本质不是直观的，而是一种内在属性；奇异值具备代数和几何上的不变性。因此，矩阵的奇异值分解（SVD）是一种有效的代数特征抽取方法，已经在图像数据压缩、信号处理和模式识别中得到了广泛的应用19。许多研究表明，矩阵的奇异值分解（SVD）是一种有效的代数特征抽取方法，已经在图像数据压缩、信号处理和模式识别中得到了广泛的应用。任何一个实对称方阵都可经正交变换转化为对角阵，对于任意实矩阵 ，则nmA可利用奇异值分解（SVD）将其转化为对角阵。定理（SVD） 令 是实矩阵（不失一般性，设 ），且 ，则nmAnmrak存在两个正交矩阵 和 及对角阵 使下式成
32、立：UVnmD2010 级 本 科 毕 业 设 计 论 文 第 12 页 共 34 页TUDVA（3.1）其中， ， ，0knmDkkdiag,21，mkmuuU,121，nnvvV而 称为矩阵 的奇异值， 是 并kii ,21A021kTA且也是 的非零特征值的全体，而 为 的 个零特征AT 021nkTn值。 ， 分别是 和 对应于非零特征值 的特征向量。iukvi,T i是为了表达上的方便而引入的 个向量，可以设想它是 对mki,1 kmTA应于 的特征向量。同理， 为 对应于 的特征向量。将0inkiv,1AT0i式（5）写成卷积的形式：AkiTivu1（3.2）如果矩阵 代表一幅人脸
33、图像，式（6）就是对该人脸图像进行了正交分解，将A矩阵 中主对角线上的奇异值元素 连同 中剩余的 个0构成一个 维列向inmDkn量：Tknnex,11 （3.3）其中， 为 中第一个 阶子式，列向量 ，称 为 的奇异值nD Tn1,1nxA特征向量（SV 特征向量）。对于任何实矩阵 ，在 的限制下，奇异Ak21值对角矩阵 是唯一的，因此，原人脸图像 对应于唯一的SV向量。3.2 奇异值特征向量的重要性质奇异值特征向量具有下列的重要性质 20,21：用SV特征向量来描述人脸图像是稳定的；SV特征向量的转置不变性（即对图像矩阵作转置运算，SV特征向量不变）、2010 级 本 科 毕 业 设 计
34、论 文 第 13 页 共 34 页旋转不变性（即对图像矩阵作旋转运算，SV特征向量不变）、位移不变性（即对图像矩阵作行或列的置换运算，SV特征向量不变）、镜像变换不变性等。下面对各性质进行证明。（1）奇异值特征向量的稳定性由于SV特征向量与原始人脸图像的一一对应关系，因此可用SV特征向量描述人脸图像。显然，能采用SV特征向量描述人脸图像的另一个关心的主要问题在于SV特征向量是否稳定；即当图像的灰度出现小的变化时，其SV特征向量是否会出现大的变化，若不出现大的变化，则称为之稳定的。SVD 扰动分析表明，SV特征具有良好的稳定性，下面的定理说明了这一点。记 是所有 阶实矩阵的全体。nmR定理 设
35、的奇异值分别是 ，则对于nmnmRA, nn11,任何一种酋不变范数 ，有nmRAndiag,1（3.4）定理中的酋不变范数如果取为Frobenius范数 ，则8式成为Fniii BA12（3.5）如果取为谱范数 ，则8式成为 2， 2iini,1（3.6）由于奇异值特征向量具有良好的稳定性，所以它对图像噪音、图像光照条件变化引起的灰度变化具有不敏感的特性。（2）奇异值特征向量的转置不变性根据SVD定理，有 u2TAv可见， 和 有相同的奇异值，即对应同一个奇异值特征向量。AT（3）奇异值特征向量的旋转不变性2010 级 本 科 毕 业 设 计 论 文 第 14 页 共 34 页首先引入初等正
36、交变换，形如 的方阵称为初等正交矩阵，或TuIQ2Householder变换，其中 为单位矩阵， 是实 维单位列向量。In任一旋转变换矩阵都可以分解为两个正交矩阵的乘积。设原始图像矩阵为 ，A对其作旋转变换相对于对 左乘一正交矩阵 ，得到的图像为 。于是有APPTTAp（3.7）其中 。可见对 的正交变换导致了对 （或 ）作正交相似变换，由1PT TT于 和 有相同的特征根，因此图像 和旋转后的图像有相同的奇异值特AT征向量。（4）奇异值特征向量的位移不变性对图像的位移变化归结为对图像矩阵做行（或列）的置换，变换矩阵 的第 ，Ai两行等价于在该矩阵的左边乘上矩阵j Tjijiji eI,其中
37、和 分别表示单位矩阵第 列和第 列，变换后的矩阵为 。已知iej AIji,，于是 的特征方程为TijjiTjiII,TjijiAI, 0, IITjiji 上式左边可简化为 0,1, IAIAIIATjijiTjiTjiji 所以，原始图像 与其变换两行后的图像 有相同的SV特征向量。同理可证Iji,队列的置换也有相同的结果。（5）奇异值特征向量的镜像变换不变性若对于任何一个垂直于 的向量 ，存在有关系 ，其中 是实xyxy常数，则称变换 为镜像变换。Householder变换的矩阵为 ，对于任何w Tu2一垂直于 的向量 ，有 。因此，Householder变换是一种镜像变uauw换。根据
38、性质（3）的推导可知，奇异值特征向量具有镜像变换不变性。对于图像的任何一种特征抽取，都要求抽取的特征具有代数和几何上的不变性。2010 级 本 科 毕 业 设 计 论 文 第 15 页 共 34 页由于SV特征在描述人脸图像是稳定的，并具有转置不变性、旋转不变性、位移不变性、镜像变换不变性等重要性质，因此奇异值特征可以作为人脸图像的一种有效的代数特征描述。由于整体图像的奇异值向量反映的是图像整体的统计特征，对细节的描述还不够，而增加图像的尺寸，并不能明显地提高识别率，因为奇异值向量的识别特征是由前面几个较大的奇异值决定的。针对这个问题本论文所应用的具体的奇异值分解（SVD）的方法为：对整幅图像
39、进行奇异值分解，截取该向量的前10个较大的奇异值组成一个新的向量，作为该图像的整体特征向量；从而得到了该图像的一个奇异值向量，并以此做为该图像的全局特征向量。4 Gabor 特征与奇异值特征融合的实现4.1 图像融合的概念和意义 多传感器图像融合技术最早是被应用于遥感图像的分析和处理中 22。1979年，Daliy23等人首先把雷达图像和Landsat-MSS（Multispectrai Scanner即多谱扫描仪）图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合。1981年，Laner23和Todd 23进行了Landsat-RBV （Return Beam Vidicon
40、）和MSS图像数据的融2010 级 本 科 毕 业 设 计 论 文 第 16 页 共 34 页合实验。到80年代末，人们才开始将图像融合技术应用于一般图像处理（可见光图像、红外图像等）。90年代以后，图像融合技术的研究呈不断上升趋势，应用的领域也遍及图像处理、红外图像处理、医学图像处理等。尤其是近几年，多传感器（多源）图像融合技术已成为计算机视觉、自动目标识别、机器人、军事应用等领域的研究热点问题。在民用方面，多传感器图像融合已在遥感、智能机器人领域得到应用 24。例如，美国于1997年在火星着陆的“火星探路者”机器人身上安装了5个激光束投影仪、两个CCD摄像机、多个关节传感器和加速度传感器。
41、由于光从地球到火星的时间就达11分钟，所以在不少时间段内该机器人必须能够自主工作（无需来自地球的控制）。火星探路者是多传感器融合应用的典型例子。近年来已有多颗遥感雷达卫星JERS-1，ERS-1，Radarsat等发射升空，在国民经济生活中起到了非常重要的作用。此外，多传感器图像融合技术在医学、制造业等方面也具有巨大的应用潜力。在制造业领域，图像融合技术可用于产品的检测、材料探伤、复杂设备诊断、制造过程监视、生产线上复杂设备和工件的安装等。在医学上，图像融合可通过CT 和核磁共振（NMR ）图像的融合帮助医生对疾病进行准确诊断，图像融合还可用于计算机辅助显微手术。在图像和信息加密方面，通过图像
42、融合也可以实现数字图像的隐藏以及数字水印的图像植入。另外，图像融合也可用于交通管理和航空管制。国内众多的科研工作者以及科研机构都在军事、生物学、遥感、医学以及工业生产方面对图像融合进行了探索，但多数研究仍处于实验室阶段。其中涉及图像配准技术的研究，金字塔图像融合技术、小波变换图像融合技术、对比度调制技术、彩色空间变换融合技术以及整个融合系统的研究。随着神经网络和模糊理论的发展，也出现了采用自组织神经网络和模糊集理论进行图像融合的算法，但目前仍处于探索的初期，有待于进一步研究。总的看来，无论国内还是国外，都对图像融合技术的研究予以极大的兴趣。可以相信，随着对多传感器图像融合技术研究的不断深入，人
43、们对图像融合技术会越来越关注，也就会有更多的专家学者加入图像融合研究的队伍，其技术将会有很大发展，而它的应用前景也会越来越广阔。图像融合是将相同目标源的多张图像融合成一张图像，它能提取比单一图像更多的信息。图像融合技术可以从多幅图像中提取单一图像更为准确可靠的信息，各幅单一图像提供的是被测对象各个侧面的信息，综合这些信息能获得被测对象全面2010 级 本 科 毕 业 设 计 论 文 第 17 页 共 34 页的信息。另外，各幅图像中有用信息之间是相关的，而干扰不具有这种关联性，因此通过融合处理可以排除干扰。图像融合是指将多源信道所采集到的关于同一目标的图像或同一信道在不同时刻获得的同一目标的图
44、像经过一定的图像处理，提取各自信道的信息，最后综合成一幅图像以供观察或进一步处理的过程 24。根据融合处理的数据类型和应用场合，图像融合系统可以分为以下三种形式 25：（1）时间融合：指对来自同一传感器的、对同一目标或场景在不同时间的一系列图像进行融合处理。（2）空间融合：指在同一时刻，对来自多个相同（空间位置不同）或不同传感器的图像进行融合处理。（3）时空融合：指在一段时间内，对来自多个相同（空间位置不同）或不同传感器的图像进行融合处理。图像融合以图像作为研究和处理对象，它把对同一目标或场景用不同传感器所获得的图像，或同一传感器以不同方式所获得的多重图像根据需要通过融合规则合成为一幅图像，在
45、这一幅图像中能反映多重原始图像中的信息，以达到对目标和场景的综合描述，以及精确的分析判断。有效地提高图像信息的利用率、系统对目标探测识别的可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类型传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，以增强影像中信息的透明度，改善解译的精度、可靠性以及使用率，以形成对目标清晰、完整、准确的信息描述。与采用单一传感器图像相比，来自多个传感器的图像所提供的信息具有冗余性和互补性，因而具有以下优点：（1）扩展了系统覆盖范围，能够更准确地获得被测对象
46、或环境信息，并且具有比任何单一传感器获得的信息更高的精度与可靠性，提高了空间分辨率；（2）缩短了系统的响应时间，能以更少的时间，更少的代价获得与单一传感器系统相同的信息；（3）通过各传感器性能的互补，获得单一传感器所不能获得的独立的特征信息；（4）根据系统的先验知识，通过融合处理可以实现分类、识别、决策等单一传2010 级 本 科 毕 业 设 计 论 文 第 18 页 共 34 页感器系统无法完成的任务；（5）提高了系统可靠性和鲁棒性，因为数据是从多个（种）传感器得到，系统的性能得到了提高，当一个或多个传感器失效或出错时，系统仍然能够继续工作，并自动降到较低级别上进行处理。图像融合关键的技术包
47、括三个方面：图像配准、图像融合及处理以及图像的显示。（1）图像配准技术对于任何一种多传感器融合，数据的关联和配准都是融合的基础。对于具有不同分辨率、视场或更新率的图像，其配准是相对困难的。配准通常分为粗配准（宏配准）和细配准（微配准），粗配准是对于不同传感器的视场进行配准，细配准是在像素级基础上的配准。（2）图像融合及处理图像融合的核心内容是融合算法。目前，基于小波变换的算法己经成为研究的主流，但并不是唯一的方法，伴随着它发展的还有基于证据理论的图像融合方法、伪彩色融合方法、彩色空间变换法、对比度调制技术等。近年来，随着神经网络和模糊理论的发展，又出现了基于神经网络的图像融合技术以及基于模糊理
48、论的图像融合技术等。（3）伪彩色显示技术通常融合后的图像采用灰度显示；把灰度图像中像素的灰度值与彩色空间中的各种颜色建立起一一对应的函数关系，将灰度图像转换到彩色空间。这样可以使某些细节更容易从背景中识别出来。图像融合的信息源可以是多种图像传感器的组合，基本上几乎所有的成像传感器都可以作为图像融合的信息源，所以图像融合技术获得了广泛的应用，其应用领域包括医学、遥感、夜视系统、目标识别和各类作战系统等。4.2 图像融合关键技术的发展随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。但是，目前作为信息输出源的各种传感器的性能还不能完全满足人们的要求，这一方面是由于受到获取技术本身发展水平的限制，另一方面是因为任何一种获取技术都有一定的精度和适用范围且其信号都要受到周围环境的干扰。也就是说，一幅图像只能提供部分的、不完全精确的信息，因此不能排除对未知或2010 级 本 科 毕 业 设 计 论 文 第 19 页 共 34 页部分未知环境描述的多义性。这就产生了如何从多幅图像中恢复原始图像的问题，即图像融合技术的问题。它的优越
