人脸识别技术研究进展.ppt

1、模式识别典型应用案例 人脸识别技术研究进展,提纲,Part I ：人脸识别研究概述 是什么：问题描述、基本概念、涉及学科领域 为什么：要做人脸识别？ 怎么做：人脸识别原理及主要技术方法简介 相关知识、背景材料 国际知名研究机构/人员 主要商业系统及其技术特点 主要人脸数据库、性能评测体系 总结：人脸识别的发展现状（State-of-the-art） 展望：Quo Vadis? Part II：JDL在人脸识别领域的研究状况 JDL人脸识别研究组的过去、现在和将来 加入JDL，加入人脸组，你准备好了吗？,Part I ：人脸识别研究概述,人脸识别的基本问题描述、 基本概念、应用背景、涉及的学科,

2、问题描述与分解、基本概念、涉及学科领域,输入 数字图像或者数字视频序列 摄像设备：摄像机、数码相机、摄像头等等 扫描仪 其它来源的图像/视频文件 三类系统的不同输出 人脸检测：有没有人脸？ 人脸识别：这是谁的脸？ 人脸确认：这是Mona Lisa的脸吗？,识别问题 vs 确认问题,人脸识别用于验证场合的典型体系结构 (门禁系统),基本概念与问题描述（续）,人脸识别/确认,问题分解,图像获取 人脸检测/跟踪 面部特征点定位 人脸特征建模 特征比对 计算人脸模型之间的相似度 排序输出,人脸识别技术性能评价方法,对识别问题 首选识别率 相似度最大的人脸是正确的比率 累积识别率曲线 正确识别结果在前n

3、候选中的比率 对验证问题 错误接收率FAR False Accept (/Alarm) Rate: 把李四判别为张三的比率 错误拒绝率FRR False Reject Rate: 把张三拒之门外的比率 等错误率 FAR = FRR,人脸识别研究涉及的学科,还涉及到生理学/心理学的一些知识！,人脸识别相关研究内容,生物特征识别 人脸、指纹、虹膜、视网膜、掌纹、 人机交互(HCI) 人脸图像编码/压缩 表情分析，情感计算 人脸动画 face animation 人脸属性分类 种族、性别、年龄 Attractiveness判别,Part I ：人脸识别研究概述,我们为什么对人脸识别感兴趣？,为什么要

4、做人脸识别？,多学科领域的挑战性难题 模式识别：最典型、最困难的模式识别问题 人工智能：人类智能的基本体现 计算机视觉：实现人眼的功能 下一代人机交互 让计算机不再“熟视无睹” 让计算机具有人类的情感 广泛的应用前景 人脸识别相比其他生物特征识别的优势,人脸识别的应用前景,国家公共安全 敏感人物智能监控、罪犯抓逃与比对、 门禁、出入境管理 信息安全 电子商务、电子政务、 社会保险、信息系统 金融领域的持卡人身份验证 智能考勤系统 家庭娱乐 真实感游戏、虚拟社区 智能玩具、家政服务机器人 特别值得关注：奥运安全 敏感人物监控、各类门禁 代表身份认证,人脸识别与其他生物特征识别的比较,生物特征识别

5、：未来的身份验证方法！ 指纹、人脸、虹膜、掌纹、视网膜、红外温谱 笔迹、步态、声纹 人脸识别的优点 可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用，这是其他生物特征识别技术不能替代的 非接触式采集，没有侵犯性，容易接受 方便、快捷、强大的事后追踪能力（普通人并不具备指纹、虹膜、视网膜判别能力） 更符合我们人类的识别习惯，可交互性强，一般人就可以进行评判 设备成本较低（摄像头可望很快成为标准外设） 人脸识别的不足 安全性低，识别性能受外界条件的影响非常大,生物特征识别技术(Biometrics),技术挑战,From the same person? Yes? No? ,没有你想象的那么简单

6、！,How many individuals in this picture?,Part I ：人脸识别研究概述,人脸识别的基本原理及其计算模型探讨,图像生成过程,照相机成像原理 光源发出的光照射到物体上，物体表面点反射这些光线，经过小孔/透镜直线传播到胶片上 光强不同，反映为胶片的腐蚀程度,光反射基本模型,光反射模型 比如Lambert反射模型（漫反射模型） K为物体表面点漫反射系数 L为入射光强度,数码摄像设备光强感知方法,光纤传播方式与传统相机相同，只是感光设备不同 数字图像传感器的工作原理：用感光原件感光，光信号转化为电信号，通过放大器传送到相机的DSP芯片计算，目前有三种主流感光原件

7、： PMT（光电增倍管）：通常只应用在医学影像等高级设备上 CCD（电荷耦合器）：贝尔实验室在1969年发明，体积小巧，价格适中，感光能力优秀(比PMT稍差) CMOS(互补金属氧化物半导体)：目前低价数码相机和摄像头广泛采用的感光器，最大的好处就是便宜，但是感光效果比较差,数字图象是什么？,基本元素：像素 在数字图像中，每个像素对应1个或者多个数值，反映场景中相应点反射到相机中光的强度（能量） 可见光波长范围内：三原色 图像： 反映反射光的强度 一个2D数据矩阵I(x,y) (r, g, b) = (58, 83, 147),人脸图像,于是我们有了人脸图像 人脸的特点 3D surface

8、表面基本满足漫反射条件 表面点的漫反射系数不同,识别的一般原理,输入图像,人脸检测,面部特征点定位,人脸建模,分类判别,身份信息,关键是特征提取和人脸建模，也就是采用什么样的特征描述人脸的问题。而且对于基于光学图像的人脸识别而言，这些特征必须是可以从图像中获得的。,人脸建模,理想状态下，应该利用： 3D shape的不同 皮肤表面点的反射系数属性的不同 但是，从2D图像恢复上述信息是病态问题 目前算法主要应用 2D 结构信息基于几何结构的人脸特征 2D 图像灰度数据矩阵的特征比如模板匹配 2D 图像灰度数据矩阵的变换特征比如Gabor, DCT, FFT 2D 图像灰度高维数据的低维子空间分布

9、子空间、流形等 出现了少量利用3D信息进行识别的方法,基于几何特征的例子,建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸 人脸图像f特征向量v v = (x1, x2, xn) 对所有已知人脸提取同样描述的几何特征 D=v1, v2, vp 待识别的人脸f提取的几何特征为vf 计算vf与D中所有vi的相似度s(vf,vi)(比如欧式距离、cosine(.)等)，进行排序 根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息,基于模板匹配的例子,建模 2D 灰度矩阵，按行向量化为1D向量 所有图像均表示为这样的向量 识别 计算输入图像的向量与已知人脸库中所有向量的相似度，

10、排序即可给出识别结果,主要的人脸识别方法综述,主要的人脸识别方法综述,广义的人脸识别包括 人脸检测主要方法 面部特征提取(Face Alignment) 人脸识别/确认,人脸检测的主要方法,人脸规则 人脸模式的变化满足一定的规律，所以可以归纳描述人脸特征的规 则，如灰度分布、比例关系、纹理信息等 模板匹配 固定模板，采用不同的匹配测度，将目标图象与标准模板相匹配。通过阈值判定是否存在人脸 变形模板 模板中包含一些非固定的构件。采用参数化的曲线模型描述模板， 用来逼近人脸图象的某些构件，如眼睛、鼻子和嘴唇等。检测时利用这些曲线进行“弹性”匹配 不变特征：比如彩色信息、纹理分布等 样本学习 (多数

11、为Appearance-based ) 将人脸检测视为人脸样本与非人脸样本两类分类问题，通 过对人脸样本集和非人脸样本集的学习产生分类器 比如SVM，NN，再比如目前非常热门的Boosting方法,面部特征提取的主要方法 ( Face Alignment),Rule-based Modeling 积分投影曲线分析 峰谷特性分析 Hough变换 Template matching 灰度模板匹配 Active Contour / Snake 可变形模板(Deformable template)：参数优化 ASM/AAM统计模型约束的参数优化 弹性图匹配（Face Bunch Graph Match

12、ing） 统计学习 Eigenface SVM, Boosting, NN, Bayesian等等,人脸识别的典型方法,基于几何特征的方法 模板匹配、可变形模板 基于神经网络的方法 弹性图匹配的方法 基于HMM的方法 基于统计模型的方法 Eigenface, Fisherface, subspace LDA等等 统计形状模型、统计纹理模型 双子空间贝叶斯判别方法 基于局部特征分析的方法（LFA） 基于3D形变模型的方法,典型方法简介,基于几何特征的人脸识别方法 基于模板匹配的人脸识别方法 可变形模板方法 Eigenface Fisherface, subspace LDA 双子空间贝叶斯判别方

13、法 AdaBoost-based face detection Elastic Graph Matching ASM/AAM 3D Morphable-Model,可变形模板方法,可变形模板概念要点 模板：器官形状的参数描述形式(先验) 直线、圆、抛物线、四次曲线等 能量函数：定义模板与图像的匹配程度 变形：多参数非线性函数极小化优化问题 梯度下降法 坐标轮换法 其它优化算法,可变形模板 思想(以下巴检测为例),参数:(xc, yc), a, b, c, 左侧抛物线:,右侧抛物线:,能量函数:,其中:,上：模板；下：边缘图,用可变形模板进行面部特征的形状检测各特征形状模板,用可变形模板进行面部

14、特征的形状检测相关问题,相关问题 边缘计算及平滑 Canny + Sobel Gaussian 卷积 优化：基于贪心算法的分阶段轮换 能否收敛到全局最优依赖于初值好坏 上述粗检测阶段得到的关键点可以给出很好的初值 计算时间：依赖于参数初值和优化算法 256X256的图像，大约需要6秒钟,检测结果,Eigenface,Turk & Pentland 1991年提出 本质上与PCA，KLT变换没有区别 基本思想 任意输入图像可以表示为若干“特征脸”的线性组合 线性组合的系数反映了该人脸的特性被用作“人脸特征”X 输入图像，y 变换后的特征，W变换矩阵通过计算训练样本协方差矩阵的特征分解来得到,Fi

15、sherface,子空间判别分析人脸识别/确认技术 1、降维：采用主成分分析，找到训练集中变化最大的方向，以降低人脸图像的维数，并可以部分消除噪声的影响 2、提取判别特征：采用线性判别分析，减小图像类内的差别（比如光照、表情的变化），放大类间的差别（比如脸型变化）算法本质上是一种学习机制，学习什么样的变化是类内变化，什么样的变化是类间变化；,Fisherface,线性判别分析计算一个最佳的变换矩阵，使得变换后的特征满足类内距离最小，类间距离最大 该变换矩阵通过训练集合得到：,Fisherface,人脸判别模板生成 投影到PCA子空间，再投影到LDA空间人脸判别模板相似度度量 相似度cos(.)

16、 识别与确认 识别：最近邻 确认：阈值法,基于Bayesian规则的双子空间方法,类内差别( ): 相同个体的多幅图象之间的差别，即包含了表情、不同光照条件、不同姿态等差别 ；类间差别( ): 不同人的人脸图象之间的差别，包含了身份变化造成的差别信息,基于Bayesian规则的双子空间方法,贝叶斯方法：两张图象的相似度可以表示为它们之间的差属于类内差别的概率其中,基于Bayesian规则的双子空间方法,传统的方法假设类内差别与类间差别的分布为正态分布，则类条件概率密度为,识别方法：,弹性图匹配技术,研究表明：Gabor小波最符合人类视觉特性 建模：在若干关键特征点位置上计算共40个Gabor小

17、波系数 8个方向 5个尺度,弹性图匹配技术,建模 N个面部关键特征点，每个特征点40个Gabor变换的系数，形成一个N*40维的特征向量 识别 计算相似度 排序,基于AdaBoost的快速人脸检测,2001年的ICCV上，Compaq的研究员Paul Viola和Michael J.Jones展示了一个实时人脸检测系统，其速度是平均每秒15帧，图像大小是384x288。 1Paul Viola,Michael J. Jones. Robust Real-time Object Detection.CRL 2001/01 February 2001. 三个技术贡献： 1.用简单的矩形特征来作为人

18、脸图像特征; 2.基于AdaBoost的分类器; 3.采用了Cascade(分级分类器)技术提高检测速度。 具有实时性的特点。,基于AdaBoost的快速人脸检测,AdaBoost分类器 Adaboost学习算法是用来提高某种简单分类算法的性能的。它通过对一些弱分类器的组合来形成一个强分类器 采用简单矩形特征构造弱分类器 有4种类型的矩形特征,矩形特征的值是所有白色矩形中点的亮度值的和减去所有灰色矩形中点的亮度值的和，所得到的差,基于AdaBoost的快速人脸检测,单级AdaBoost分类器需要大量特征，速度慢，因此： 基于多级AdaBoost分类器的加速策略,ASM: 2D形状模型,点分布模

19、型(PDM) 若干具有确定物理意义的n个点 其坐标串联为2n维形状向量,ASM: 统计形状模型,从训练图像集合中可以派生出一个形状模型集合：对其进行PCA分析，可以得到统计形状模型：其中 为统计形状参数,ASM: 统计形状模型的性质,形状模式变化情况,ASM: 问题描述,问题 统计形状模型已经建立 给定一幅新的图像和一个初始的模型参数 目标 提取形状参数 最佳的满足图像中的实际形状s，即要求下式最小化：其中：s为图像中的实际理想物体形状；T为考虑平移、旋转和尺度变化时仿射变换， s 称为模型形状,ASM: 搜索过程图示,初始模型,最终模型,同时要考虑全局相似变换参数：平移、旋转和尺度,ASM:

20、 搜索过程,给定初始模型形状 ，进行下述迭代过程 1、在 的基础上，对 中的每个特征点p，在其邻域内估计一个新的最佳匹配点 ，得到 ； 2、更新参数 ，使得 与模型形状 最佳匹配； 3、重复上述过程，直到收敛,ASM: 搜索步骤1,搜索新的特征点：对每个特征点，搜索其法线邻域，寻找profile最佳匹配点； 注意：每个点的Profile模型在训练时建立模型,ASM: 实例,实际中需要在多分辨率空间中进行搜索，以提高精度和效率,AAM Demo,基于合成的图像分析技术(Analysis-by-synthesis),Analysis by Synthesis,3D World,Image,Imag

21、e Description,Synthesis of Faces,Input Image,Modeler,Result,Approach: Example based modeling of faces,2D Image 3D Face Models,= w1 * + w2 * + w3 * + w4 * +. . .,代表性的人脸识别算法,Rockefeller大学 算法：局部特征分析 南加州大学(USC) 算法：基于小波变换特征的弹性模板图匹配技术 马里兰大学(UMD) 算法：基于subspace的线性判别分析 麻省理工学院(MIT) 算法：双子空间贝叶斯判别方法,Visionics公司的

22、FaceIt系统,C-VIS公司的FaceSnap系统, Viisage公司的Face FINDER,LAU公司的Hunter,Cognitec公司的FaceVACS-SDK,国际商业系统,国际上比较著名的商业系统 FaceIt 来自 Identix (LFA) FaceVACS来自Cognitec AG FaceFINDER来自Viisage Technology Inc. (PCA) Hunter来自LAU Technologies (PCA) FaceSnap RECORDER来自C-VIS (EBGM) TrueFace来自eTrue Inc. (Neural Network) Spo

23、tIt!来自ITC BioID Trueface,Quo Vadis?,What do you see?,国内外研究现状及其分析,国内外研究现状研究机构,国外研究机构情况 以美欧为主，各知名大学、研究所、企业研究院均设立了与人脸识别相关的研究组 大学：CMU, MIT, Michigan State University, UCLA, University of Manchester，UMD, USC, University of Surrey 评测：FERET(94-97), FRVT(2000/2002), (X)M2VTS, FVC 国内研究机构简况 大学：清华大学3家，北京大学，哈尔滨

24、工业大学（不止一家），中山大学，南京理工大学，南京大学，上海交大 研究所：计算所，自动化所等,人脸识别的最高学术水平,1997FERET测试结果 测试类 (训练/测试数) 最高识别率(大学，方法) 所有参评方法的平均识别率 FB (1196/1195) 96%(UMD, PCA+LDA) 83% FC (1196/194) 82%(USC, EBGM) 30% D I (1196/722) 59%(USC, EBGM) 40% D II (864/234) 51%(USC, EBGM) 21% #数据来源：2000年P.J.Phillips的PAMI文章*说明（四种测试类均为正面人脸照片，略有

25、表情变化，无眼镜等饰物）： FB：训练、测试集同一采集过程中在严格控制的光照条件下采集，略有表情变化，视觉效果上与训练集数据相差不大； FC：训练、测试集同一采集过程中不同摄像头，有光照变化； D I：训练、测试集同一年内，不同时间采集，有光照变化 D II：一年后，不同摄像头，不同光照条件,人脸识别的最高学术水平,FERET测试(大于等于1196人的人脸库上测试)* 在同一摄像条件下采集的正面图像识别中，典型的识别率为95%以上 而对用不同的摄像机和不同的光照条件采集的正面测试图像，典型的识别率骤降为80%以下 而对一年后采集的正面测试图像，最大的准确率也仅仅接近50% *来源于2000年发

26、表在PAMI上的文章，实际测试在1997年进行,性能下降很快！,FRVT2000商业系统测试,发起人：美国国防部等联合资助 时间：2000年5月到6月 参评商家： 评测人联系了28商家，8家报名参加； 最终5个商业系统参加了评审：Visionics、Lau 、C-VIS 、Miros和Banque-Tec (其中后两家在规定的时间内没有完成所有测试实验) 方法： 在FERET测试的基础上，增加了对压缩、距离、表情、光照、介质、姿态、分辨率和老化等变化的测试,FRVT2000测试情况,对安全应用而言，如此低的正确识别率和如此高的等错误率是根本不可接受的！,结果表明这些系统的性能对于光照、姿态、距

27、离和老化的适应性很差，这些变化越大，其性能下降的就越快。,红色突出表示的是最好情况！,从评测看当前人脸识别技术的研究水平,FERET1997 理想条件下1000人左右的正面人脸识别系统识别率95%左右 非理想条件下，200人左右正面人脸识别率骤降至50%左右 FRVT 2002 较理想条件下（37437人(121,589 幅图像)的正面人脸签证照） 人脸识别(Identification)最高首选识别率73% 人脸验证(Verification)的等错误率大约为5%-7% 错误接收率为0.01%时，最低错误拒绝率30%左右 错误接受率为0.1%时，最低错误拒绝率18%左右 错误接受率为1%时，

28、最低错误拒绝率10%左右,从评测看当前人脸识别技术的研究水平,FERET1997 理想条件下1000人左右的正面人脸识别系统识别率95%左右 非理想条件下，200人左右正面人脸识别率骤降至50%左右 FRVT 2002 较理想条件下（37437人(121,589 幅图像)的正面人脸签证照） 非理想条件测试(Verification，错误接受率为1%) Gallery: 787人正面中性表情，室内为白炽灯光源 室外同一天Probe库包括435人(444幅图像)，首选识别率54% 室外152-505天之间的Probe库包括103人(145幅图像)，首选识别率46%,从评测看当前人脸识别技术的研究水

29、平,FERET1997 理想条件下1000人左右的正面人脸识别系统识别率95%左右 非理想条件下，200人左右正面人脸识别率骤降至50%左右 FRVT 2002 较理想条件下（37437人(121,589 幅图像)的正面人脸签证照） 非理想条件测试(Verification，错误接受率为1%) 不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照) 87人正面图像作为Gallery 左转45度：40% 右转45度：55% 抬头30度：47% 低头30度：55%,从评测看当前人脸识别技术的研究水平,FERET1997 理想条件下1000人左右的正面人脸识别系统识别率95%

30、左右 非理想条件下，200人左右正面人脸识别率骤降至50%左右 FRVT 2002 较理想条件下（37437人(121,589 幅图像)的正面人脸签证照） 非理想条件测试(Verification，错误接受率为1%) 不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照) 时间跨度问题 对大约3年后的照片，在错误接受率为1%时 最高首选识别率60%左右 而错误拒绝率为15%,从评测看当前人脸识别技术的研究水平,FERET1997 理想条件下1000人左右的正面人脸识别系统识别率95%左右 非理想条件下，200人左右正面人脸识别率骤降至50%左右 FRVT 2002 较理

31、想条件下（37437人(121,589 幅图像)的正面人脸签证照） 非理想条件测试(Verification，错误接受率为1%) 不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照) 时间跨度问题 其它结论 对视频序列图像的识别效果并不比对静态图像的识别效果好? 数据库的规模每增加一倍，总体性能下降大约2到3个百分点 男性比女性更易于识别 年轻人比老年人难识别,国际研究现状,在比较良好的环境条件情况下，对基本正面人脸进行识别的性能： 首选识别率：95%以上 等错误率：2%以下 在环境比较糟糕的情况下，对基本正面人脸进行识别的性能： 首选识别率：80%以下 等错误率：1

32、0%以上,少量个体 高度合作 成像条件一致,人脸识别国内外研究现状分析 人脸识别研究的挑战问题,当前水平,本研究目标,高度不合作,成像条件任意,海量个体,人脸识别核心算法与技术挑战,核心算法 人脸建模（特征提取、建模、分类） 识别算法的实时性、准确性、可靠性 技术挑战：非理想采集条件下的人脸识别问题 光照变化（偏光、逆光、强光、弱光） 多视角变化问题 防欺骗（照片、视频） 老化、饰物、夸张表情、化妆 双胞胎、整容、墨镜,Relax,How many faces can you find in this picture?,Part II,JDL 人脸识别研究组的过去、现在和未来,大致的研制过程,

33、1994年-2000年4月，作为多功能感知机技术的组成部分，每年投入24个研究生从事基本算法研究 2000年5月成立ICT-YCNC面像识别联合实验室以后，每年投入20人从事研究工作，其中包括15名博士生和硕士研究生，以及部分计算所和哈工大的研究人员 到目前为止，共历时8年，投入约80人年的艰苦劳动,项目的主要来源,2003年，自然科学基金重点项目 2001年，国家863计划重点项目“生物特征识别核心技术与关键问题研究 ” 2001年，国家863计划重点项目“掌上电脑”； 2000年4月，中科院计算所与成都银晨网讯科技有限公司成立面像识别联合实验室，在研究、开发与市场开拓等方面建立起紧密的合作

34、关系 1998年，国家863项目“多功能感知技术”的子课题 1997年，国家自然科学基金重点课题“多功能感知机”的子课题 1996年，中科院百人计划的“多功能感知技术研究”的子课题,JDL 人脸识别研究组研究现状,在比较良好的环境条件情况下，对基本正面人脸进行识别的性能： 首选识别率：95%以上 等错误率：3%以下 在环境比较糟糕的情况下，对基本正面人脸进行识别的性能： 首选识别率：85%左右 等错误率：8%左右,2000年来主要研究成果,17项核心技术 人脸重心模板(FGCT) 辐射模板(RT) 区域增长眼窝定位(RG) GaborEye眼睛定位方法 基于样例的脸形学习(ESL) 特定人脸子

35、空间 (FSS) 人脸模型在线学习(IFSS) 基于Gabor特征学习的人脸识别方法 基于球面谐波的人脸去光方法 基于商图像的光照归一 商图像加光(RI-FaceRelight) 形状预测虚拟视图生成(SP4VVG) 基于眼动模型的活体判别(EM4LD) 全局纹理约束的ASM(GTC-ASM) Gabor局部约束的 ASM(G-ASM) 子空间判别分析方法(GS-LDA) 融合身材信息的身份鉴别,创建了中国人脸库 1042人, 每人95幅 9000人, 每人120幅 变化： 姿态 光照 表情 背景 时间跨度 目前国际上已知规模最大的人脸库 形成三类系统 人脸检测 人脸识别 身份验证,其中13项

36、为方法创新，3项为改进，1项为集成！,JDL 人脸识别研究组学术产出,哈工大-计算所人脸识别联合研究组98年以来发表相关学术论文60余篇，其中： 国际期刊 7 篇(T-CSVT, IJIST, PR,IJIG, JIIS) 专著章节1章（Kluwer Academic Publisher出版的Biometric专著） 国内核心刊物15篇 国际会议论文38篇(ICCV,(AM)FG,AVBPA,ICIP,ICASSP,ISCAS,PCM) 国内会议4篇 专利申请 已申请2项：02153265.6 & 02153266.4 软件著作权登记1项,国内外合作,国内与银晨网讯科技有限公司在人脸识别相关的

37、技术上开展了广泛的合作，已经开发出了8个系列的应用产品 国际合作上与CMU、香港城市大学、微软亚洲研究院等在相关领域开展了深入的实质性合作 目前我们拥有两个可供合法评测的商业SDK产品（国际上公认的最好的商业人脸识别系统） Identix公司的FaceIt人脸识别SDK Cognitec公司的FaceVACS-SDK 为我们自己的算法提供了良好的测试基准！,2002年11月项目鉴定结论,这些人脸识别方面的研究结果已经于2002年通过了中国科学院组织的技术鉴定，鉴定专家委员会一致认为（鉴定结论）： “该成果在人脸检测、面部特征提取、人脸识别与身份确认等核心技术方面取得了很大进展，而且成果已获得实

38、际应用。研究成果整体处于国内领先、国际先进水平，其中，在基于人脸重心模板的实时人脸检测、结合人脸图像加光技术的特定人脸子空间人脸识别、基于子空间判别分析的人脸识别与确认等技术达到了国际领先水平”。,社会效益分析,2002年新华社国内动态倾向，编号：32537 媒体报道 报纸：人民日报、科技日报等10几家 电视：CCTV-1新闻， CCTV-4新闻， CCTV-10走近科学25分钟，科技之光，中央台少儿部 网络：新浪、中国网、千龙网等多家网络 广泛的潜在客户关注 公安部相关部门（证件、出入境管理、安检、刑侦）、安全部、航空、金融、小区物业管理等等,与YCNC合作情况,银晨网讯科技有限公司，利用此

39、项技术，已经开发出了8个系列的应用产品，包括 会议代表身份认证系统 公安布控对象照片比对系统 军事单位出入控制综合管理系统 民政收容遣送系统及公安便携式照片比对扫描仪 面像识别门禁、面像识别考勤 机场出入控制中央管理系统、机场安检信息综合管理系统 银行安全防范管理系统 银行营业厅面像识别监控,基本应用情况,16大获得初步应用，3月份两会及后续大会继续使用 1、入场代表身份验证（人脸识别辅助射频卡） 2、无证人员身份识别 北京市公安局天安门分局 危险犯罪嫌疑人监控与照片比对 军事领域的门禁应用：某军委大厦工程 成都市收容遣送站的应用：重复收容问题 成都双流机场的应用：离港旅客身份认证,已有研究基

40、础,JDL完备人脸数据库采集屋示意图 注：红色/粉色表示摄像头，白色/浅蓝色表示光源设备,提出和发展了多项核心技术 创建了大规模的人脸数据库 1042人, 每人95幅 9000人, 每人120幅 变化： 姿态 光照 表情 背景 时间跨度,人脸识别相关的研究基础,光 照 变 化,分辨率,姿 态 变 化,背景,饰 物,一年前后,表情变化,JDL-人脸图像库示例,人脸检测的初步结果,FCGT、AdaBoost和RT与FaceIt3.0在背景复杂度依次增大的八个人脸库上的正确检测率的对比,FCGT 、AdaBoost和RT与FaceIt 3.0 在八个人脸库上的误检率的对比,眼睛定位的结果,ASM,I

41、llumination Normalization,Example Effects of these methods,Spherical Harmonics based Illumination Normalization,Face De-lighting under Natural Lighting,High prized by Dr. Jacob,Comparisons,The recognition method is Normalized Correlation,Recognition rate comparisons of different illumination normali

42、zation methods on Harvard Face Database.,Recognition rate comparisons of different illumination normalization methods on Yale Face Database B.,人脸图像预处理的初步结果,特征定位示例,特征及轮廓定位示例,虚拟视图示例,人脸图像预处理的初步结果,姿态归一化示例,输入图像 校正后的图像 真实正面图像,改变光照条件产生的虚拟人脸图像示例,光照归一化的结果,人脸识别的初步结果,我们的算法与FaceIt在JDL-PEAL人脸库25个变化子库上识别效果对比（我们算法

43、的平均识别率为78.2%，而FaceIt平均识别率为67.3%）,人脸确认的初步结果,我们的算法与FaceIt在JDL-PEAL-FaceDB的25个变化子库上确认效果对比 （我们算法的平均等错误率为7.9% vs. FaceIt的平均等错误率17.1%）,Comparison on FERET Face Database,Completely the same training set Strictly cropped face region (with hair and background),2000年来主要研究成果,17项核心技术 人脸重心模板(FGCT) 辐射模板(RT) 区域增长眼

44、窝定位(RG) GaborEye眼睛定位方法 基于样例的脸形学习(ESL) 特定人脸子空间 (FSS) 人脸模型在线学习(IFSS) 基于Gabor特征学习的人脸识别方法 基于球面谐波的人脸去光方法 基于商图像的光照归一 商图像加光(RI-FaceRelight) 形状预测虚拟视图生成(SP4VVG) 基于眼动模型的活体判别(EM4LD) 全局纹理约束的ASM(GTC-ASM) Gabor局部约束的 ASM(G-ASM) 子空间判别分析方法(GS-LDA) 基于多特征融合的人脸识别方法 融合身材信息的身份鉴别,创建了中国人脸库 1042人, 每人95幅 9000人, 每人120幅 变化： 姿态

45、 光照 表情 背景 时间跨度 目前国际上已知规模最大的人脸库 形成三类系统 人脸检测 人脸识别 身份验证,其中13项为方法创新，4项为改进，1项为集成！,在FERET人脸库上的对比实验,完全相同的测试条件 严格裁剪出人脸区域（无背景和头发影响） 我们的算法总体上优于FERET97的最好测试结果,我们的主要学术产出,1998年以来发表相关学术论文60余篇 60余篇学术论文，其中： 国际期刊 9 篇 Biometric专著中一 章 国际会议论文37篇 国内一级学报10篇 其他6篇 专利申请 已申请2项：02153265.6 & 02153266.4 正在申请中：4项 软件著作权登记 已递交申请1项，正在申请中2项,实时人脸捕获系统,快速人脸特征对齐系统,人脸识别原型系统 （人脸检测激活识别过程，有语音提示）,照片比对系统（有语音提示）,问题和讨论,