1、自动人脸识别技术 Automatic face Recognition Technology,电自081 曹宇驰 10080643电自081 李书天 10080667电自082 陈骥川 100806662011年12月,2,人脸识别的意义与感性认识 人脸识别的现状 人脸识别的过程 人脸识别的方法 人脸的关键技术 人脸识别系统的开发与试验工具,3,人脸识别的感性认识,人脸识别的意义 人体生物认证技术 人脸识别的系统,人脸识别是一个活跃的研究领域，是人类视觉最杰出的能力之一。虽然人脸识别的准确性要低于虹膜、指纹的识别，但由于它的无侵害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物
2、特征识别方式。,人脸识别是人体生物认证技术的一种，首先我们谈谈人体生物认证技术,人体生物的生物特征包括生理特征和行为特征两大类。人体的生理特征主要包括人脸、指纹、掌纹、掌形、虹膜、视网膜、静脉、DNA、颅骨等，这些特征是与生俱来的，是先天形成的；而行为特征包括声纹、签名、步态、耳形、按键节奏、身体气味等，这些特征是由后天的生活环境和生活习惯决定的。 这些生物特征本身固有的特点决定了其在生物认证中所起的作用是不同的。表1对各种生物认证技术作了一个简单的比较。,生物特征识别：,人脸,脸部热量图,指纹,手形,手部血管分布,虹膜,视网膜,签名,语音,7,基于生物特征的身份认证,生物特征=生理特征+行为
3、特征 生理特征 与生俱来，如DNA、脸像、虹膜、指纹等 行为特征 后天习惯使然，如笔迹、步态等,8,人体生物特征的起源于 传统的身份认证的问题,基于知识的身份认证 容易忘记 容易被盗 容易攻击 基于令牌的身份认证 容易丢失 容易被盗 容易伪造 知识+令牌,10,常用生物特征的比较,A. Jain, L. Hong and S. Pankanti. “Biometrics: Promising Frontiers for Emerging Identification Market”， Communication ACM, 2000,人脸识别的意义,Bill Gates: 以人类生物特征进行身份
4、验证的生物识别技术，在今后数年内将成为IT产业最为重要的技术革命,12,生物特征的评估,普遍性 Universality 唯一性 Uniqueness 恒久性 Permanence 易采集性 Collectability 系统性能 Performance (achievable identification accuracy, resource requirements, robustness) 用户接受程度 User Acceptance 防欺骗能力 Resistance to Circumvention,13,各种生物特征市场份额的统计,生物认证技术市场收入的预测,14,15,人脸识别的应
5、用,人脸识别系统在金融、证券、社保、公安、军队及其他需要安全认证的行业和部门有着广泛的应用 典型应用 罪犯调查 访问控制 人员考勤 重用门票 驾驶执照,电子商务 信用卡 准考证 身份证,人脸识别,人脸识别因识别方式友好、可隐蔽而备受学术界和工业界关注（但人脸识别不是万能的）,17,人脸识别的军事应用,导弹基地、军火库房等要地的门禁或通道控制 核能设施等重要军事装备的启动控制,几个人脸识别系统介绍,1.中科奥森人脸识别系统 2.南京理工的人脸识别 3.深圳康贝尔人脸识别系统,1.中科奥森人脸识别系统,本系统采用了目前最先进的人脸检测与识别技术，具有人脸获取隐蔽，识别速度快，检测与识别率高，鲁棒性
6、好、安全性高和实用方便等优点，可广泛应用于家庭安全监控、办公室安全监控、通道监控等诸多方面，推广的应用前景领域遍及家庭、办公、军队、政法、银行、物业、海关、互联网等。,1.中科奥森人脸识别系统（续）,国际首创近红外人脸识别关键技术，包括算法思路、软件技术、以及光学和电子硬件设计。 国内首创中远距离(大于5米)人脸识别关键技术和系统。该系统能够在中远距离快速准确、稳定地跟踪多个人脸，并能在侧脸，后脑勺状态保持跟踪，算法达到国际先进水平。将人脸识别与智能监控相结合是一项全新的技术。 自主产权解决了环境光照对人脸识别不利影响等国际难题，实现了快速准确可靠、不受环境光照影响的人脸识别技术，能防止照片模
7、型等非法攻击，系统性能达到国际领先水平。该系统已在我国深圳-香港通关口岸成功运行多年。 通过中国信息安全产品测评认证中心身份认证产品与技术测评中心权威测评。 系统产品丰富,可以支持从几个人到万人级的识别,。并采用国际标准接口，可以无缝接入现有的安全防范系统。 支持多种数据库系统，可建立高效索引机制实现快速查询。模块化组网方式，集合TCP/IP和RS485总线传输优点，适合各种形式或规模的应用。 支持与其他密码/生物特征识别等技术的逻辑组合运算，实现更严格的安全管理.。 具有自主知识产权的关键技术，包括如下功能：近红外/可见光人脸识别、人脸图像对比和检索、监控状态下中远距离人脸识别，场景智能监控
8、及报警等。,其领军人物李子青,李子青, 获湖南大学学士、国防科大硕士、英国Surrey大学博士学位。2000年辞去新加坡南洋大学终身教职，加盟微软亚洲研究院。2004年作为“百人计划”入选者来到中科院自动化所，现为 中科院自动化所生物识别与安全技术研究中心主任。,在微软研发的人脸识别系统 EyeCU，比尔.盖茨接受CNN采访为之讲解。 在中科院自动化所研发的“AuthenMetric 中科奥森”人脸识别系统和智能视频监控系统，已包括北京奥运会和边境检查等多个国家重大安全部门实施并发挥作用。,北京奥运开幕式人脸识别门票查验现场观众人脸身份验证,中科院人脸识别技术成功用于奥运会开幕式8月8日，数万
9、名观众由国家体育场鸟巢的100多个人脸识别系统快速身份验证关口有序入场，参加2008北京奥运会的开幕式。据悉，该验证系统是由中科院自动化所研制的。,2.南京理工的人脸识别,南京理工人脸识别其领军人物是杨静宇老教授。 杨静宇教授于19821984年在国际模式识别领域的权威美国伊利诺斯大学CSL实验室T.S. Huang教授指导下从事模式识别理论研究。 一生功勋卓越：他先后在国内外学术刊物和国际学术会议上发表论文余篇，出版论（译）著本，指导【博士后】研究人员人，培养【博士】研究生人。,他培养的57多名博士，如今都已成为各个单位的骨干。其中最著名的是： 杨健博士（32岁当教授），获全国百篇优秀博士论
10、文提名奖，他在模式识别顶级刊物IEEE TPAMI上发表的两篇论文，目前已经分别被国内外学者和专家引用180多次和近60次。 刘克教授曾获得了第三届霍英东教育基金会青年教师基金和青年教师奖。 洪子泉博士在国际上首次提出了基于代数特征的人脸识别方法。 金忠教授2001年发表在Pattern Recognition上关于不相关鉴别分析的论文，曾收到著名的Thomson公司的贺信，祝贺该论文被引用次数位于同一领域引用次数最高的百分之一以内。,2008年，杨教授在相继接受国际著名学术期刊Pattern Recongnition Letters的主编、Neurocomputing的主编的邀请，加盟上述两
11、大国际学术期刊编委会，成为两大国际学术期刊的编委(Associate Editor)。上述两大国际学术期刊对遴选编委会成员的要求非常高，Pattern Recongnition Letters在中国仅有四位编委，杨健教授是目前中国编委中最年轻的一位，其他三位分别来自清华大学、中国科学院和微软亚洲研究院杨老师 首次提出的2DPCA方法和在鉴别分析方面的研究成果已引起国内外相关领域学者的广泛关注。 国内模式识别研究领域的权威、西安交通大学的校长郑南宁院士最近在国际知名期刊IEEE Intelligent Systems上发表的题为“中国图象处理和模式识别50年回顾”的论文中，着重指出了杨教授在基础
12、研究方面的四项研究成果，并强调说“2DPCA与2DLDA方法是本世纪初源于中国的”。,“911”事件是生物特征认证技术在全球发展的一个转折点。“911”以后生物识别技术的重要性被全球各国政府更加清楚地认识到。传统的身份鉴别技术面临反恐任务时所表现出来的缺陷，使得各国政府在研究与应用上对生物特征识技术开始了大规模的投资。 在美国：三个相关的法案（爱国者法案、边境签证法案、航空安全法案）都要求必须采用生物识别技术作为法律实施保证。总体上来说，国外生物认证技术的应用已经进入了以政府应用为主的阶段。,深圳康贝尔人脸识别系统,人脸识别门禁系统 人脸识别大型场馆准入系统,人脸识别在银行金库的应用,中国人民
13、银行规定所有的金库安防监控系统都要有人脸识别功能,联合国的国际民用航空组织(ICAO)已对188个成员国发布了航空领域使用生物特征认证技术的规划，提出将在个人护照中加入生物特征(包括指纹识别、虹膜识别、面相识别)，并在进入各个国家的边境时进行个人身份的确认。目前，此规划已经在美国、欧盟、澳大利亚、日本、南韩、南非等国家和地区通过，从2004年底就开始实施了。,人脸识别技术在国外的研究现状,当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有 美国MIT的Media lab,AI lab,CMU（卡耐基-梅隆大学）的Human-Computer Interface
14、 Institute，Microsoft Research, 英国的Department of Engineering in University of Cambridge（剑桥大学）等。 综合有关文献，目前的方法主要集中在以下几个方面：,综合有关文献，目前的方法主要集中在以下几个方面：,（1）模板匹配 （2）示例学习 （3）神经网络 （4）基于隐马尔可夫模型的方法 除此以外， 基于AdaBoost的人脸识别算法， 基于彩色信息的方法， 基于形状分析的方法， 以及多模态信息融合的方法，国外都进行了大量的研究与实验。,研究现状,国际上对人脸及人脸面部表情识别的研究现在逐渐成为科研热点。国内外很多
15、机构都在进行这方面的研究,尤其美国、日本。进入90 年代,对人脸表情识别的研究变得非常活跃,吸引了大量的研究人员和基金支持,EI 可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland 大学、Standford 大学、日本城蹊大学、东京大学、ATR 研究所的贡献尤为突出 。国内国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有人员从事人脸及人脸表情识别的研究,人脸识别技术在国内的研究现状,国内关于人脸自动识别的研究始于二十世纪80年代，主
16、要的研究单位有中科院自动化所计算所， 清华大学，南京理工大学，哈尔滨工业大学，复旦大学，北京科技大学等，并都取得了一定的成果。,国内的研究工作主要是集中在三大类方法的研究： 基于几何特征的人脸正面自动识别方法 基于代数特征的人脸正面自动识别方法 基于连接机制的人脸正面自动识别方法。,周激流实现了具有反馈机制的人脸正面识别系统，运用积分投影法提取面部特征的关键点并用于识别，获得了比较满意的效果。他同时也尝试了“稳定视点”特征提取方法，即为使识别系统中包含3D信息，他对人脸侧面剪影识别做了一定的研究，并实现了正，侧面互相参照的识别系统。 彭辉、张长水等对“特征脸”的方法做了进一步的发展，提出采用类
17、间散布矩阵作为产生矩阵，进一步降低了产生矩阵的维数，在保持识别率的情况下，大大降低了运算量。 程永清，庄永明等对同类图像的平均灰度图进行SVD分解得到特征脸空间，每一幅图像在特征脸空间上的投影作为其代数特征，然后利用层次判别进行分类。 张辉，周洪祥，何振亚采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别。该方法所用特征数据量小，特征提取运算量也较小，比较好地实现了大量人脸样本的存储和人脸的快速识别。 北京科技大学的王志良教授主要研究人工心理，建立了以数学公式为基础的心理学模型。,人脸识别的过程,48,人脸识别的过程,登记过程 识别过程 一对一的验证过程 一对多的
18、辨别过程,49,登记过程,50,一对一的验证过程,51,一对多的辨别过程,自动人脸识别系统,所谓自动人脸识别系统，是指不需要人为干预，能够自动获取人脸图像并且辨别出其身份的系统 一个自动人脸识别系统至少要包含三个部分，即数据采集子系统、人脸检测子系统和人脸识别子系统 “人脸识别”有时是指整个自动人脸识别系统所做的工作，有时是指人脸识别子系统所做的工作,人脸检测与人脸识别的研究内容,(1)人脸检测（Face Detection）人脸检测（Face Detection）是指在输入图像中确定所有人脸（如果存在）的位置、大小、位姿的过程。人脸检测是自动人脸识别系统中的一个关键环节。 (2)人脸识别人脸
19、识别细分为两类，一类是回答我是谁的问题，即辨认（Identification），另一类是回答这个人是我吗？即确认（Verification）。显然，用于Identification模式的识别系统对算法的运算速度的要求要高于Verification模式的识别系统。,从人脸自动识别技术所依据的理论来讲，人脸检测与人脸识别都是模式识别问题。 人脸检测是把所有的人脸作为一个模式，而非人脸作为另一个模式，人脸检测的过程就是将人脸模式与非人脸模式区别开来。 人脸识别是把每一个人的人脸作为一个模式来对待，不同人的脸属于不同的模式类，人脸识别的过程是将属于不同人的脸归于各自的模式。 换句话说，人脸检测强调的是
20、人脸之间的共性，而人脸识别则要区分不同人脸之间的差异，二者同属于模式分类问题。,应用人脸识别,人脸检测与人脸识别的评价标准,定义1：检测（Detection）指对人脸图像进行检测和定位的过程。 定义2：拒检（Detection Rejection）指不能正常检测到人脸或人脸不能定位以及人脸检测失败。 定义3：拒检率DRR（Detection Rejection Rate）指被拒检的人脸图像占统计总数的比例，用百分比表示。 定义4：比对（Matching）指以人脸特征与另一人脸特征比较的过程。 定义5：匹配相似度（Similarity）人脸特征比对的输出结果，代表参与比对的两个人脸特征的相似程度
21、。用0到1之间的小数表示，该数字愈大表示比对的人脸特征相似程度愈大，该数字愈小表示参与比对的人脸特征相似程度愈小。,定义6：错误拒绝FR（False Rejection）指定某匹配相似度为判定阈值，在来自于同一个个体的人脸特征之间的比对，其结果（匹配相似度）小于设定阈值。即指授权人不能被正确接受的比率。 定义7：错误接受FA（FalseAcceptance）指定某匹配相似度为判定阈值，在来自于同一个个体的人脸特征之间的比对，其结果（匹配相似度）大于设定阈值。即指非授权人错误的判断为授权人的比率。 定义8：错误拒绝率（False Rejection Rate）指发生FR的比对次数占总统计比对次数
22、的比例，用百分比表示，也叫拒真率。 定义9：错误接受率FAR（FalseAcceptance Rate）指发生FA的比对次数占总统计比对次数的比例，用百分比表示，也叫错误通过率，或认假率。 定义10：相等错误率EER（Equal Error Rate）指在某给定匹配相似度下，FAR与FRR相等时的错误率，即FAR=FRR。,定义11：登陆时间（Enrollment Time）从一幅人脸图像获取后，进行人脸检测、定位和特征提取所花费的时间，此时间是数学统计平均值，用毫秒（ms）表示。 定义12：比对时间（Matching Time）比较两张人脸特征所花费的时间，此时间包含文件读写时间的数学统计平
23、均值，用毫秒（ms）来表示。或者是将一张人脸特征与一定数量的人脸特征进行比对所花费的时间的总和，表示为毫秒/万人。 定义13：首选识别率（First Hit）匹配相似度最大的人脸是正确的人的比率。即将识别结果按照匹配相似度从大到小排列，排在第一位的人脸就是正确的被识别的人的比率。 定义14：累计识别率（Firs n Hit）正确的识别结果在前N个候选人中的比率。即将识别结果按照匹配相似度从大到小排列，在前N个结果中存在被识别的人的比率。,本征脸（eigenface）方法,是人脸识别的基准技术，并已成为事实上的工业标准,该方法基于主成分分析（PCA） PCA是将分散在一组变量上的信息集中到某几个
24、综合指标（主成分）上的数学方法，实际上起着数据降维的作用，并保证降维过程最大化保留原数据的差异 这对最大化类间差异（即不同人之间的差异）并最小化类内差异（即同一人的不同图像间的差异）很有效,用PCA将2维数据降到1维的例子，绿色点表示二维数据，PCA的目标就是找到这样一条直线，使得所有点在这条直线上的投影点之间的平均距离最大。也就是最大化地保留了原数据的差异性,本征脸方法,直接计算C 的本征值和本征向量是困难的，可以通过对矩阵 做奇异值分解间接求出 m值的选择：,如果将本征向量恢复成图像，这些图像很像人脸，因此称为“本征脸”,M. Turk & A. Pentland, JCN91,本征特征（
25、eigenfeature）方法,利用PCA分析眼、鼻、嘴等局部特征，即本征特征方法,R. Brunelli & T. Poggio, TPAMI93,A. Pentland et al., CVPR94,这实际上相当于：为若干重要的特征建立本征空间，然后将多个本征空间集成起来,本征脸 vs. 本征特征,本征脸利用全局特征，本征特征利用局部特征，二者各有优势,待识别图像,本征脸识别结果,本征特征识别结果,A. Pentland et al., CVPR94,本征脸 vs. 本征特征,难题能否自动确定： 该用哪些特征？（眼睛？鼻子？嘴？） 特征的确切位置在哪儿？（从哪儿到哪儿算眼睛？）,将二者结合
26、，可以得到更好的识别效果 同样，这实际上相当于：为若干重要的特征建立本征空间，然后将多个本征空间集成起来,由于嘴部受表情影响很严重，因此未考虑嘴部特征,实验结果,X. Geng & Z.-H. Zhou, unpub04,FERET人脸数据库上的结果,待识别图像出现在算法返回的前Rank个图像中,SEME选择的特征,本征脸+本征特征所用的特征,SEME的可扩展性,SEME的训练（计算）开销很大，但只需训练一次,X. Geng & Z.-H. Zhou, unpub04,将FERET人脸数据库上选择出的本征空间集成直接用于ORL（左）和BioID（右）这两个人脸数据库的结果,人脸识别的关键问题,
27、1.人脸面部形态（面型、眼睛、鼻子） 2.人脸识别中的视觉特征（早期MARR理论框架3个层次计算理论、 算法、实现机制；现多层次） 3人脸识别中的光照问题 4.人脸识别中的姿态问题,关键技术,人脸检测 图像预处理 人脸特征选择 人脸识别,学科基础,面部运动测量技术 图像处理技术 人脸检测跟踪技术 面部特征提取算法 面部特征的模式识别算法,面部特征提取算法,几何特征提取 统计特征提取（主成分、2维主成分、线性判别分析法、独立成分分析法） 频率域特征提取（Gabol、离散余弦） 运动特征提取 代数特征提取,面部特征的模式识别算法,线性判别分析（Fisher 线性判别） 支持向量机SVM 贝叶斯网络
28、 隐马尔可夫模型及其基本问题 人工神经网络 模糊模式识别,人脸识别系统设计与实现,人脸识别系统的总体设计 人脸识别系统的算法设计 人脸识别系统的实现,人脸识别系统的开发与试验工具,Intel 开源计算机视觉库OpenCV简介http:/ Intel 开源计算机视觉库OpenCV,OpenCV概述,目录 1 什么是OpenCV 2 重要特性 3 谁创建了它 4 新特征 5 从哪里下载 OpenCV 6 如果在安装/运行/使用 OpenCV 中遇到问题 7 OpenCV参考手册 8 中文翻译者,什么是OpenCV,OpenCV是Intel开源计算机视觉库。它由一系列 C 函数和少量 C+ 类构成，
29、实现了图像处理和计算机视觉方面的很多通用算法。opencv自带的sample里面有很多识别例子，有人脸视频跟踪的，还有画图的，也有定位人脸的。,总纲：,用C/C+编写的开源计算机视觉库。 目的是为了实时应用。 独立于操作系统/硬件/图形管理器。 通用的图像/视频载入、保存和获取模块。 底层和高层的应用开发包。,OpenCV 模块：,cv 主要的OpenCV 函数。 cvaux 辅助的（实验性的）OpenCV 函数。 cxcore 数据结构与线性代数支持。 highgui 图像界面函数。,重要特性,OpenCV 拥有包括 300 多个C函数的跨平台的中、高层 API。它不依赖于其它的外部库尽管也
30、可以使用某些外部库。 OpenCV 对非商业应用和商业应用都是免费（FREE）的。（细节参考 license）。 OpenCV 为Intel Integrated Performance Primitives (IPP) 提供了透明接口。 这意味着如果有为特定处理器优化的的 IPP 库， OpenCV 将在运行时自动加载这些库。 更多关于 IPP 的信息请参考： http:/ 此外，还有很多人给出了建议、补丁、BUG 报告等等。一个不太完整的列表在文件THANKS中。,新特征,请参考OpenCVChangeLog。,从哪里下载 OpenCV,访问 http:/ 。您可以直接下载exe文件的安装
31、包（windows用户），或者您可以通过代码管理工具（比如SVN或者CVS等下载openCV最新的源代码），您甚至不需要安装任何代码管理工具，直接通过sourceforge网站上提供的打包下载源代码的办法下载，具体可以参考Mingw编译最新版本的OpenCV代码。 如果在使用OpenCV存在问题，在 Google (http:/ )中输入 “OpenCV“ 和相关问题的关键字进行搜索。也可以到本网站的论坛上面发帖来咨询。论坛地址是：opencv中文论坛。,如果在安装/运行/使用 OpenCV 中遇到问题,阅读FAQ中文 在 OpenCV 邮件列表 （http:/ ）中搜索。 加入到 yahoo group 上的 OpenCV 邮件列表中（如何加入请参考 FAQs），并发送你的问题到邮件列表中。（这个邮件列表可能会迁移到OpenCVs SourceForge site） 参考 OpenCV 的例子代码，阅读参考手册 :),OpenCV参考手册,CxCore中文参考手册 Cv中文参考手册 CvAux中文参考手册 HighGUI中文参考手册,中文翻译者,于仕琪，中科院自动化所自由软件协会 HUNNISH，阿须数码,
