1、 台州学院毕业设计（论文）文献综述人脸表情识别的研究现状与进展学生姓名:黄红波 指导老师:张石清摘要：人脸表情识别是近年来的研究热点。本文主要介绍人脸表情识别的各种方法，如模糊支持向量机分类器，和研究现状。关键词：模糊支持向量，分类器，人脸表情识别1课题背景计算机科学技术的迅速发展对人类社会产生类巨大的影响，人性化的人机交互模式成为人类和机器交流方式的发展趋势。情感计算作为人性化的人机交互的基础逐渐成为一个研究热点，而人脸表情识别作为情感计算的前提也受到了广泛的关注。就像Bruce等所说 1,2，人与人之间面对面交流是多模式人机接口设计的一个最佳模式。面对面交流最主要包括语音和视觉的交流。心理
2、学研究表明，一个人是否喜欢你的讲话最主要取决与你的表情。人脸表情包含了很多的复杂感情，而通过脸部表情表达情感是非常自然的一种表达方式。人脸表情对人类信息交流起着重要作用。用计算机识别人脸表情是人类研究智能的必要途径，也是智能机器走进人类社会必须解决的问题。基于数字图像的人脸检测技术、人脸识别技术、手势识别技术等陆续被提出，相关的应用系统将逐渐改变人们的工作与生活。基于数字图像的人脸表情识别综合了数字图像处理、模式识别、人工智能、计算机视觉、心理学、应用心理学、生命科学、认知科学等众多学科领域的知识，是一个极具有挑战性的交叉课题。本文便是在这样的背景下开展的人脸表情识别研究。2研究现状2.1 概
3、述人脸表情之别是指利用计算机对人脸的表情信息进行特征提取，然后按照台州学院毕业设计（论文）文献综述人的思维方式进行理解和分类。对于人类而言识别人脸表情没有问题，但计算机来说就比较困难。总的来说，人脸表情识别能根据人脸的表情，进行感情识别。研究人脸表情识别，就是利用计算机视觉信息，采用适当的处理方法，提高计算机的理解能力，加强其智能化强度。人脸表情识别研究主要包括人脸表情区域的检测和定位，人脸表情特征的提取，表情特征的分类。2.2 人脸检测人脸检测就是指对任意一幅图像进行确定是否含有人脸，如有则确定人脸的位置、姿态和大小。这一任务主要受光照、噪声、头部倾斜度以及各种遮挡的影响。目前已知的人脸检测
4、方法可以归纳为以下三种 3：基于统计模型的方法，肤色区域分割和人脸验证的方法和基于启发式模型的方法。第一种方法是现今比较受重视的方法，该方法将人脸区域看作是一种模型，使用大量的人脸与非人脸样本进行训练，构造分类器，最后通过判断被测图像中所有可能区域属于哪一类模型以实现人脸的检测。其方法有很多，比如，于特征空间的方法4，5 ，基于人工神经网络的方法 6，基于概率模型的方法 3以及基于支持向量机 7的方法。第二种方法处理的是彩色图像，根据图像的色度信息，建立肤色模型，分割出肤色区域，并用人脸区域的几何特征或灰度特征等先验知识来验证，进而来检测出人脸。第三种方法首先抽取几何形状、灰度、纹理等特征，然
5、后检验它们是否符合人脸的先验知识，常采用变形模板或灰度模板匹配等方法。2.3 表情特征提取表情特征按照特征的性质可以分为表情形变特征和表情运动特征，从处理图像范围角度，可以分为基于局部操作和基于全局操作两类 8。基于局部特征提取方法是将脸部划分成子区域或将脸部特征分解成一些局部特征，独立地对子区域或局部特征进行操作，而基于全局特征提取方法是一次性提取所需要的脸部形变特征和运动特征。脸部运动特征提取的方法着眼于表情出现时脸部的运动，提取相邻两时刻的脸部相对运动信息。这一类特征的提取一般采用特征点跟踪、光流、差分图台州学院毕业设计（论文）文献综述像和运动模型等方法。稠密光流是使用较早且广泛的一种方
6、法，同样可分为局部和全局稠密光流。全局稠密光流用于提取整个脸部的运动特征。但由于光流计算量比较大，对运动的不连续性较为敏感，在计算时比较费时，因此选用局部稠密光流比较好。差分图像方法通过两幅图像相减得到整体变化信息，计算量少。但它不能提供运动方向信息。并且为了保证差分图像的效果，精确的图像对齐是必不可少的 9。脸部形变特征提取方法是采用中性脸为参考脸，通过中性脸和当前脸比较得到形变信息。这些信息反映在脸部纹理的变化和脸部形状的变化上。这类特征提取方法可以分为三类：基于像素的方法，它通常基于统计模型，对大量的经典表情进行训练，提取典型的表情图像灰度信息，比如LBP 10(Local Binary
7、 Pattren)特征提取法。基于几何特征的方法，这类方法对脸部的特定区域建立几何模型，提取表情的几何特征，如眼角、鼻尖、嘴角等特征点构成的二维拓扑结构。基于频域的方法，即将时空域图像转化到频域进行分析，提取表情频域特征，比如小波变换。脸部特征提取方法的选用主要依据所使用的分类方法和应用环境。不同的分类方法需要不同的脸部特征，不同的方法适用于不同的环境。特征提取方法应该根据实际情况的需要来选择和设计。2.3 表情分类表情分类是表情识别过程中的最后一步，其作用是将不同的表情分到不同的表情类别中。使用时间信息与否是使分类器的选择不同的原因。使用时间信息的方法称为时域空域方法，而不使用时间信息的方法
8、称为空域方法 9。时域空域方法有效利用了动态信息。隐马尔可夫模型(HiddenMarkov Model，HMM)因其对动态性序列有很好的描述能力，既可描述瞬态的随机过程又可描述动态随机过程的转移特性，所以在表情识别中常被采用。已有许多成功的用隐马尔可夫模型设计分类方法的表情识别研究 11，12，13 。神经网络是典型基于机器学习的空域方法，其输入信息可能是直接的人连图像信息，也可能是经过一些特征转化方法处理后的信息，常用的转化方法有独立成分分析方法(Independent Component Analysis，ICA)或Gabor小波方法。人工神经网络都难以训练，基于规则的神经网络是一种折中的
9、方法。因为空域方法只使用特征向量，所以一般台州学院毕业设计（论文）文献综述的方法都被用作空域方法。Buciu等使用支持向量机(SVM)作为分类器，Wang等是使用adaboost算法构造分类器，Guo等是使用线性规划的方法构造分类器 14。递归型神经网络在人脸表情识别系统中有许多成功的应用 15。另外，可以将脸部运动表示成一个二维的运动场，计算场之间的距离来利用动态信息。本文将利用 Gabor 小波或 LBP 进行特征变换提取出表情特征，采用模糊支持向量机分类器完成计算机人脸表情识别实验。 3总结与展望本文在广泛阅读了国内外有关人脸表情识别的文献资料基础之上，对自动表情识别系统从人脸检测、表情
10、特征提取及表情分类识别几个方面进行了综述。人脸表情识别技术经多年的研究，已经取得了很多的成果。但是人脸表情识别技术还有很大的局限性。人脸的表情是非常复杂的，它是混合而非单一的。因此在往后，因该考虑混合表情的识别问题。人脸表情识别因该考虑到实时性，因此新的算法要求要快、有效和易于实现。台州学院毕业设计（论文）文献综述参考文献1Bruce VWhat the human face tells the human mind：some challenges for the robothumaninterfaceCProceedingsIEEE Intemational Workshop on Robo
11、t and Human CommunicationTokyo ，1992，44-512Takeuchi A，Nagao KCommunicative facial displays aS a new conversational modalityCProceedings of INTERCHI93 Conference on Human Factors in Computing SystemsAmsterdam，1993，1871933梁路宏，艾海舟，徐光祜，张钹人脸检测研究综述J计算机学报，2002，25(5)：4494584梁路宏，艾海舟，何克忠基于多模板匹配的单人脸检测J中国图像图形学报
12、，1999，10，8258295周杰，卢春雨，张长水等人脸自动识别方法综述J电子学报，2000，28(4)：1021066梁路宏，艾海舟，徐光佑等基于多关联模板匹配与人工神经网确认的人脸检测J电子学报，200 1，29(6)，7447477卢春雨，张长水，闻方等基于区域特征的快速人脸检测法J清华大学学报(自然科学版)，1999，39(1)，1011058周庚涛基于选择性特征提取与多HMMs的人脸表情识别研究D：硕士学位论文.江苏:江苏大学，20079武宇文基于脸部二维形状与结构特征的表情识别研究D:博士学位论文.北京:北京大学，200510Timo ojiala,Matti Pietikain
13、en，Multiresolution grayscale and rotation invariant textureclassification with local binary patternsJIEEE Transactions on pattern analysis and machine intelligence，2002，24(7)，97 1-987台州学院毕业设计（论文）文献综述11J LienAutomatic recognition of facial expression using hidden Markov models and estimation of expre
14、ssion intensityD(PhDThesis，The Robotics Institute，CMU)，199812XZhou ， XS Huang，Y SWangReal time facial expression recognition in the interactire game based on embedded Hidden Markov ModelCProceedings of the International Conference on Computer Graphics， Imaging and Vi sual ization (CGIV04)2004，144148
15、13SMuller， FWallhoff，FHulsken，GRigollFacial expression recognitionusing pseudo 3-D Hidden Markov ModelsCProceedings of 16th InternationalConference on Pattern Recognition(ICPR02)2002，v012，323514李婷。基于多特征集成和分级分类的图像序列表情识别方法研究D：硕士论文.江苏:江苏大学,200815Kobayashi H，Hara F Dynamic recognition of basic facial expressions by Discrete-time recurrent neural networkC Proceedings of the International Joint Conference on Neural NetworkNagoya,1993 ，155一158
