1、基于关键子区域及特征提取的表情识别 孔英会 陈咨彤 车辚辚 华北电力大学电气与电子工程学院 摘 要： 针对传统表情识别系统不能充分提取关键子区域及有效特征的缺陷, 设计了基于关键子区域及特征提取的表情识别系统。首先使用面部关键点检测技术及面部编码系统筛选出关键子区域;然后对其进行特征提取。提出一种改进的局部梯度编码算子 (LGC) 、局部均值梯度编码算子 (LMGC-HD) ;改进的算子具有更低的维度, 能够充分地描述局部形变;且受随机噪声及边缘变化影响小。最后使用支持向量机 (SVM) 进行分类识别。采用 CK+数据集进行实验, 结果证明该系统能够有效地提高人脸表情的识别率。关键词： 表情识
2、别; 面部编码系统; 关键子区域; LGC; LMGC-HD; SVM; 作者简介：孔英会 (1965) , 博士, 教授。研究方向:智能信息处理, 数字图像处理。E-mail:。作者简介：陈咨彤 (1992) , 硕士研究生。研究方向:数字图像处理。E-mail:。收稿日期：2017 年 4 月 27 日Facial Expression Recognition Based on Key Sub-region and Feature ExtractionKONG Ying-hui CHEN Zi-tong CHE Lin-lin School of Electrical and Electr
3、onic Engineering, North China Electric Power University; Abstract： An expression recognition system based on key sub-region and feature extraction is designed for the traditional expression recognition system can not fully extract the key sub-regional and effective features. First, the key point det
4、ection technology and facial coding system were used to filter the key sub-area. Then, an improved LGC operator is proposed: local mean gradient coding operator ( LMGC-HD) , the improved operator has a lower dimension, can fully describe the local deformation, and by random noise and the influence o
5、f edge change is small.Finally, SVM is used for classification and recognition. Using CK + database, it is proved that the system can effectively improve the recognition rate of facial expression.Keyword： facial expression recognition; facial action coding system; key sub-region; LGC; LMGC-HD; SVM;
6、Received： 2017 年 4 月 27 日面部表情是传递情感最生动、直接的方式, 基于表情分析的表情识别在心理学、医学、安全和娱乐等领域有非常广泛的应用前景, 近年来成为模式识别领域研究的热点1。表情识别系统主要由图像预处理、特征提取和分类识别三部分组成。由面部运动编码系统 (facia action coding system, FACS) 2相关知识可知, 不同活动单元 (action unit, AU) 的组合会表现出不同的表情, 与表情关联性强的AU 并非均匀的分布在面部, 而是主要集中在眼睛、眉毛、嘴部、鼻翼、下颌等区域;所以对于表情识别而言, 这些区域就变成了关键子区域。目
7、前对于关键子区域提取的研究大致分为两大类, 第一类方法先对关键子区域进行分割, 然后只对分割出的关键区域进行特征提取。该类方法虽然能够充分的利用关键子区域;但也存在丢失全局特征的缺陷。第二类方法也对关键子区域进行分割, 不同的是将提取的整体图像特征和关键区域的特征进行融合作为最终的特征6;该类方法虽然弥补了第一类方法存在的不足, 但却增加了算法的复杂性和特征维度。在特征提取方面, 针对传统的局部二值模式 LBP (local binary pattern) 算子不能够准确地描述出面部肌肉的纹理、皱纹及其他局部形变的问题, 文献7提出了局部梯度编码算子 LGC (local gradient c
8、oding) , 通过从水平、垂直、对角线三个梯度方向上比较邻域间像素灰度值大小进行编码, 从而提取图像纹理特征;该算子对眉毛、眼睛、嘴巴等区域特征点的变化趋势的鉴别能力比传统LBP 算子强。基于 LGC 算子的垂直梯度比水平和对角梯度包含的表情信息少很多8,9的特点, 文献10提出了基于水平和对角优先原则的 LGC 算子 (LGC based on horizontal and diagonal gradient prior principle, LGC-HD) , 从而去除了冗余特征向量、减小特征尺寸, 提高了操作效率;针对 LBP 随机噪声及边缘变化敏感的问题, 文献11提出了局部均匀模
9、式 (local mean binary pattern, LMBP) , 能够有效地抑制随机噪声及边缘变化的影响。针对上述问题, 设计了基于关键子区域及特征提取的表情识别系统。 (1) 针对对关键子区域提取的问题, 使用面部关键点检测技术及 AU 的相关知识精确地确定关键子区域;并将非关键子区域像素置零, 从而完成对关键子区域的提取。如此能够去除冗余信息并充分地体现出关键子区域对表情识别的贡献, 更重要的是保留了图像的空间结构特性。 (2) 基于 LGC-HD 及 LMBP 的思想, 提出了一种新型的局部均匀梯度编码算子 (local mean gradient coding based o
10、n horizontal and diagonal gradient prior principle, LMGC-HD) :首先计算出三对水平、三对垂直方向以及两对对角方向上像素点的灰度平均值作为中心像素点的八个邻域像素灰度值, 生成新的灰度值矩阵;然后对新矩阵生成 3 对水平和两对对角的梯度二值编码作为中心像素的 LMGC-HD 算子, 其只有 2=32 种模式。通过实验验证, 相比于 LBP、LMBP、LGC、LGC-HD, 提出的算子无论在计算效率还是识别率上都有提升。1 研究方案设计的基于关键子区域特征提取的表情识别系统框图如图 1 所示。该方法分为以下三个步骤: (1) 关键子区域提
11、取; (2) 特征提取; (3) 训练 SVM 并进行分类识别。图 1 系统框图 Fig.1 System block diagram 下载原图1.1 关键子区域提取关键子区域提取取阶段对应图 1 系统框图中的 a1/b1 阶段, 该阶段分为两步: (1) 使用 Face+12进行面部关键点检测; (2) 参照 AU 相关知识, 依据检测到的关键点对面部关键子区域进行提取。使用 Face+进行人脸关键点检测, Face+是由清华大学等高校科研人员开发出的人脸识别平台。Face+不但能实现人脸检测;而且能够实现面部关键点检测。使用 Face+对图像进行 83 个关键点检测效果图如图 2 (a)
12、所示, 83 个关键点能够细致的刻画出面部轮廓及各面部器官。例如第 (38, 49, 55, 52, 53, 47, 44, 45, 39, 42, 41) 个关键点描述了嘴的轮廓, 第 (22, 28, 27, 29, 26, 24, 20, 23) 个关键点和第 (68, 74, 73, 75, 72, 70, 66, 69) 个关键点分别描述了两只眼睛;由 FACS 可知, 眉毛、眼睛、脸颊、鼻翼、嘴巴、下颌区域为表情识别的关键子区域, 所以如果能够实现这些关键子区域的提取将有助于识别率的提升。但将图 2 (b) 中矩形框内区域作为关键子区域3,4,6丢失了鼻翼、部分下颌区域;将图 2
13、(c) 中有标号的 13 块非规则区域作为关键子区域5的方法根据对称性只取了脸部一侧的鼻翼、脸颊、眼部与眉毛之间的区域, 虽然减少了计算量, 但不同的个体之间对于相同表情的表现可能存在着差异;所以此方法很可能会丢失重要信息。图 2 (d) 为选取的关键子区域, 直接根据各AU 对应的位置将眉毛、眼睛、鼻翼、嘴部、脸颊、下颌区域作为关键子区域, 然后对应检测出的关键点将选中的区域精细地描述出来。笔者并未只对选取的关键子区域进行特征提取, 而是在保留选取的关键子区域的基础上将非关键子区域像素置零, 将生成的图像作为后续提取特征的图像。如此操作不但能够去除冗余信息, 还保留了图像的空间结构, 有助于
14、识别率的提升。图 2 关键点检测及子区域选取对比 Fig.2 Key point detection and sub-region selection comparison 下载原图1.2 特征提取1.2.1 LGC 算子LGC7算子的邻域大小为 33, 如图 4 (a) 所示, 通过对比水平、垂直、对角线三个梯度方向上邻域间像素灰度值的大小而进行编码, 算子编码表示为式 (1) 中 s (x) 函数为LGC 的编码方式与人脸中的眼睛、嘴、前额等面部区域特征点的变化趋势一致, 并且还充分考虑了面部纹理在不同方向上对表情分类的影响。例如图 3 中前两幅图像的 LBP 编码均为 (00000000
15、) 2, 所以无法使用 LBP 进行区分, 而使用LGC 编码分别为 (00001001) 2和 (00000000) 2, 与传统 LBP 算子相比, LGC 算子具有更强的鉴别能力。与传统 LBP 算子一样, LGC 编码算子的长度也为 8 位, 假如将图像划分成 88 的子块进行最终的特征级联的话, 最终生成的特征为288=16 384 维, 这么高的维度将会影响分类速度。图 3 不同灰度分布示意图及不同编码对比 Fig.3 Different gray scale distribution and different coding comparison 下载原图基于 LGC 算子的垂直
16、梯度比水平和对角梯度包含的表情信息少很多的特性, LGC-HD10算子采用对 LGC 算子进行水平和对角梯度进行优先提取的思想去除冗余特征、减小特征尺寸。LGC-HD 可表示为1.2.2 LMGC-HD 算子与 LGC 不同, 提出的 LMGC-HD 算子不只考虑邻域之间的灰度值关系, 为了充分体现出邻域各位置像素灰度值及中心像素灰度值的作用, 去除随机噪声、光照及边缘变化的影响, 首先分别求取原始图像块的三对水平方向、三对垂直方向、两对对角方向上像素灰度值的均值, 依次作为中心像素的邻域像素灰度值, 生成新的均值图像块。然后对生成的均值图像块矩阵进行 LGC-HD 编码, 得到的五位二进制码
17、即为中心像素点的 LMGC-HD 编码值, 将二进制码值转换成的十进制数作为中心像素的灰度值。原始图像块如图 4 (a) 所示, 定义 gc为中心像素点的灰度值, g p (p=1, 2, , 8) 是中心像素邻域内第 p 个采样点的灰度值。局部均值向量a 1, a2, a3, a4, a5, a6, a7, a8表示中心像素 gc的均值结构如图4 (b) 所示, 均值向量各元素值被定义为11对求取的均值矩阵进行 LGC 编码即生成原始中心像素的 LMGC 二进制码, 图 4 (f) 即为经 LMGC 编码的结果。因为最终求取的是均值矩阵的 LGC-HD 算子, 由式 (3) 可知 LGC-H
18、D 算子的求取过程仅用到均值矩阵图 4 (b) 中的a1/a3/a4/a5/a7/a8, 所以在求取 LMGC-HD 算子的实际过程中如图 4 (c) 图4 (d) 图 4 (e) 过程, 仅求取对应的 a1/a3/a4/a5/a7/a8 即可如图 4 (d) 所示。如此能够在一定程度上降低计算复杂度, 图 4 (e) 即为 LMGC-HD 编码的十进制数表示。通过图 3 可以直观地看出 LMGC-HD 算子相对于其他算子具有更强的鉴别能力。图 4 LMGC-HD 编码过程 Fig.4 LMGC-HD encoding process 下载原图1.2.3 特征生成特征提取过程如图 5 所示,
19、该过程对应图 1 系统框图的 a2/b2 阶段。图 5 (a) 为进行关键子区域选取后的数据图像, 图 5 (b) 为对图 5 (a) 进行 LMGC-HD 处理生成的特征图, 为了充分表现 LMGC-HD 编码图的空间结构特征, 将编码图分为 m (B1, B2, Bm) 块 (m 代表块数) , 统计每一块的直方图, 并逐行级联所有块内的直方图作为最终的特征 H, 级联后的直方图如图 5 (c) 所示, H 如式 (5) 所示:图 5 特征提取过程 Fig.5 Feature extraction process 下载原图支持向量机 (support vector machines, SV
20、M) 是用于二分类和多类分类及回归的强大工具。对于两类分类问题, SVM 通过最大化超平面和类的最近点之间的余量来估计两个类之间的最佳分离超平面。例如设训练样本集为 (x i, yi) , i=1, 2, , n, 其中 n 为训练样本个数, x iR (d 维空间) 为训练样本, yi-1, +1为输入样本 xi的类标记。寻找一个如式 (4) 所示的分类判别函数f (x) , 使该分类判别函数能够对未知类别的新样本进行尽可能正确的分类, 其中训练样本和新样本独立同分布:式 (6) 中 sign () 为符号函数, k (, ) 为核函数。选取的核函数应该能够令其变成特征空间中的一个点积, 例
21、如 k (xi, xj) = (x i) (x j) 。对于具体的分类问题, 关键是求出拉格朗日乘子 i, 实际上为一个二次规划问题, 其表达式如式 (7) 、式 (8) :式 (8) 中 C 是误差惩罚参数, 控制着分类边界形状的变化, 其值越大表示对错误分类的惩罚程度越大;解中只有少部分 i不为 0, 其所对应的样本即为支持向量13。因为表情是多分类问题, 并且是样本数远远大于类别数的多分类问题, 所以使用“一对一”的策略来进行二分类向多分类的转换, 基本思想就是令每个分类器只区分两类问题, 然后通过组合多个分类器来解决多分类问题。实验使用 MATLAB 的 libsvm14工具提供的支持
22、向量机分类器, 采用的核函数为径向基核函数。2 实验及结果分析为了验证提取关键子区域及 LMGCHD 算子的有效性, 在 CK+数据集上进行表情识别实验。实验平台为 Intel Core i54460 CPU、4G 内存、Windows 7 (64) 操作系统, 实验环境为 MATLAB R2016a。2.1 实验数据库CK+人脸表情数据库是卡耐基梅隆大学于 2010 年发布的, 该表情库包含 123 个对象的共 593 个从自然到高峰的表情图像序列。因对单帧图像进行实验, 所以首先筛选各表情序列的 415 张15“峰值图像”。整理后的各表情样本数如表1 所示。为了能够消除实验数据分组存在的偶
23、然性, 测试样本均为随机选取。CK+样本图像如图 6 所示。表 1 数据集各样本个数 Table 1 Data set of the number of samples 下载原表 图 6 CK+库样本图像 Fig.6 CK+library sample image 下载原图2.2 实验描述及结果分析按照图 1 系统框图流程进行实验, 为了证明本文方法的有效性, 进行下面三方面的实验进行对比。(1) 使用相同的特征, 将包含不同程度冗余信息的图像作为实验对比数据, 验证提取关键子区域方法的有效性。对比数据包括:数据 1 为图 2 (a) 所示原始图像;数据 2 为图 2 (b) 所示进行面部提取
24、的图像;数据 3 为图 2 (c) 所示将面部提取并将非面部区域像素置零的图像;数据 4 为图 2 (d) 所示将非关键子区域像素置零的图像即本文方法使用的数据。得到的实验结果如表 2 所示。通过对比可以发现:当使用相同的特征时, 随着实验数据冗余信息的减少 (由数据 1至数据 4) , 各特征对应的识别率整体上都有上升的趋势。通过此实验结果证明了本文提取关键子区域方法的有效性。(2) 使用相同的实验数据, 将 LBP、LMBP、LGC、LGC-HD、LMGC 特征与使用的LMGC-HD 特征进行对比, 验证提出的 LMGC-HD 算法的有效性。算法的有效性既包括识别率也包括计算效率, 所以分
25、别计算单幅图像对应各特征的特征维度、特征提取时间、识别时间, 实验结果详细信息如表 3 所示。通过表 2 可以发现LMGC-HD 在对数据 1、2、3 进行处理时识别率并不突出, 但对数据 4 进行实验时的识别率有了一定的优势, 但相比于 LMGC 的优势并不明显, 不过通过表 3 可以发现, 相比于 LMGC, LMGC-HD 在提取的特征维度及时间复杂性上有着很大的优势。表 2 对不同实验数据使用各特征识别结果 Table 2 The results of each feature recognition are used for different experimental data 下
26、载原表 表 3 各算法的性能对比 Table 3 Comparison of performance of each algorithm 下载原表 (3) 使用提取关键子区域后的图像作为实验数据, 然后提取 LMGC-HD 特征进行实验, 即使用本文方法和与使用相同数据集的文献1517中的方法进行对比, 验证本文方法的有效性。上述的实验均为对如图 6 所示 CK+数据库的七种表情进行实验, 为了增强可比性, 按照本文方法再对 CK+数据库的Anger/Disgust/Fear/Happy/Sadness/Surprise 六种表情进行实验, 将使用本文方法的实验结果分别与使用六种表情和使用七种
27、表情的文献方法进行对比。对比结果如表 4 所示。本文方法对六种表情的识别率达到了 98.03%, 对七种表情的识别率也达到了 96.16%, 通过对比本文献识别率和不同文献识别率可以明显地看出:无论是六种表情还是七种表情的识别率, 本文方法都具有一定的优势。表 4 不同文献识别率对比 Table 4 Comparison of different document recognition rates 下载原表 3 结束语为了去除冗余信息, 增强对局部变化的描述能力, 设计了基于关键子区域及特征提取的表情识别系统。相比于其他文献的表情识别系统, 本文系统的优势主要体现在以下两方面。(1) 本文首
28、先参照 AU 相关知识及面部关键点检测技术精确的选定关键子区域, 然后通过将非关键子区域像素置零, 从而达到选取关键子区域及去除冗余信息的目的;如此不但能够除去冗余信息对识别率的影响、突出关键子区域的作用, 而且相比于将关键子区域分割出来的方法, 本文方法能够有效地保留图像整体的空间结构, 从而有助于识别率的提升。(2) 提出的 LMGC-HD 算子对于关键子区域的变化具有很好的描述辨别能力, 并且其只有 32 种模式, 使用相同的方法对一幅图像进行特征提取, LMGC-HD 提取的特征维数只相当于传统 LBP 特征维数的 1/8, 所以具有更少的时间消耗。最终通过实验结果验证了本文系统在识别
29、率及计算复杂性方面的有效性。文中使用的数据库为标准表情库, 均为正脸, 如何识别侧脸及有一定扭转角度的面部表情是下一步的研究方向。参考文献1 Rudovic O.Coupled Gaussian processes for pose-invariant facial expression recognition.Pattern Analysis and Machine Intrlligence, 2013;35 (6) :1357-1358 2 Ekman P, Friesen W.Facial action coding system (FACS) :a technique for the
30、measurement of facial movement.Consulting Psychologists Press, 1978;47 (2) :126-138 3胡敏, 江河, 王晓华.精确局部特征描述的表情识别.中国图像图形学报, 2014;19 (11) :1613-1622Hu Min, Jiang He, Wang Xiaohua.Expression recognition of precise local feature description.Journal of Image and Graphics, 2014;19 (11) :1613-1622 4龚劬, 叶剑英,
31、华桃桃.结合改进 LBP 和 LDP 的人脸表情识别.计算机工程与应用, 2013;49 (22) :197-200Gong Qu, Ye Jianying, Hua Taotao.Facial expression recognition based on improved LBP and LDP.Computer Engineering and Applications, 2013;49 (22) :197-200 5 Ghimire D, Jeong S, Lee J, et al.Facial expression recognition based on local region s
32、pecific features and support vector machines.Multimedia Tools and Applications, 2017;76 (6) :7803-7821 6胡敏, 徐艳侠, 王晓华.自适应加权完全局部二值模式的表情识别.中国图像图形学报, 2013;18 (10) :1279-1284Hu Min, Xu Yanxia, Wang Xiaohua.Facial expression recognition based on adaptive weighted complete local two valued model.Journal of
33、 Image and Graphics, 2013;18 (10) :1279-1284 7 Jun B, Kim D.Robust face detection using local gradient patterns and evidence accumulation.Pattern Recognition, 2012;45 (9) :3304-3316 8 Xu J, Zhang Y J.Expression recognition based on variant sampling method and Gabor features.Computer Engineering, 201
34、1;37 (18) :195-197 9 Huang D, Shan C, Ardabilian M.Local binary patterns and its application to facial image analysis.IEEE Transactions on System Man41 (6) :765-781 10 Tong Y, Chen R, Cheng Y.Facial expression recognition algorithm using LGC based on horizontal and diagonal prior principle.OptikInte
35、rnational Journal for Light and Electron Optics, 2014;125 (16) :4186-4189 11任福继, 李艳秋, 许良凤.基于均匀模式描述和双加权融合的人脸识别.中国图像图形学报, 2016;21 (5) :565-573Ren Fuji, Li Yanqiu, Xu Liangfeng.Face recognition based on uniform pattern description and double weighted fusion.Journal of Image and Graphics, 2016;21 (5) :5
36、65-573 12 Yin Q.Megvii Face+.2017-1-13.https:/ 13卢官明.李晓南.李海波.新生儿疼痛面部表情识别方法的研究.光学学报, 2008;28 (11) :2109-2114Lu Guanming, Li Xiaonan, Li Haibo.Study on the method of facial expression recognition in neonatal pain.Acta Optica Sinica, 2008;28 (11) :2109-2114 14 Chang C C, Lin C J.LIBSVM:a library for su
37、pport vector machines.ACM Transactions on Intelligent Systems4 (27) :2-27 15何俊, 蔡俊峰.基于 LBP/VAR 与 DBN 模型的人脸表情识别.计算机应用研究, 2016;33 (8) :2510-2513He Jun, Cai Junfeng.Facial expression recognition based on LBP/VAR and DBN model.Application Research of Computers, 2016;33 (8) :2510-2513 16施毅.基于主动外观模型的人脸表情识
38、别研究.上海:上海交通大学, 2012Shi Yi.Facial expression recognition based on active appearance model.Shanghai:Shanghai Jiao Tong University, 2012 17 Feng X, Lai Y, Mao X, et al.Extracting local binary patterns from image key points:application to automatic facial expression recognition.Image Analysis.Berlin:Springer Berlin Heidelberg, 2013:339-348
