1、混合样本协同表示算法的人脸识别研究 杨明中 杨平先 林国军 四川理工学院自动化与信息工程学院 摘 要： 在人脸识别中, 人脸图像受到表情、光照、遮挡、姿态变化、特别是训练样本数量的影响, 而现实中经常只获得少量的训练样本, 由于原始样本生成虚拟样本可以增加训练样本的数量, 分析提出原始样本与轴对称样本融合的协同表示算法。首先生成镜像样本与轴对称样本, 再在协同表示分类器下分类, 最后加权值融合, 分析不同权值下的人脸识别率。实验结果显示原始样本、镜像样本与轴对称样本融合能提高识别率, 而原始样本与轴对称样本融合的识别率更加优越, 较原始样本, 识别率提高 2%9%, 比原始样本与镜像样本融合高
2、 1%5%。结果表明本文提出方法能有效提高人脸识别率。关键词： 人脸识别; 镜像样本; 轴对称样本; 协同表示; 权值融合; 作者简介：杨明中 (1991-) , 男, 四川南充人, 硕士研究生, 主研方向为图像处理、模式识别。E-mail:作者简介：杨平先, E-mail:收稿日期：2017-06-28基金：四川理工学院科研项目 (No.2015RC16) Face recognition research based on variant samples and collaborative representationYANG Ming-zhong YANG Ping-xian LIN G
3、uo-jun School of Automation and Information Engineering, Sichuan University of Science and Engineering; Abstract： For face recognition, the face image are affected by the variations of expression, lighting, occlusion, pose and especially the number of training samples.However, in practical applicati
4、on, we only have insufficient training samples.The collaborative representation algorithm of combining the original training samples with the axial-symmetry samples is proposed because the original training samples generate the corresponding virtual training samples to increase the number of trainin
5、g samples.Firstly, the original training samples generate the corresponding mirror samples and axial-symmetry samples.Secondly, the reconstruction errors are obtained by using collaborative representation based classification.Finally, the variant reconstruction errors are combined with different wei
6、ghted number to compare face recognition rates.The experimental results show that the face recognition rates are increased by combining the original training samples with the mirror samples and the axialsymmetry samples.The face recognition rates of combining the original training samples with the a
7、xialsy-mmetry samples are 2%9% and 1%5% better than the original training samples and theoriginal training samples with the mirror samples respectively.It shows that the papers method is effective in face recognition.Keyword： face recognition; mirror samples; axial-symmetry samples; collaborative re
8、presentation; weight fusion; Received： 2017-06-281 引言人脸识别技术在近几年发展迅猛, 由于来源丰富、采集方便、非侵犯性等良好特点得到广泛生活实际研究应用1-3。学者们提出许多人脸识别的方法并在理想条件下获得很好的识别效果。在实际应用中, 训练样本往往不充足而且样本常常受到光照、表情和姿态的影响, 从而使得识别率大大下降。目前, 训练样本不充足是一极大影响识别率的因素, 实际获得的少量样本进行训练成为一个小样本问题, 对此 Wu4等提出 (PC) A 方法生成虚拟样本, 调节参数可以获得多个虚拟人脸。徐勇5等提出构造左对称样本与右对称样本, 与
9、原样本融合提高识别率, 该方法在左右对称的人脸具有良好的效率, 但实际应用中获取的人脸图像并非都是对称的正面人脸, 因此实际应用效果不佳。之后徐勇等人提出构造镜像人脸6, 结合原始样本组合成训练库, 进而提高识别率。Tang7等人在原始样本中增加噪声构造虚拟样本, 从而增加训练样本。2009 年, Wright8等首先将稀疏表示理论用于人脸识别, 提出稀疏表示分类器 (Sparse Represen-tation based Classification, SRC) , 核心思想是用训练样本图像的稀疏线性组合表示待测样本图像, 从稀疏的角度得到对图像最紧致的表示。由于稀疏算法耗时巨大, 张磊9
10、等提出协同表示分类器 (Collaborative Representation based Classification, CRC) , 利用正则化范数最小化技术, 极大地降低计算耗时, 从此协同表示的高效高速性引领一大潮流。魏冬梅10将图像按二进制 8 位平面拆分构造虚拟样本, 识别率得到提高;Zhu11等采用动态权值融合提高识别率;项晓丽12将虚拟样本与原样本融合, 采用协同表示分类器进行识别获得较好识别效果。由于同一人的不同人脸图像具有部分相关联纹理信息, 本文提出混合训练样本设想, 即将原始样本生成虚拟样本进行权值融合, 利用人脸图像相互关联的纹理信息提高识别率。2 构造虚拟样本在实
11、际人脸识别中, 获取的人脸图像有姿态变化、光照等影响, 而影响最大的是小样本问题, 人脸识别实际应用中, 往往受到获取样本手段或存储原因等使得训练样本太少, 一些学者提出通过原始人脸图像生成虚拟人脸图像增加训练样本, 进而提高识别率。参照文献6中的方法, 由原始人脸图像转换构造镜像人脸图像, 设原始人脸xR, x 的镜像人脸图像由式 (1) 得到。对于镜像图像, 具有原始图像相同的尺寸, 它与原始图像相似, 能一定程度反映人脸的变化, 但是部分人脸左右对称变化较大, 于是提出轴对称图像 y= (x+z) /2, 即将原始图像与镜像图像融合, 如图 1 所示, 保留了原始图像的信息, 提供更多人
12、脸特征。图 1 原始图像生成虚拟图像 (第一行是原始图像, 第二行是镜像图像, 第三行是轴对称图像) Fig.1 Virtual samples generated by corresponding original images (First row origin images;Second row mirror samples;Third row axial-symmetry samples) 下载原图3 协同表示分类器协同表示分类器是一种高效高速的分类器, 广泛应用于人脸识别分类处理。假设训练样本共有 c 人, 每一位人 n 幅人脸图像, 则训练样本集 Xi=xi1, , xin,i=1
13、, 2, c, 给定某个测试样本 s, 设有 s=X, 然后由公式 (2) 求解 。其中 是正则项系数, I 是一个单位矩阵获得系数解 后, 可求第 i 类训练样本对测试样本 s 的重构误差:同理, 按上述协同表示分类, 可以求得轴对称样本与镜像样本的第 i 类训练样本对测试样本 s 的重构误差如下:4 权值融合上述协同表示分类器的重构误差有 3 组, 然后对这 3 组重构误差加权值融合, 得到最终分类结果。原始样本、轴对称样本与镜像样本的第 i 类训练样本的重构误差 rxi、ry i和 rzi, 将它们加权值融合得到最终重构误差 ri。其中:w1+w2+w3=1。最后, 由最终重构误差进行分
14、类识别测试样本 class (ri) 。5 实验结果与分析本文选用 AR、ORL、FERET 人脸库进行实验。AR 人脸库包含 126 人, 4 000 多幅彩色图像, 涉及表情、光照和遮挡影响, 这些图像分为两次采集完成, 本文选取 AR 人脸库中 100 人, 每人 13 幅人脸图, 实验前均转化为灰度图像, 部分人脸库如图 2 所示。ORL 人脸库里共 1 400 幅人脸图, 包含 40 人, 每人 10 幅人脸图, 这些图像主要是姿态表情变化, 部分人脸库如图 3 所示。FERET 人脸库共 1 400 幅人脸图像, 包含 200 人, 每人 7 幅人脸图, 如图 4 所示涉及表情、光
15、照和姿态变化。本实验在 AR 人脸库选用每人训练样本数 1 (第 1 幅) 、3 (第一次选用第1、2、3 幅, 第二次选用第 1、10、11 幅) 、5 (第 1、4、7、10、11 幅) ;ORL人脸库与 FERET 人脸库皆选每类人脸图前 3 幅作为训练样本, 实验结果如表 1所示。图 2 AR 人脸库部分样本 Fig.2 Some face samples of AR database 下载原图图 3 ORL 人脸库部分样本 Fig.3 Some face samples of ORL database 下载原图图 4 FERET 人脸库部分样本 Fig.4 Some face sam
16、ples of FERET database 下载原图表 1 在 AR、ORL、FERET 人脸库中的识别结果 Tab.1 Face recognition on AR, ORL and FERET database 下载原表 表 1 在 AR、ORL、FERET 人脸库中的识别结果 Tab.1 Face recognition on AR, ORL and FERET database 下载原表 由表 1 可知, 权值大小分配直接影响人脸识别结果。w1=0 时, 单独的轴对称样本识别率比原始样本略低, 但镜像样本严重败坏识别率, 结果表明与原始样本有大部分关联信息的轴对称样本具有一定的训练识
17、别能力, 变异的镜像样本与训练样本的需求具有较大差异, 不能独立作为训练样本;w2=0 时, AR 人脸识别率每组都处于较低水平, ORL 和 FERET 人脸库中, 部分小组的识别率处于高位, 实验表明加入镜像样本融合, 能一定程度的提高人脸识别率;w3=0 时, AR 人脸库的识别率在同组中处于最高, 在 ORL 和 FERET 人脸库中部分小组处于最高, 结果表明轴对称样本与原始样本融合能有效提高识别率。在三项均不分配 0 权值时, AR 人脸库的识别率均不达到最高值, 而在 ORL 和 FERET 人脸库中, 部分小组达到最高值, 更有少部分达到同样本数量类的最高值, 说明原始样本、轴
18、对称样本和镜像样本相互影响人脸识别率。在 AR 人脸库中, 原始样本、轴对称样本和镜像样本进行权值融合的识别率比原始样本识别有显著提高, 并且原始样本与轴对称样本的融合一直处于最优, 识别率在同组中最高, 较原始样本高 2%4%, 比原始样本与镜像样本融合高1%2%。在 ORL 人脸库中, 原始样本与轴对称样本权值融合、原始样本与镜像样本权值融合提高识别率在每小组中明显要高, 在训练样本数为 1、2 时, 3 类训练样本融合得到最高识别率, 而训练样本数为 3 时, 最高识别率在原始样本与轴对称样本的融合中出现, 比原始样本高 2%左右。对于人数众多而每一位人样本数量较少的 FERET 人脸库
19、, 原始样本、轴对称样本和镜像样本两两融合或者三类融合, 识别率在小组中皆出现过最优情况, 然而每样本数量类的最高识别率仍然由原始样本与轴对称样本融合得到, 较原始样本高 3.4%9%, 比原始样本与镜像样本融合高 2.7%5%。实验表明, 原始样本、轴对称样本和镜像样本进行权值融合能一定程度上提高识别率, 在总体中, 原始样本与轴对称样本权值融合对提高识别率最优。6 结论在实际人脸识别研究得知, 人脸识别受到姿态、表情等多种因素影响, 其中以训练样本数量少影响最大。增加人脸训练样本, 提高人脸识别率, 于是学者们提出了构造虚拟样本实现增加训练样本数量, 然而, 构造虚拟样本增加训练样本数量在
20、一些人脸库中实验不能提高识别率, 然后权值融合被提出。研究发现, 权值融合采用轴对称样本能进一步提高识别率, 由实验分析可知原始样本与轴对称样本权值融合能有效提高人脸识别率, 于是提出原始样本与轴对称样本融合的协同表示算法。在实际应用中, 面对小样本问题, 本文提出方法能改善人脸识别效果, 减少训练样本数量少造成的影响。参考文献1ZHU N B, LI S T.A kernel-based sparse representation method for face recognitionJ.Neural Computing and Applications, 2014, 24 (3) :845
21、-852. 2DU Y, WANG Y.Generating virtual training samples for sparse representation of face images and face recognitionJ.Journal of Modern Optics, 2016, 63 (6) :536-544. 3闵卫东, 石杰, 韩清, 等.一种分布式人脸识别方法及性能优化J.光学精密工程, 2017, 25 (3) :779-785.MIN W D, SHI J, HAN Q, et al.A distributed face recognition method a
22、nd performance optimizationJ.Optics and Precision Engineering, 2017, 25 (3) :779-785. (in Chinese) 4WU J X, ZHOU Z H.Face recognition with one training image per personJ.Pattern Recognition Letters, 2002, 23 (14) :1711-1719. 5XU Y, ZHU X J, LI Z M, et al.Using the original andsymmetrical facetrainin
23、g samples to perform representation based two-step face recognitionJ.Pattern Recognition, 2013, 46 (4) :1151-1158. 6XU Y, LI X L, YANG J, et al.Integrate the original face image and its mirror image for face recognitionJ.Neurocomputing, 2014, 131:191-199. 7TANG D Y, ZHU N B, FU Y, et al.A novel spar
24、se representation method based on virtual samples for face recognitionJ.Neural Computing and Applications, 2014, 24 (3/4) :513-519. 8WRIGHT J, YANG A Y, GANESH A, et al.Robust face recognition via sparse representationJ.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31 (2) :21
25、0-227. 9ZHANG L, YANG M, FENG X C.Sparse representation or collaborative representation:which helps face recognition?C/Proceedings of 2011 International Conference on Computer Vision.Barcelona, Spain:IEEE, 2011:471-478. 10魏冬梅, 周卫东.基于位平面和协作表示的人脸识别算法J.北京理工大学学报, 2014, 34 (9) :966-971.WEI D M, ZHOU W D.
26、Facerecognition using bit-plane images and collaborative representationJ.Transactions of Beijing Institute of Technology, 2014, 34 (9) :966-971. (in Chinese) 11ZHU N B, CHEN S X.Weighted sparse representation based on virtual test samples for face recognitionJ.Optik-International Journal for Light and Electron Optics, 2017, 140 (7) :853-859. 12项晓丽, 武圣, 龙伟, 等.融合原始样本和虚拟样本的人脸识别算法J.电视技术, 2016, 40 (9) :117-121.XIANG X L, WU S, LONG W, et al.Face recognition based on the fusion of original sample and virtual sampleJ.Video Engineering, 2016, 40 (9) :117-121. (in Chinese)
