1、综合肤色模型和多模板匹配增强 Adaboost 人耳检测刘德凯 刘恒（西南科技大学信息工程学院 绵阳 621010）摘要：人耳检测作为人耳识别的关键步骤，其效果直接影响着人耳识别的性能。利用 传统的 Adaboost 算法进行人耳检测，会出现的样本训练时间过长 、过于依赖样本质量等问题 。为克服这些问题，在训练不足及初始人耳定位不好的情况下，本文引进 YCbCr 肤色模型和多模板匹配技术策略对人耳进行精确定位。实验表明，改进 后的人耳 检测性能得到较 大的提高， 对动静态人耳均能达到准确定位和 检测的效果，消除了部分误检和减轻了检测过程中出现的多框及人耳框选不全等现象，算法的鲁棒性较好。关键词
2、：Adaboost 算法，肤色，多模板匹配Combining Skin-color model and Multi-template Matching for Enhanced Adaboost Ear DetectionDe-kai Liu Heng Liu(School Of Information Engineering, Southwest University of Science and Technology, Mianyang621010, China)Abstract: As a key step of ear recognition, The ear detection im
3、pact directly on the recognition performance. But many problems will be caused by ear detection with traditional algorithm of Adaboost, Such as the long time of training、dependenting on the quality of samples overly. In order to overcome the problems, we introduce the model of YCbCr and the strategi
4、es of multi-template matching to perform ear location accurately under the conditions of insufficient training with Adaboost and the bad position of raw detection. The method that proposed eliminated some false detection of skin-color and the multi-location or the phenomena of incomplete selection.
5、The experiments of practical detection show the performance of the proposed method is kept well and robust sufficiently whether under the static or the dynamic environments for ear detection. And the robustness of the algorithm is better.Keywords: Adaboost algorithm, Skin color, Multi-template match
6、ing.0 引言人耳识别技术是20世纪90年代末开始兴起的一种新颖的生物特征识别技术。研究表明，人耳具有唯一性、普遍性和稳定性 1-2，可用来进行人体生物特征识别。与其它生物特征相比，人耳识别具有一些优势：与人脸识别相比，人耳数据量小，不受表情变化的影响，其结构不随年龄的增长而改变；与虹膜、指纹识别相比，人耳图像的获取不需要专门传感器或高分辨率相机，采用非接触数据采集方式，简单易行。此外，人耳识别也是以非干涉式方式工作。因此，人耳识别具有较高的理论研究价值和实际应用前景。人耳检测(ear detection)作为人耳识别的首要环节，其好坏直接影响着人耳识别的效果。同时，由于人耳是一个复杂的 3
7、D 形体器官，对人耳检测技术的研究具有较普遍的理论共性，其研究成果同样可以应用于其它生物特征的检测和识别上。当前，国内外已经出现利用传统的 Adaboost算法进行人耳检测的工作 3-5。但这种传统做法过于依赖训练样本的数量和质量。若训练样本较多其训练的速度将非常缓慢。若训练样本过少则又会大大降低最后依据其进行检测的性能。本文为弥补传统 Adaboost 算法应用人耳检测时遇到的不足，在分类训练时，先对样本进行预处理以提高样本的质量；再在初步检测人耳后，引进肤色模型和多模板匹配策略，以避免因样本数目少而造成的肤色误检并消除人耳检测过程中出现的多框及框选不全的现象，从而实现人耳的精确检测。这种处
8、理方法不但可改善 Adaboost 算法训练速度缓慢的缺点，还可大大提高了人耳检测的实际性能。 11刘德凯，男，1984.年生，汉，山东省德州市，西南科技大学控制理论与控制工程专业硕士研究生。刘恒，男，1976 年生，汉，四川省遂宁市，上海交通大学博士毕业，西南科技大学副研究员，硕士生导师，研究方向模式识别与计算机视觉。本本文提出的综合肤色模型和多模板匹配技术增强 Adaboost 人耳检测方法框图如图 1 所示。人耳正样本 人耳负样本矩形特征由矩形特征形成弱分类器挑选最优弱分类器利用 A d a b o o s t算法训练强分类器级联分类器视频或图片读入初次定位人耳蓝色框抓取蓝色框内容肤色模
9、型人耳肤色区域多模板匹配输出绿色框NYNY图 1 增强的人耳检测系统流程图1 Adaboost 人耳检测原理1.1 矩形特征（haar-like 特征）矩形特征即Haar- like 特征 6，部分Haar- like特征如下图所示：图 2 部分扩展 Haar-Like 特征由于人耳沟壑起伏，形体特征丰富，可运用Harr-Like 特征来提取人耳局部灰度特性。图 3 应用矩形特征提取人耳图像局部特性实际处理时，使用积分图像 7法计算矩形特征值。课题受 2009 四川省教育厅重点项目(08zd1109)资助。12 Adaboost 算法训练分类器AdaBoost 算法的核心是通过调整样本分布和弱
10、分类器权值,自动地从弱分类器空间中筛选出若干关键的弱分类器,并通过某种方式整合为一个强分类器。Adaboost 算法流程：设样本集 ，myxS,.,1。iYyXxii ,初始化：对每一个 ，yxi。myxDit/1,在迭代次数 T 以内，反复执行1.调用 WeakLearn,作为 WeakLearn 的参数、2.获得基本分类规则 ：X-Yth3. 选择 Rt4.更新：(1)tititit ZxhyxDyep,1此处 是标准化常量，使得 t。Syxiti,1,迭代结束，最终形成的级联分类器为:(2)TttxhsignH1AdaBoost 算法训练所要解决的关键问题就是如何从大量的 Haar 特征
11、中挑选出最优的 Haar 特征并形成分类器用于人耳检测。AdaBoost 算法训练过程就是挑选最优弱分类器，并赋予权重且级联成分类器的过程。关于 Adaboost 算法训练的详细原理请见 8。13 训练样本预处理训练前需要采集得到人耳样本图片并搜集非人耳图片作为负样本。样本采集所用的摄像机为维视公司生产的 MV-VE120SM/SC 型号相机，采集得到原始人耳图片大小为 ：1280*960。人耳负样本是指不包含人耳图像的图片。训练集中部分人耳正样本图像和负样本图像如图 4 所示图 4 正负人耳样本图像为了提高训练样本的质量，以提高分类器训练的速度和分类器的性能，可对人耳正样本图片进行了图像预处
12、理：灰度图像转换、灰度均衡化、中值滤波去噪等。如图 5 所示：原始图像 灰度化 均衡化 中值滤波图 5 人耳样本图像预处理2 综合肤色及多模板匹配的人耳检测2.1 肤色模型大量实验证明，人的肤色色度的变化范围与非肤色（如头发，周围物体）有着较为明显的区别。常用可表达肤色的颜色空间有多种， 如等,我们选用YUVHSYCbrRGB、了 颜色空间 9来检测肤色。 Cbr空间具有色度与亮度分离的特点, 即将 （亮度）, （蓝色色度）和 （红色色度）分离。并且在 色彩空间中肤色的聚类特性比较好, r受亮度变化的影响较小, 能较好地限制肤色分布区域。 与 之间相互转换的坐标对RGBYCb应关系如下：(3)
13、Br0813.47.5.05168429.对于人耳肤色来讲 10，其亮度、色度分别在一个固定的范围之内， 蓝色色度)2,(Y范围和红色色度范围分别为：。)164,38(),12094(Crb本文就是根据肤色与非肤色的色度差异性将肤色模型引入到人耳检测上来。对输入的图像像素点首先进行颜色空间转换, 得到 、 、YCb值,然后进行肤色判断。属于肤色范围的像素Cr点, 则视为肤色区域, 反之则为非肤色区域。将上述原理应用到肤色提取，效果如图 6 所示：图 6 肤色提取效果2.2 多模板匹配技术应用与人耳检测模版匹配 11-12的目的就是从一幅图像（待匹配图像）中找到已知的物体（模板图像） 。人耳检测
14、就是要从侧面人脸图像中找到人耳的具体位置。一般来讲，可以将模板匹配技术分为两类：(1)基于灰度值的方法（2）基于特征提取的方法。基于灰度值的模板匹配方法具有计算简单易行,其数学统计模型以及收敛速度、定位精度、误差估计等均有定量的分析和研究结果等优点。本文在利用模板匹配方法上正是采取此种方法，鉴于归一化互相关算法鲁棒性相对较高的优点，对于人耳的多模板匹配正是采用了 NCC 算法。NCC 算法应用于人耳检测：设待匹配图像为 ，模板为 。则归一化SM自相关系数定义为： 101022,UuVvUuVvxySccxyx(4)式中， 为模板图像的均值， 为在以xy为起点大小为 区域的均值，模板尺yx,UV
15、寸为 。归一化互相关算法就是利用模板图UV像和待匹配图像对应区域的灰度互相关性的大小来检测匹配与否或寻找匹配区域。相关系数越大代表越接近所寻找区域，反之则非寻找区域。为了克服人耳检测过程中单一模板对图像尺寸敏感的缺点，本文引入了多个尺寸（相邻尺寸比为0.618）人耳模板（模板内容来自于人耳训练样本平均）进行人耳检测，以克服直接 Adaboost 人耳定位时的多框现象和框选不足现象，实现人耳的精准定位。每一个尺寸的耳朵模板都用至少 30 个不同的人耳表达求取，可形式化如下：(5)MkjiSjiE1,),(其中， 是用来构建模板的样本个数， 是第k个耳朵图像。图 7 多模板匹配示例3 实验结果分析
16、采用 GAB 类型 Adaboost 在AMD64Processr,2.0GHZ,1.2G 内存的 PC 机上进行训练。训练预设图片尺寸为：24*24。大量样本下Adaboost 算法训练时间：算法 训练级数 正样本 负样本 训练时间GAB 16 4435 4162 9 天减少样本下 Adaboost 算法训练时间：算法 训练级数 正样本 负样本 训练时间GAB 19 1714 1494 1.5 天3.1 动态人耳的检测直接应用传统 Adaboost 算法的训练结果进行动态视频人耳的检测，由图 8 可知效果不理想，容易出现非人耳的误检、多框或者是人耳框选不全。图 8 应用 Aaboost 算法
17、进行人耳检测效果图针对上述出现的问题，应用我们提出的综合肤色模型和多模板匹配技术用于增强 Adaboost 人耳检测。改进后的检测方法提高了人耳检测的训练时间和检测效果。消除了非肤色的干扰以及多框的产生，输出的绿框表明模板应用比较理想。检测效果如图 9 所示：图 9 改进后人耳检测效果图3.2 静态人耳图像的检测我们同时进行了静态图片的人耳检测，从所采集的最初侧面人脸中随机抽取 50 张图片进行检测，检测到 46 张，未被检测到 4 张，检测率达到96%，部分检测到的人耳图片如图 10 所示： 图 10 人耳检测效果 1我们也从网上搜集大量人脸侧面图片进行静态人耳的检测，检测效果较好，部分检测
18、效果如图 11所示：图 11 人耳检测效果 2总的来说，对于可见人耳内容的多姿态或者亮度变化较小情况下的侧面人脸图片或视频，本文提出的方法都能达到较精确定位人耳的效果，而对于个别情况（姿态变化过大以致人耳内容不可见、图片过亮）下的检测效果仍需进一步提高。4 结束语本文针对传统 adaboost 算法应用于人耳检测过程中出现的肤色误检以及多框和框选不全等人耳检测部准确的问题，进行了详细研究，并提出了综合肤色模型和多模板匹配策略的改进方法。在分类器训练阶段，可减少人耳样本总数但需增加多姿态人耳样本的比例，并且需对人耳正样本进行了灰度均衡、中值滤波等预处理工作。实验结果表明，训练样本的减少大大缩短了
19、分类器训练的时间。而肤色模型及多模板匹配技术的引进消除了传统 Adaboost 算法在样本过少及训练不足时易出现的人耳检测错误。在进行动态人耳检测过程时，本文提出方法的检测速度有较小幅度的降低，主要原因在于多模板匹配较为耗时。因此，如何在动态环境下进一步提高检测速度和精度将是未来工作的研究重点。参考文献1 A. Iannarelli. Ear Identication. Forensic Identication Series. Paramount Publishing Company, Fremont, California, 1989.2 刘恒，张大鹏。3D 及多视人耳识别关键技术研究。上
20、海交通大学工学博士学位论文。April, 2008。3 S.M.S. IslamM. Bennamoun .Davies。Fast and Fully Automatic Ear Detection Using Cascaded AdaBoost。December 4, 2008 。IEEE4 张惟 , 穆志纯, 袁立. 基于改进AdaBoost 算法的人耳检测与跟踪.中国图象图形学报J.2007,02(2):222-227.5 张岗亭，杨全等两种Adaboost方法在人脸检测中的J 微计算机信息2009，8-3 ：246-2476 Lienhart, R. and Maydt , J, An
21、 extended set of Haar-like features for rapid object detection, ICIP02, pp. I: 900-903, 20027 Messom , C.H. and Barczak, A .L.C, Fast and Efficient Rotated Haar-like Features Using Rotated Integral Images, Australian Conference on Robotics and Automation (ACRA2006), pp. 1-6, 20068 R. Schapire and Y.
22、 Singer. Improved boosting algorithmsusing condence-rated predictions. Mach. Learn., Vol. 37,No. 3:297336, 19999韩鸿哲，王志良，刘冀伟，李彬，韩忠涛基于自适应背景模型的实时人体检测北京科技大学学报，2003，25(4)10 )王敏,穆志纯,徐正光,席德春. 基于肤色模型的人耳检测系统. 微计算机信息(测控自动化)2005年第21卷第8-1期.11 丁险峰 ,吴洪,张宏江,马颂德.形状匹配综述. 中国科学院白动化研究所模式识别国家重点实验室北京,微软中国研究院北京.自动化学报.Vol. 27, N. 5, Sept,2001.12Raj pal Navy. Cadbury Stanton, Bannered Sunhats, Recognition of partially occluded objects sign Euryale work based indexing. Pattern Recognition, 1999, 32.1737-1749作者联系方式：刘德凯 Email:liuhdekai_电话：15983628320刘恒 Eail: 电话：13668330764西南科技大学信息工程学院模式识别与图像处理研究室（东6A506室） ，邮编：621010。
