1、基于 MB-LBP 人脸检测算法张伦，楚如峰，向世明，廖胜才，斯坦李生物识别与安全技术研究中心，中国科学院自动化模式识别研究所，国家重点实验室摘要通过使用基于 AdaBoost 学习算法的矩阵 Haar-like 特征方法，有效和实时脸部检测已经成为可能。在本文中，我们介绍了一组新的独特的人脸检测矩阵特征方法，称为多块局部二值模式（MB-LBP）。通过局部二进制模式操作，MB-LBP 将矩阵区域编码成强度，得到的二值模式可以描述图像的多种局部结构。基于 MB-LBP 特征，研究出了一种基于AdaBoost 学习算法的人脸检测方法。为了处理 MB-LBP 特征的非度量特征值，算法采用多分支回归树
2、作为弱分类。实验表明，基于 MB-LBP 弱分类比 Haar 特征和原始 LBP 特征更加有区别度。鉴于相同的许多特征，在一个给定的 0.001 误报率下，所提出的人脸检测比haar-like 特征高 15的正确率，比原始 LBP 特征高 8的正确率。这表明，MB-LBP 特征可以捕获更多的图像结构信息，同时在简单地测量矩阵之间的差异下，比传统 haar-like 特征有更突出的性能。MB-LBP 特征的另一优点是其较小的特征集，这使得训练时间要少得多。1 引言人脸检测具有广泛的应用，例如自动人脸识别，人机交互，监控等。在最近几年，出现了基于脸部外观检测方案一个实质性的进展。这些方法解决的人脸
3、检测作为两类（人脸/非人脸）的分类的问题。由于人脸外观，光照，表情和其它因素的变化，具有良好的性能的人脸/非人脸分类器应该是非常复杂的。用于构造人脸/非人脸分类的最有效的方法是基于学习的方法。例如，基于神经网络的方法，支持向量机制等。最近，由 Viola 和 Jones 提出的基于 Boosting 算法的检测被认为是在人脸检测的研究的一个突破。实时性能是通过学习一个简单的 Haar-like 矩阵特征的序列来实现。Haar-like 特征编码在两个矩阵区域之间的平均强度的差异，并且可以迅速地通过积分图像进行计算。完整的 Haar-like 特征集大且包含冗余信息的质量。Boosting 算法
4、被引入到选择少数独特的矩阵特征，构建一个功能强大的分类器。此外，使用级联结构进一步加快的计算。李等人用一系列扩展的 Haar 特征多视图人脸，并改进的 Boosting 算法。但是，这些 Haar-like 矩阵特征显得过于简单，并且检测器通常含有成千上万的矩阵特征影响了相当大的性能。大量的选择特征，无论是在训练和测试阶段，导致了较高的计算成本。特别是，在级联的后期阶段，基于这些特征的弱分类器变得太弱以至于无法提高分类性能。提出了其他许多功能来代表面部图像，包括旋转 Haar-like 特征，人口普查变换，稀疏特征等。在本文中，我们提出了一个新的独特的特征，被称为多块局部二进制模式（MB-LB
5、P）特征，用来表示人脸图像。 MB-LBP 的基本思想是通过局部二元模式操作器进行编码的矩形区域。MB-LBP 特征也可以通过积分图像迅速计算，相比 Harr-like 特征而言，MB-LBP 特征能够捕获更多的图像结构信息，并表现出更鲜明的性能。与局部二元模式相比，在像素之间的局部 33 的邻域计算方面，MB-LBP 特征可以捕捉大尺度结构，这些结构可能是图像结构的主要特征。我们直接使用原始 LBP 算的输出作为特征值。但一个问题是，该值仅仅是一个用于表示二进制字符串符号。对于这种非十进制特征值，多分支回归树被设计为弱分类器。我们实现的特征选择和分类解释的 Gentle Adaboost 算
6、法。然后建造一个级联探测器。MB-LBP 的另一优点是详尽组 MB-LBP 特征的数量比 Haar-like 特征小得多（尺寸为2020 的子窗口 Haar-like 特征的约 1/20）。基于 Boosting 算法方法用 Adaboost 算法，从较大的、完整的特征集合中选择出一个明显的特征集合。这个过程往往花费很多时间，甚至数周。MB-LBP 的较小的特征集合可以让这个过程更加简单。本文的其余部分安排如下。第 2 节介绍了 MB-LBP 特征。在第 3 节中，讲述了基于AdaBoost 学习算法的特征以及分类解释。级联探测器也在本节所述。实验结果在第 4 给出第 5 节总结本文。2 多块
7、局部二元模式特征传统 Haar-like 矩阵特征测量矩形区域（参见图 1）的平均强度之差。例如，一个双矩形滤波器的值是两个矩形区域内的像素的总和之间的差。如果我们改变的位置，大小，形状和矩形区域的布置中，Haar-like 特征可以捕获在不同的位置，空间频率和方向的强度梯度。 Viola 和 Jones 采用 3 种这些特征用于检测正面人脸。通过使用积分图像，任何矩形滤波器类型，在任何规模或位置，可以在固定的时间进行评估。然而，Haar 特征显得过于简单，显示出一定的局限性。(图 1)传统的 Haar 特征这些特性测量矩形区域的平均强度之间的差异(图 2)多块 LBP 特征的图像表示如该图所
8、示，MB-LBP 特征通过局部二进制模式进行编码的矩形区域的强度。由此产生的二进制模式可以描述不同的图像结构。与像素之间的局部 33 的邻域计算原局部二元模式相比，MB-LBP 可以捕捉大尺度结构。在本文中，我们提出了一个新的独特的矩阵特征，称为多块局部二元模式（MB-LBP）特征。 MB-LBP 的基本思想是，在 Haar-like 特征的简单差规则被改变为通过局部二元模式操作者进行编码的矩形区域。原始 LBP 算法，由 Ojala 提出，通过阈值与中心像素的值的33 邻域象素值对于每个像素定义。来编码的矩阵，所述 MB-LBP 算由中央矩形平均强度G c。与那些其附近的矩形g0，.，g8
9、的比较来定义。通过这种方式，它可以给我们一个二进制序列。可以如下得到的 MB-LBP 算的输出值： iicigsLBPM2)(81其中 gc 是中心矩形的平均强度，gi （i =0，.，8）是那些其附近的矩阵，0,)(xifxs这样的 MB-LBP 算的更详细的说明可以在图 2 中找到。我们直接使用生成的二进制模式为 MB-LBP 特征的特征值。这样的二进制图案可以检测多种图象结构，例如边缘，线，斑点，平坦区域和角落，在不同的尺度和位置。局部二进制与像素之间的局部 33 的邻域计算最初的局部二元模式相比， MB-LBP 可以捕捉可能是图像的主要特征大规模的结构。总体上，我们可以得到 256 种
10、二进制模式，其中一些可以在图 3 中发现，在 4.1 节中，我们进行一项实验，用来评估 MB-LBP 特征。实验结果表明，MB-LBP 功能比 Haar 特征和最初的原始 LBP 特征更加鲜明。图 3、MB-LBP 特征值随机选择的子集。MB-LBP 的另一优点是 MB-LBP 特征的详尽的数量集合（以不同比例，位置和纵横比的矩形）比 Haar-lke 特征小得多。鉴于 2020 子窗口的大小，总共有 2049 MB-LBP 特征，这一数额大约 1/20 的 Haar 特征（ 45891）。人们通常使用 Adaboost 算法，从全部的特征的集合中选择出显著的特征，构建二元分类。由于大量的 H
11、aar-like 特征集合，训练过程通常花费太多的时间。少量的 MB-LBP 特征集合使得特征选择的实施显著容易。它应当强调的是的 MB-LBP 特征值为非十进制。原始 LBP 操作器的输出仅仅是代表二进制串的符号。在下一节中，我们将介绍如何设计基于 MB-LBP 特征的弱分类，并应用Adaboost 算法选择显著的特点，构建分类。3 特征选择和分类器构造尽管 MB-LBP 特征的特征集比 Haar 特征小得多，它也含有大量的冗余信息。在AdaBoost 算法被用来选择显著功能和构造的二元分类器。这里，AdaBoost 算法被采用以解决在一以下三个基本问题提升程序：（1）学习有效特征从大的功能
12、集，（ 2）构建弱分类器，其中每一个是基于所选择的特征之一，（3 ）提升弱分类成强分类。3.1 AdaBoost 的学习我们选择使用 Boosting 算法中的 Gentle Adaboost 算法，由于它是简单的实现和数值鲁棒性的版本。给定一组的训练实例如（X 1，Y1），.，（ X N，Y N)，其中 Y I+ 1，-1是该例子的类标号 X IR N。推进学习提供了一个连续的过程，以适应形式的加模型,这里 的通常被称为弱学习，和 F（ x）时称为强学习者。Gentle MmxfF1)(fmAdaboost 算法使用最小化成本函数自适应牛顿步骤： ,其对应于在每一步最xyFeEJ小化的加权平
13、方误差。1、 从权重开始 0,.2,1xFNiwi2、 重复 Mm,.(a)用加权最小二乘法拟合出回归函数。(b)更新 )()(xfFxm(c)更新 并归一化)(iifyiew3、输出分类 )(1Mmxfsgnx表 1、Gentle AdaBoost 算法在每个步骤中，弱分类 的选择，以最小化的加权平方误差：xfmNi iiwsefyJ12)(3.2 弱分类这是常见的定义弱学习者 的是最佳的阈值分类功能，它通常被称为一个树桩。xfm然而，它在第 2 部分中表明的 MB-LBP 特征值为非十进制。因此，它不可能使用基于阈值的功能作为弱学习。在这里，我们描述了如何设计弱分类器。对于每个 MB-LB
14、P 特征，我们采用多分支树作为弱分类器。多支树共 256 个分支，每个分支反映了离散的 MB-LBP 特征。弱分类可以被定义为： 25,.,.0,)(25kkjkmxaxaf其中， 表示特征矢量 x 的第 k 个元素，并且 中，j=0，.，255，要了解到回归参数。k ja这些薄弱的学习者通常被称为决定或回归树。我们能找到的最好的基于树的弱分类（参数k，第 j 用最小平方加权误差恶趣。（2 ），就像我们会学会在一个节点。恶趣回归 tree.The 最小化（ 2）给出了以下参数：ikiij jxwya)(由于每个弱学习取决于单一特征，一个特征是在每个 step.In 测试阶段选择，给定一个 MB
15、-LBP 特性，我们可以通过这样的多分支树快速得到相应的回归值。这个功能类似于查找表（LUT）弱分类为类 Haar 特征，所不同的是，LUT 的分类给出实值域的分区。4 实验在本节中，我们进行了两个实验，以评估建议的方法。 （1）比较 MB-LBP 特征与Haar 特征和原始 LBP 特征。（2）评估对 CMU+ MIT 人脸数据库所提出的检测器。总共 10,000 面部图像是从不同的来源收集，覆盖在-30，30的范围外的平面和在计划的旋转。对于每一个对准的面的例子，是由以下的随机变换产生 4 合成面的例子：镜像，随机移位至+1/ -1 的像素，在平面内旋转 15 度之内，20 的变化内结垢。
16、那么面对例子进行裁剪和重新调整为 2020 像素。完全，我们得到了一组 40000 脸上例子。超过 20000不包含脸部放大图用于收集非面部样本。4.1 特征比较在这一节中，我们比较 MB-LBP 特征与 Haar-like 矩阵特征和原始 LBP 特征的性能。在实验中，我们使用 26000 脸样本，并将它们随机分至两个同样部分，一个用于训练，另一个用于检测。非面部样本被随机地从其中不包含脸部放大图收集。我们的训练集包含13000 脸样本 13,000 非面部样本，并且测试集包含 13000 脸样本和 50,000 个非人脸样本。基于 AdaBoost 的学习框架，三 Boosting 分类器
17、的训练。他们每个人都包含所选的 50 Haar 特征，传统的原始 LBP 特点和 MB-LBP 功能，分别为。然后，他们在测试集评估。图4（ a）示出了错误率（平均的误报率和错误拒绝率），为的训练过程中所选择的特征的数量的函数的曲线。我们可以看到对应于 MB-LBP 特征具有最低误差率的曲线。这表明帽子基于 MB-LBP 特征的弱分类比较判别。三个分类子测试集可以在图 4 中找到（二）。它表明在给定的误报率在 0.001，分类器根据 MB-LBP 的 ROC 曲线设有怎么样了 15的较高正确率(图 4)与 MB-LBP 特征比较结果，Haar-like 特征和原始 LBP 特征。(a)中的曲线
18、表示了错误率的在训练过程中所选择的特征数。(b)中 ROC 曲线显示了在测试集合中的三个分类分类器性能。比原始 LBP 功能提高 8。上述所有显示独特的 MB-LBP功能。这主要是由于对 MB-LBP 特征可以捕获关于图像的结构的详细信息。4.2 CMU+ MIT 面集实验结果我们基于 MB-LBP 特征训练了一个级联人脸检测器，并在 MIT+ CMU 的广泛用于评估人脸检测算法性能的数据库中测试了它。这组由标记了 507 个正面人脸的 130 张图片，用于训练面部检测器，所有收集的使用 40000 脸样本，引导策略也用于重新收集非人脸样本。我们训练有素检测器具有 9 层，包括 470 MB-
19、LBP 特征，与 Viola 的级联检测器具有 32 层和 4297 层特征相比，我们的 MB-LBP 特征更有效。从结果来看，我们可以看到，我们的方法在更少的特征上得到了相当的性能。我们对一张 320240 图象检测器的处理时间小于0.1 秒一个 P4 3.0GHz 的 PC 机上。错误率 6 10 21 31 57 78 136 167 293 422MP-LBP 80.1% 85.6% 90.7% 91.9% 93.5% LBP 78.3% 85.2% 90.1% 91.8% 93.7%表 2、在 MIT+CMU 实验结果集。图 5、在 MIT+CMU 一些检测结果集5。结论在本文中，我
20、们提出了多块局部二元模式（MB-LBP）作为描述人脸检测功能。基于助力器实现。旨在的 MB-LBP 特征的非十进制特征值，多分支回归树适于构造弱分类。首先，这些功能可以捕获大约比传统 Haar 特征图像结构更的详细信息，并显示更鲜明的表现。第二，完成功能设置较少的功能号码，使培训过程更加容易。在我们的实验中，示出了在给定的误报率 0.001，MB-LBP 示出高 15正确率比 Haar-like 特征和比原始 LBP 特征提高8。此外，我们的人脸检测器在 CMU + MIT 数据库较少的特征可以获取可观的性能。致谢这项工作是部分由以下资金支持：中国国家自然科学科学基金项目60518002，中国国家 Scienceand 技术支撑平台项目2006BAK08B06，中国国家 863 计划项目2006AA01Z192 和2006AA01Z193，而中国的院院士科学 100 人的项目，认证介绍公制Co.Ltd。
