1、I摘 要伴随着移动科技的快速发展，移动设备上的身份识别技术正变得越来越重要。在本文中，我们提出了一种新型的生物识别认证方法，该方法针对非限定性的光照环境、较少约束的摆放姿态和低质量的样本图像采集都具有良好的鲁棒性。这样的鲁棒性对于通常装备消费级摄像头的移动设备上的应用来说具有极其重要的意义。在本文中，我们通过以下两个方面来实现这样的鲁棒性：首先我们采用的是内指横纹生物特征来进行识别，这种新兴的生物特征具有线条结构简单、容易提取且不易受到周围皮肤上其他生物特征干扰的特点，这样的特点使得对它的特征提取非常有潜力实现光照变化和姿态变化的鲁棒性。然后我们又提出了一种新型的特征提取以及描述的方法，该方法
2、基于图谱分析理论 1和标准化分割方法 23，可以更好地突出内指横纹主结构的特征，从而克服光照变化带来的影响。与此同时，通过我们提出的新型上下文结构特征描述算子，该方法实现了对形变恰当的容忍。据我们所知，我们的工作是最早研究低分辨率手部图像生物特征针对光照不变性的研究，当前已有的工作通常是基于光照环境被限定的假设，因此往往缺乏相应的鲁棒性。实验表明，我们的方法相比现有流行的方法在匹配准确率上表现更佳，在非限定性的光照环境下尤为明显。关键词: 内指横纹； 生物识别； 光照变化鲁棒性； 形变容忍性IIAbstractWith the rapid development of mobile techn
3、ology, identity recognition on portable devices has become more and more important. In this paper, we propose a novel biometric recognition method which is robust enough to operate under uncontrolled illumination, less constrained posture, and low image quality. Such robustness is crucial for its ap
4、plication on portable devices equipped with consumer-level cameras. We tackle this problem in two aspects. Firstly, we propose to identify the inner knuckle print (IKP) biometric feature, as its simple base geometry, as well as its simple structure in the feature. At the same time, it is hardly infl
5、uenced by other biometric feature around itself. This character makes it more promising to reduce the influence of illumination and postures. Secondly, we propose a novel feature map based on spectrum analysis1 and N-cut theory23, which highlights the main structure of IKP to overcome the influence
6、of variant illumination. Meanwhile we propose a context-based structure descriptor which could endure more deformations. To the best of our knowledge, our work is the first attempt to study the illumination invariance for the appearance-based low resolution hand biometrics. Previous work made assump
7、tion on the illumination conditions and hence less robust. Experimental results demonstrate that our method outperforms the state-of-the-art methods in terms of recognition accuracy, especially under uncontrolled lighting conditions.Keyword：IKP；Biometric recognition；Variant illumination robustness；D
8、eformation robustnessIII目录摘 要 .IAbstract II第一章 绪论.11.1 研究背景及意义11.2 生物特征国内外研究历史与现状31.3 内指横纹及类似生物特征的相关技术51.3.1 基于掌纹的生物特征研究.51.3.2 基于外指横纹的生物特征研究.71.3.3 基于内指横纹的生物特征研究.81.4 本文的主要工作及章节结构.101.4.1 本文的主要工作.101.4.2 本文的章节结构.11第二章 内指横纹样本感兴趣区域提取.132.1 引言.132.2 基于高斯混合模型的皮肤区域提取132.2.1 均值漂移聚类.132.2.2 高斯混合模型.152.2.3
9、 皮肤模型.162.3 基于几何特性的手指定位172.4 基于雷顿投影的内指横纹感兴趣区域定位172.5 本章小结18第三章 具有光照鲁棒性的内指横纹生物特征提取.193.1 引言.193.2 当前流行的脊结构特征提取方法对比193.2.1 局部二值模式编码.203.2.2 Gabor 滤波器和竞争编码 .203.2.3 相位一致性特征.22IV3.3 基于标准化分割和谱图理论的特征提取233.3.1 标准化分割.233.3.2 图谱分析.253.4 基于经验模型的优化263.5 本章小结28第四章 具有形变容忍性的内指横纹生物特征相似度衡量.294.1 引言.294.2 特征微调294.3
10、上下文结构特征描述304.4 特征匹配314.5 本章小结32第五章 实验.345.1 引言345.2 内指横纹样本数据库和评测方法345.3 与现有的几种方法比较365.3.1 在数据库 DB-1 上的实验 375.3.2 在数据库 DB-2 上的实验 385.3.3 性能分析.405.4 阈值选取415.5 鲁棒性检验435.5.1 环境光照变化鲁棒性检验.435.5.2 姿态与视点变化鲁棒性检验455.6 本章小结47总结与展望.48参考文献.51攻读硕士学位期间取得的研究成果.55第一章 绪论1第一章 绪论1.1 研究背景及意义随着智能手机、平板电脑等移动设备的兴起与普及，我们在这些移
11、动设备上处理业务也越来越频繁，对移动应用安全性的要求也越来越高。传统的加密方法通常以各种密码解锁或者生物特征解锁为主，然而密码并不具有唯一性，而且容易被遗忘、破解或窃取，而且复杂的密码输入的过程也使人很不愉快，导致用户体验不佳，因此采用密码来处理机密事物并不是一种十分理想的选择；基于生物特征的加密技术则很大程度上克服了密码加密的弱点，成为近年来业界研究的重点方向。生物特征往往具有唯一性和非易失性，不需要记忆，但相比密码技术，生物特征并不能直接用来加密，需要先对生物特征进行复杂的提取工作，而且往往需要特殊的采集设备，认证精度通常也会受到采集环境的影响，因而该领域的研究与应用还不成熟，尚处于发展阶
12、段，但市场需求迫切，研究空间广阔，意义重大。目前已经成熟的生物识别技术几乎都依赖于特殊采集设备，使得采集数据在各种光照、姿态、背景和视点等环境因素下保持高度一致性。这些采集设备通常体积较大，不利于装置在移动设备上工作，或者价格昂贵，不利于推广，因此往往仅能用于专业领域，难以向民用领域普及。而一般移动设备上配置的采集设备，例如摄像头、麦克风、触摸屏、键盘、红外和蓝牙等设备所能采集到的信息，如图像、声音、笔迹等特征或行为，或者难以提取分离，或者识别精度不高，或者易被模仿或攻击，目前都难以作为可靠的生物特征进行身份认证。在上述移动设备便于采集的信息中，图像信息包含最多的生物特征，也比较利于提取，同时
13、计算机图像处理、生物模式识别技术发展时间已经有数十年，有较为深厚的技术积累 ，比较容易作为基于移动设备的生物特征识别技术的突破方向。当前，影响基于图像技术的生物特征识别的效果的因素主要来自于三个方面：图像的采集效果、生物特征的提取效果和特征之间的匹配效果。而选择易于采集和提取的生物特征是成功的先决条件。目前国际上已经提出的人体生物特征识别技术种类繁多，表 1-1 列出了常见的生物识别技术和他们的比较：华南理工大学硕士学位论文2表 1-1 各种人体生物特征的比较生物特征 采集设备 识别精度 易接受性 受欺骗性 普遍性DNA 专业设备 高 低 低 高虹膜 专业设备 高 低 低 高视网膜 专业设备
14、高 低 低 高指纹 专业设备 高 中 中 中掌纹 专业设备 高 中 中 中外指横纹 专业设备 高 中 中 中内指横纹 专业设备 高 中 中 中手静脉血管 专业设备 中 中 低 中手形 专业设备 中 中 中 中面热辐射 专业设备 中 高 低 高体味 专业设备 低 中 低 高耳廓 普通摄像头 中 高 中 中人脸 普通摄像头 低 高 高 高步态 普通摄像头 低 高 中 中声音 麦克风 低 高 高 高签名 触摸屏 低 高 高 高击键打字 键盘 低 中 中 中表 1-1 的数据来自文献 456，从中可以看到，具有高度独立性，且精度高的生物特征，如 DNA、虹膜和视网膜等，通常需要复杂的采集设备，有的特征
15、采集时间还比较久，检验成本高，不利于大规模推广；有的生物特征，如体味、步态等，独立性较差，容易受到欺骗，安全性较低，以目前的技术手段还不能用于高精度的生物识别；当前民用领域研究的热点是那些具有较高识别精度，同时易于提取的生物特征，如指纹、掌纹、内指横纹和外指横纹等等。其中指纹技术已经研究了几十年，现在已经广泛用于犯罪现场取证，高级身份识别等场合，这些应用通常采用了扫描式采集设备或者物理化学设备进行指纹提取，精度很高但价格昂贵；民用领域指纹技术也已经开始第一章 绪论3推广，苹果公司已经率先在其手机上提供接触式指纹识别系统，该系统具有识别速度快，精度较高的特点，深受用户喜爱，但也由于成本原因难以普
16、及。与指纹技术类似，掌纹技术在近 20 年来也有了长足的发展。掌纹具有特征区域面积大，提供信息量大的优势，同时也具有与指纹类似的缺点，即与皮肤颜色相比对比度小，提取时通常需要借助接触式设备，难以直接利用摄像头等非接触式设备进行采集。内外指横纹生物特征比较类似，具有比指纹和掌纹更高的对比度，因而更适合直接利用普通摄像头进行采集。当前对外指横纹的研究较多，很多方法都借鉴了掌纹识别的一些技术，然而由于外指横纹以褶皱的形式覆盖在手指外关节部位，非常容易受到手指弯曲导致的形变干扰，与此同时，由于手指是近似圆柱体，同时受视点位置的影响，从上方直接拍摄的外指横纹样本会有一部分被遮挡，影响特征提取的效果。而内
17、指横纹具有更多优势，它均匀分布在手指内侧的关节，没有褶皱，手指微微弯曲后形变较小，同时特征线条比较简单，对比度高，易于提取。因此，采用内指横纹生物特征进行移动身份认证具有较为广阔的发展前景。然而目前主要存在的技术难点在于移动设备的采集环境是不确定的，而移动设备的摄像头良莠不齐导致采集图像质量不稳定，采集后数据处理性能也难以预料。而最主要的两个问题是环境光照条件的变化和拍摄时视点变化与手部形变，系统能否对这两个问题具有较强的鲁棒性将直接决定生物识别的准确性。因此本文工作的研究重点就在这两个方向上。1.2 生物特征国内外研究历史与现状伴随着计算机技术的不断发展和进步，自动生物识别技术逐渐发展起来，
18、有大约二三十年的历史。然而生物模式识别的概念却从古至今发展了数千年，在古代就已经开始利用按手印、签字画押等方法作为凭证，近代也有用婴儿脚印等方法来验明身份，这些依靠人来主观判断和验证的生物模式识别方法误差很大。伴随着工业革命与社会生产力的释放，人口激增，商业行为大幅增加，原有的根据个人主观判断和经验主义的身份验证方法已经无法满足需求。1858 年印度率先采用手掌印来区分雇员，这是有记录以来世界上第一次大规模采集手部生物特征进行身份认证。华南理工大学硕士学位论文41896 年英国出现了世界上第一个指纹分类检索系统，随后又建立了英国指纹档案系统。1903 年指纹识别系统在纽约州的监狱中开始使用。1
19、965 年开始有学者发表论文研究人脸识别，同时在 20 世纪 60 年代开始出现半自动人脸识别系统，然而这个系统并不完善，需要手动标注人脸的主要部位，如眼睛、耳朵、鼻子和嘴等特征位置，然后利用这些特征之间的距离作为特征进行匹配。1974 年第一个基于手形识别的商用门禁系统出现。1976 年出现了第一个语音识别系统。之后在 20 世纪 80 年代开始语音识别和处理技术开始被广泛研究与推广。1977 年首次出现了动态签字压力检测系统，开辟了数字化签名的发展方向。1986 年 Leonard Flom 和 Aran Safir 率先进行了虹膜识别的可行性研究， “虹膜可被用于身份识别” 被授予了美国
20、国家专利。1994 年 John Daugman 开发了世界上第一个获得专利的虹膜识别算法，并为以后的虹膜识别技术奠定了基础。1994 年，第一个支持掌纹识别的自动指纹识别系统建立。近年来，指横纹的生物识别技术开始发展，其中外指横纹研究开始较早，大量借鉴了掌纹识别的技术，并结合指横纹独有的特点，已经在某些场合开始商用。其中香港理工大学的张大鹏教授的团队在这个领域做了非常多的工作，他们从传统的掌纹技术开始进行探索，之后扩展到外指横纹技术，研发了多种算法，取得了丰硕的成果。而内指横纹研究工作目前非常少，在当前国际重要期刊和会议上鲜有相关论文发表。虽然内外指横纹具有非常多相似的特点，但并不能直接套用
21、相同算法，相对而言内指横纹的提取和匹配比外指横纹更简单，具有很高的研究空间和价值。当前国内外绝大多数生物特征识别技术都需要特殊采集设备来进行特征提取，这样做的优点是特征提取准确度很高，当需要数据处理的时候可以专门为之开发相应硬件，针对算法实现硬件加速使得处理速度更快；缺点是通用性较差，成本高，可能需要专业技术人员操作，不利于推广和普及。近年来随着智能手机、平板电脑等移动设备快速发展，人手一台甚至数台移动设备已经成为现实，而数字化革命促使无纸办公、移动互联、云计算等概念快速生根发芽，也极大增加了数据安全与身份认证的需求。第一章 绪论51.3 内指横纹及类似生物特征的相关技术目前，国内外针对内指横
22、纹生物特征的研究工作尚处于起步阶段，然而由于内指横纹和掌纹、外指横纹等生物特征都属于脊结构特征，因此相关领域的工作也可以被用来做参考对比。图 1-1 对比了这三种生物特征。图 1-1 掌纹、内指横纹和外指横纹三种脊结构生物特征对比1.3.1 基于掌纹的生物特征研究掌纹是一种研究较早的生物特征，如图 1-1（a）所示，掌纹具有特征面积大，线条多，层次丰富的特点，非常适合用来做生物特征分析和认证。掌纹图像中拥有许多独特的特征可以用来区分样本之间的差异，其中最常用的特征包括主线条（中国人常说的智慧线、生命线和感情线） 、褶皱线（wrinkles ） 、脊线（ridges ） 、细节点（minutia
23、e points） 、奇异点（ singular points）和纹理等 7。这些特征大小不一，需要在不同的分辨率图像中提取，例如细节点、奇异点等很小的特征需要很高的扫描分辨率（通常需要大于 400dpi） 8，这些特征信息非常丰富，可以达到很高的匹配识别精度。而另外一些特征，例如主线条和褶皱线等（称为脊结构特征） ，往往比较明显，完全可以在更低的分辨率（如 100dpi）采集环境下获得 7。目前民用的移动设备显然不具有高分辨率扫描组件，并不能有效提取细节点、奇异点等特征，实际上，目前单反相机的分辨率通常是 300dpi，装置在移动设备上的摄像头虽然也可以达到这个分辨率，但是在感光元件尺寸、噪
24、声抑制、快门速度和图像质量上与单反相机相距甚远，因而实际有效分辨率应该小于 150dpi，因而基于脊结构特征进行识别和匹配更为有效，同时计算消耗也更小，速度更快，效率更高。华南理工大学硕士学位论文6目前基于掌纹的匹配的工作较多。由于脊结构所含信息较少，常常和指横纹一起提取来进行匹配。Sun 等 9提出了序数编码（Ordinal Code）的方法为掌纹进行方向编码，这种方法利用高斯核分别对某一方向和与它垂直的方向进行滤波，将两次滤波结果的能量值相减用来表现该区域这一方向的响应，通过比较多个方向的滤波结果来获得主方向进行编码。Slobodan 和 Ivan10利用主成分分析（ PCA）的方法提取特
25、征向量，Morales 等 11利用尺度不变特征变换匹配算法（ SIFT）和正交直线序数特征匹配算法（OLOF ）来寻找待匹配的特征点。 Methani 等 12通过计算单应矩阵（Homography Matrix）来校准待匹配图像的对应位置，这种方法对手部姿态具有较好的不变性，可以解决平移、旋转的问题。Goh 等 13利用 Sobel 算子提取四个方向的纹理信息来获得特征向量，然而 Sobel 算子只是简单提取了方向信息，得到的特征图丢失了较多信息。Zhang 等 14151617提出了一系列基于 Gabor 滤波和竞争编码（Competitive Code）的方法来获得特征向量，取得了不错
26、的效果： 14首先提出了利用 Gabor 滤波的实部和虚部信息对掌纹图像进行编码和匹配， 16提出了竞争编码方案，为之后很多基于此方法的编码算法奠定了基础， 15提出了鲁棒线方向编码 (RLOC)方式，利用了改进的有限雷顿变换(MFRAT)统计方向信息，此方法对光照变化有较强的鲁棒性, 17提出了多尺度竞争编码掌纹特征描述方法，该方法利用多尺度下稀疏编码和卷积的方法改善了编码准确度。总体而言，上述方法的研究对象都是掌纹脊结构，因此它们的研究方法与内指横纹的研究方法具有相似的应用环境，很大程度上可以通用，然而由于上述方法通常采用非接触式采集设备（如普通照相机等） ，获得较低分辨率的样本，这种情况
27、下点特征难以被提取，因此不适用于较高安全要求的情况。竞争编码的方法跟序数编码非常相似，实验结果表明他们的效果也非常接近，也跟序数编码存在同样的问题。近年来利用高分辨率扫描设备或接触式设备提取掌纹进行匹配的技术受到了较多重视。Dai 和Zhou 等 18提出利用掌纹多种特征(脊线、特征点和褶皱线等)相结合的方法来进行匹配，其核心思想是利用方向场来表征掌纹脊特征，再结合特征点（掌纹细纹线上的某些断点，可以被识别出来）位置和主线条特征来进行匹配， 19在 18基础上增加了形变和位移矫正的工作，提高了算法鲁棒性，然而由于掌纹的线条较多，且具有各个方向的多样性，所以比较适合利用方向场作为特征进行匹配，而
28、对于内指横纹的线条，方向比较单一（多数都是垂直的） ，且线条数量比较少，所以包含方向场的信息量较少，且很第一章 绪论7多指横纹都比较相似，因此不适合用作特征进行匹配；Liu 等 20提出了基于掌纹特征点的特征识别匹配方案，同样的，内指横纹并不具有丰富的断点可以作为特征，因此也不适合。这些工作采集的样本完全不受光照影响，变形量也很小，特征丰富，匹配精度极其高，然而对于我们的情况而言，并没有这样高精度的采集设备，所以必须优先考虑对光照和形变的鲁棒性。1.3.2 基于外指横纹的生物特征研究目前对外指横纹的研究工作比较多，不过由于外指横纹具有凸出的褶皱（如图 1-1（c）所示） ，所以不利于采集样本，
29、因此很多工作都是利用特殊的采集设备进行的。Zhang 等 621222324采用了一套专门设计的采集设备，可以得到完全一致的光线环境，采集时手指需要弯曲，使外指横纹周围褶皱完全展平，可以得到极好的样本图像。其中 6利用 Gabor 滤波技术提取样本图像上每一点的方向和强度信息作为特征，通过求样本特征向量之间的距离来衡量样本的相似程度，可以获得不错的匹配效果。而后在 21他们又提出了局部全局信息结合编码（LGIC）算法，在原来的基础上整合了基于全局的带宽截断单相位相关（BLPOC ）匹配，之后在 23中又改进了 LGIC（即 LGIC2） ，在原有的基础上增加了相位一致性编码和相位编码，这些方法
30、既包含局部结构信息，又考虑了全局的结构信息，增强了适应性，提高了匹配成功率。而 24改变了之前的思路，融合了多种图像重构方式对外指横纹样本图进行预处理，再利用之前的方法进行匹配，然后利用二值分层融合（Binary Score Level Fusion）技术，在降低了样本之间距离的同时抑制了错误匹配距离的降低，通过这种方式降低了等错误率（EER）的值。这些方法将方向和能量信息分别提取，并作为独立的特征单独进行匹配，同时将多种局部或全局的特征做了加权求和，但是，这些不同的特征之间没有什么直接关系，对整体影响也不尽相同，简单进行线性叠加有不合理之处。同时这些方法提出利用不同方向能量响应的变化来判断非
31、主结构区域的方向特性，但是结果并不好，因为受光照的影响，有些主结构的边缘区域的对比度会被弱化甚至包含了很多噪点，导致不同方向的能量响应的变化不尽相同，从而导致系统错误地把重要主结构区域判断为非主结构区域。与此相反，还有一些细小的结构，因为光照的影响导致不同方向上产生相对比较强烈的能量响应变化，从而使得系统将这些区域错误判断为重要的主结构区域，匹配结果华南理工大学硕士学位论文8出现较大错误。因此这些方案都还有一定改进空间。在 22中他们采用了 Riesz 变换来为样本编码，同样取得了跟之前的编码方式类似的效果。Morales 等 25也利用 Gabor 滤波提取样本特征，之后利用 SIFT26的
32、方法求特征点并匹配。然而 SIFT 比较适用于具有鲜明线条、角点和结构信息的模式（如建筑、物品等） ，并不适合指横纹这种较为模糊的纹理图形，容易受到噪点的干扰。同时，内指横纹相比外指横纹，线条更加平行，交叉点更少，不利于寻找可靠的特征点，所以不太适用于我们的情况。Cheng 等 T1利用普通手机摄像头采集样本，利用 Log-Gabor 滤波提取特征，利用海明距离来求样本之间的差异，这种方法在拍摄时手指伸直，这就导致褶皱堆积容易产生较大形变，特征提取也仅仅简单进行了编码，难以应对复杂的环境变化。Aoyama 等 T28提出了将样本利用特征点求仿射变换矩阵，从而纠正样本之间的变形，再将样本分成若干
33、小块（block） ，利用 BLPOC 对小块之间进行匹配，他们的样本也采用了香港理工大学的外指横纹数据库。然而对于移动环境的 IKP 采集来讲，样本之间的形变除了仿射变换之外，通常还包括透视变换以及由于肌肉松弛度不同导致的非刚性变形，且样本上的特征点可靠性难以保证，同时 BLPOC 对样本质量要求较高，容易受到上述变形的影响，因此利用一种对形变容忍性更强的匹配方式对于我们的情况来说往往更有效。Gao 等29将 Gabor 滤波后的各个方向响应值进行了量化以及局部二值模式（LBP） 30编码量化，通过这种方式以样本各方向响应强度以及纹理特征作为区分各样本之间的特征，这种方式克服了竞争编码只考虑
34、最强方向特征的弱点，但在样本质量不高的时候，在非主方向上可能会引入更多不稳定的特征，因此对样本质量也是要求较高。1.3.3 基于内指横纹的生物特征研究如图 1-1（b）所示，内指横纹的纹线特征相比掌纹和外指横纹更加清晰锐利，与皮肤颜色之间的对比度更强，更有利于做特征提取。目前已有的内指横纹识别方法，通常对样本采集环境有较高的要求，有的方法还需要特殊采集设备。Li 等 31较早提出了内指横纹识别算法，他们利用内指横纹的位置特征和线特征进行匹配，基于内指横纹线条近乎垂直的特性对垂直方向进行雷顿变换 32，所得投影曲线作为位置特征，然后利用掩码对原图进行处理获得线特征。匹配时，先利用欧氏距离求位置特
35、征的距离作为初步筛选，最后利用豪斯多夫距离衡量特征之间的差异。由于所得雷顿投影曲线第一章 绪论9对原图的光照变化和形变非常敏感，而且掩码的方法对噪点特别敏感，利用去噪滤波处理后又会丢失很多内指横纹的细节信息，所以这种方法的可靠性较低。Slobodan 和Ivan10首先利用直方图对采集样本的光照进行均衡化，再利用 PCA 的方法将内指横纹图像分解到子空间内得到特征向量进行匹配。然而在光照不均匀的情况下，利用直方图均衡化会导致样本图像出现较多斑块，容易干扰特征的提取； 34将指纹、指横纹和掌纹多种特征融合匹配，这篇文章利用 LDA 算法提取特征并将特征分类，可使得类内散布矩阵最小而类间散布矩阵最
36、大，使得模式在该样本空间中具有最佳可分离性；而Loris 和 Alessandra 35则利用哈尔小波变换和雷顿变换处理内指横纹图像，之后再用PCA 导入子空间，再利用 Fisher 变换进行匹配，这些方法可以处理一些光照条件比较理想的样本，且速度很快，但这类基于子空间的方法非常依赖于训练集的训练情况，在样本受到噪声、细纹线、光照变化引起的局部信息缺失、非刚性变形以及透视变化时，所提取的特征与理想状况下提取的特征相比会发生巨大变化，导致与所有已知类的差异都很大，失去了鲁棒性。 Goh 等 13设计了一套特殊采集设备，保证了采集的光照条件几乎完全相同，利用小脊变换突出内指横纹的线条特征，但是在计
37、算特征向量时，因为把各个方向和各个尺度下的能量值进行了简单的相加，丢失了很多的结构信息，最终导致匹配的结果不够可靠。Liu 等 37提出了一种基于改进 LBP 算法的内指横纹识别方案，与 31的掩码方法相似，它利用内指横纹具有的方向性特点，突出了垂直方向的线条信息，取得了比普通 LBP 更理想的效果。但是 LBP 是通过计算中心点的亮度与周围点的亮度的差别来反映当前点的结构特征，这种方法在光照不稳定的情况下难以保证全局特征的一致性。Liu 等 38提出了一种基于引导图滤波（Guided Image Filtering）的内指横纹识别方案，它利用引导图滤波器对图像做了预处理，可在保持线条信息的基
38、础上较好消除噪声影响，之后用了基于梯度的线条检测算法抽取垂直方向的主线条作为特征。这种方法可以较好抑制噪声和细纹线的干扰，但基于梯度算子提取的线条可靠性比较低，利用阈值分割时容易导致线条提取缺失或将错误区域作为线条引入，更难应对光照变化、形变和透视的影响。同时这种方案利用了求特征向量相关运算作为匹配的方式，这种方法对形变、旋转和透视容忍度很小，会导致较多错误的情况。华南理工大学硕士学位论文101.4 本文的主要工作及章节结构1.4.1 本文的主要工作基于脊结构的生物特征识别技术目前已经得到了大量的研究和实践，但内指横纹生物特征作为一种较少被研究的脊结构生物特征，具有较为广阔的研究空间。在前人研
39、究的工作基础上，本文描述并对比了多种经典算法，同时提出了一种新型内指横纹提取和识别方案，并设计了一套完整的基于移动设备的内指横纹身份认证系统。实验部分验证了本文提出方法的准确度，工作效率，并与现有方法进行了对比。如图 1-2所示，本文的主要工作如下：图 1-2 具有针对光照和形变鲁棒性内指横纹识别系统流程图（1） 本文通过基于高斯混合模型的皮肤颜色模型来对手部图像进行初步提取，利用形态学算子平滑边缘，得到手部的大致位置和轮廓。之后再利用手形轮廓的几何特点定位若干特征点，从而提取手指区域。然后利用雷顿投影技术，找到能量响应最强烈的区域，作为内指横纹感兴趣区域（ROI） ，最后通过感兴趣区域归一化
40、操作，得到大小一致的最终结果。（2） 本文通过对比竞争编码、局部二值模式编码、相位一致性特征和 Gabor 滤波等常用的特征提取算法，找出更适合内指横纹的生物特征提取方案。受到图像边缘检测研究的启发，将主结构线条提取问题转换为图的最优化分割问题，提出一种基于第一章 绪论11图的谱分析 1和标准化分割（Normalized Cuts） T36,T30的主结构线条特征提取方法。再利用内指横纹具有高度一致方向性的特点，引入经验模型优化方法，使提取到的特征更加明晰。（3） 在移动设备应用的环境下，手部的摆放、姿态和摄像头视点变化都会导致透视变换等和非刚体变换等明显变形，本文提出一种基于上下文结构描述子
41、（structure-context descriptor）的局部特征描述与统计的方法，来适应上述局部变形。利用陆地移动距离（EMD） 39的方法来衡量两个特征向量之间的相似性，从而实现样本身份验证。（4） 我们设计了一个内指横纹数据库，进行了大量的匹配实验，包括单个内指横纹的匹配与整个手多个内指横纹的联合匹配实验，并与现有方法进行的对比，实验结果表明在移动设备的采集环境下，我们的方法对光照和形变具有较好容忍度，同时可以达到较高的匹配准确度。1.4.2 本文的章节结构本文的章节结构如下：第一章，绪论。本章介绍了首先介绍了生物特征的研究背景及意义，然后介绍了国内外该领域的研究现状，并分析了内指横
42、纹及与之相似的脊结构生物特征的相关技术和研究方向，同时分析了这些技术对于移动设备应用上的不适用性和局限性。最后介绍了本文所做的主要工作以及各个章节的安排。第二章，内指横纹样本感兴趣区域提取方法综述。本章详细介绍了利用移动设备采集手部样本图像、手部区域初步提取、内指横纹区域定位以及感兴趣区域提取的方法。并对该方法针对移动环境的适应性和局限性进行了讨论。第三章，具有光照鲁棒性的内指横纹生物特征提取方法综述。本章首先对比了多种已有的脊特征提取方法在变化光照条件下的适应能力，并结合经典谱分析理论提出一种新型的、可用于内指横纹生物特征提取的方法，并利用针对内指横纹的先验知识优化了提取模型。第四章，具有形
43、变容忍性的内指横纹生物特征相似度衡量方法综述。本章介绍了特征提取后衡量特征之间相似程度的方法，并提出了一种新型的上下文结构描述子，华南理工大学硕士学位论文12用来对各种透视变换和非刚性变化进行容忍和适应。最后提出了计算特征向量之间距离的方法模型。第五章，实验与数据分析。本章介绍了本文描述的系统在移动设备采集图像组成的数据库下的匹配数据，并与现在流行的几种脊特征生物识别方法进行了对比，同时分析了性能和效率。第六章，总结和展望。本章对论文的主要工作进行了总结，并对目前存在的问题和局限性进行了讨论和分析，同时展望了未来的工作方向。第二章 内指横纹样本感兴趣区域提取13第二章 内指横纹样本感兴趣区域提
44、取2.1 引言目前广泛应用的内、外指横纹样本采集条件包括限制性和非限制性两种。所谓限制性的采集条件是，采集环境的背景、光照条件以及手部摆放姿势等条件至少有一个被限制，如要求颜色单一的背景、统一的光照或者用固定装置把手部固定在指定区域或指定姿态。在这样的采集条件下，感兴趣区域定位非常容易，只需要确定固定的几何位置等等即可提取感兴趣区域。而在本文所设计的系统中，则不存在这样的限制条件，或者说限制条件很宽松。本文所设计的系统对采集环境的要求是，背景不存在与皮肤颜色太过接近的大块区域、手部自然摆放、手指伸直不要并拢、摄像头从正上方直射、不要有太过明显的过曝光或欠曝光。实验表明，这样的采集环境非常容易得
45、到，适合移动设备工作。本章下面的内容分三步逐一介绍内指横纹样本感兴趣区域的提取方法。2.2 基于高斯混合模型的皮肤区域提取我们用摄像头采集到的手部图像包括整只手和背景区域。欲提取内指横纹区域，需要先将整只手从背景中分离出来。本文所采用的方案是:首先对原图像用均值漂移算法 40进行聚类，将图像转化成若干颜色块区域，之后再采用基于高斯混合模型（GMM） 41的皮肤模型来提取聚类以后的图像中属于皮肤肤色的区域，之后我们利用形态学的方法对结果进行处理，去掉错误区域以及噪点的干扰，再采用动态形状模型（Active shape model ） 42提取边缘，从而得到整个手部区域。2.2.1 均值漂移聚类均
46、值漂移算法（Mean Shift）是一种有效的图像聚类和运动目标跟踪算法。用于图像聚类时，它具有自动收敛，不需要指定聚类数量的特点，非常适合用于我们对于皮肤样本的预处理。下面介绍均值漂移算法的主要思想：华南理工大学硕士学位论文14图 2-1 均值漂移聚类模型如图 2-1 所示，假设二维平面上有很多点，我们欲对这些点做聚类操作，首先以第一个点 P1 为中心，作一个半径为 R 的圆，然后计算这个圆范围内所有点的整体重心位置 B1，之后将圆心“漂移” 至 B1 点，再计算新圆范围内所有点的重心位置 B2，经过若干次“漂移” ，最终重心点收敛与 Bn 点，则我们称点 P1 经过均值漂移收敛于点Bn。图
47、 2-1 中，经过两次漂移到 B2 点已经收敛，因此， P1 应归为 B2 点所代表的一类里面。我们对平面上所有点都进行上述均值漂移操作，每一个点都有一个收敛的终点，我们将所有收敛于同一点的点归为一类，这样就完成了聚类操作。第二章 内指横纹样本感兴趣区域提取15图 2-2 均值漂移聚类结果：（ a）原图， （b）聚类结果当我们把问题拓展到二维图像聚类时，均值漂移的空间则不仅存在于平面空间，同样存在于颜色空间。对于 RGB 通道的图像来说，聚类半径分为平面半径 Rv 和颜色空间半径 Rc，计算重心位置时，既要满足平面上的位置收敛，也要考虑颜色的差异大小，也即通过调整聚类时的平面半径 Rv 和颜色
48、空间半径 Rc，可以实现对聚类类数和精细程度的控制。对于我们的实际应用来说，平面半径和颜色空间半径不宜过大，我们实际采用的值为 Rv=16，Rc=32，图像中的像素距离较近颜色比较一致的区域会被收敛到一类。如图 2-2 所示，经过均值漂移的聚类操作，手部区域被大致聚成了颜色接近的几类，如果类分的太多，可以再用 Kmeans 算法 3336进行进一步聚类，最后利用图像滤波技术去除噪点和边缘锯齿，使得类间边缘轮廓比较清晰，有利于接下来的提取工作。2.2.2 高斯混合模型高斯模型是利用正态分布的概率密度函数分析事物，从而实现建模的方法。通常对于比较复杂的事物，可以将其分割为多个成分，分别用一个高斯分
49、布去估计，最后华南理工大学硕士学位论文16将这些高斯分布综合考虑，即完成了复杂事物的建模。对于图像进行建模时，可以用直方图来表示图像的分布，其中当图像直方图出现多个波峰波谷时，可以用多个正态分布曲线去叠加拟合，每一个波峰对应一条正态分布曲线，从而实现图像成分分析。高斯混合模型一般使用 K（通常取 3 到 5）个高斯模型来表征图像中的每一个像素点的特征。背景建模是高斯混合模型最重要的一个应用。对于图像分割应用来说，图像中欲被分割的区域称为前景，其他部分称作背景，图像分割的目的就是从背景中分离出前景。通常我们对前景的估计有一定先验知识，例如前景具有某些与背景不同的特征（如颜色、形状等） ，而对于视频分割时，运动的物体称为前景，其他的称为背景，有时候前景和背景还会切换角色。每一个高斯模型由两个参数决定，也即正态分布曲线的均值 和方差 2，建立高斯混合模型时需要对均值和方差进行学习和更新，即先按照经验构造初始 K 个高斯模型，然后对于新样本判断属于哪个高斯模型，然后进行分类，同时根据新样本的值更新对应高斯模型的均值和方差。学习的方法
