仿真假体视觉下基于人脸检测的人脸识别研究.doc

1、上海交通大学硕士学位论文申请上海交通大学硕士学位论文仿 真 假 体 视 觉 下 基 于 人 脸 检 测 的 人 脸 识 别 研 究学 校 ： 上海交通大学院 系 ： 生命科学技术学院班 级 ： B1009084学 号 ： 1100809084作 者 ： 吴小贝专 业 ： 生物医学工程导 师 ： 柴新禹（教授）上 海 交 通 大 学 生 命 科 学 技 术 学 院2012 年 6 月-上海交通大学硕士学位论文Thesis for Master of Shanghai Jiao Tong UniversityFACIAL RECOGNITION UNDER SIMULATEDPROSTHETIC

2、VISION USINGFACE-DETECTION-BASED IMAGE PROCESSINGSTRATEGYAuthor： Xiaobei WuSpecialty: Biomedical EngineeringAdvisor : Prof. Xinyu ChaiSchool of Life Sciences under the resolution of 32 32 pixels, therecognition accuracies of MFR was significantly higher than that of VJFR. And MFR can第 III 页-上海交通大学硕士

3、学位论文 摘要improved the accuracies under the eccentricities of 2 and 4 while the eccentricitydropped, the effect of strategies became greater. In the contrast conditions, the recognitionaccuracies of female faces were significantly higher than those of male faces. After imageprocessing strategies applie

4、d, there were no significant differences between the recognitionaccuracies of female and male faces.These results will help the designer of visual prostheses to optimize the imageprocessing strategies to provide better information by the limited phosphene dots and toimprove the visual perception of

5、the patients.Keywords: Visual prosthesis, Simulated prosthetic vision, Psychophysics, Face detection,Facial recognition.第 IV 页-上海交通大学硕士学位论文 目录目 录摘 要 IABSTRACT .III第 一 章 绪 论 . 11.1 视觉修复的背景及意义 . 21.2 视觉假体 . 31.2.1 视皮层视觉假体 41.2.2 视神经视觉假体 41.2.3 视网膜视觉假体 51.3 仿真假体视觉研究 . 71.3.1 光 幻 视 阵 列 模 型 的 研 究 71.3.2

6、心 理 物 理 学 的 研 究 方 法 及 意 义 91.3.3 仿 真 假 体 视 觉 下 的 心 理 物 理 学 实 验 研 究 101.3.4 仿 真 假 体 视 觉 下 的 人 脸 识 别 研 究 131.3.5 基 于 仿 真 假 体 视 觉 的 图 像 处 理 策 略 及 信 息 优 化 151.4 本文的研究意义及内容 . 161.5 本章小结 . 18第 二 章 仿 真 假 体 视 觉 下 基 于 人 脸 检 测 的 图 像 处 理 策 略 . 192.1 人脸检测算法介绍 . 192.1.1 人脸检测的意义 192.1.2 人 脸 检 测 算 法 的 研 究 现 状 192.

7、2 人脸区域选取策略 . 202.2.1 基于 Viola-Jones 算 法 的 人 脸 区 域 选 取 策 略 . 212.2.2 基 于 统 计 学 的 人 脸 区 域 选 取 策 略 24第 1 页-上海交通大学硕士学位论文 目录2.2.3 基 于 前 景 提 取 的 人 脸 区 域 选 取 策 略 251.2.4 仿真假体视觉下基于人脸检测的图像处理策略 281.2.5 低像素化算法 . 301.2.6 本章小结 . 30第 三 章 仿 真 假 体 视 觉 下 基 于 人 脸 检 测 算 法 的 人 脸 识 别 实 验 . 311.3.6 实验方案 . 312.3 实验素材 . 31

8、2.4 实验被试 . 312.5 实验装置 . 322.6 实验步骤 . 322.7 实验数据采集及分析 331.3.7 实验一：不同人脸区域选取策略的影响 342.1.3 实验目的 . 342.1.4 实验流程 . 352.1.5 实验结果 . 351.3.8 实验二：不同偏心角下 MFR 的识别率. 402.2.3 实验目的 . 402.2.4 实验流程 . 432.2.5 实验结果 . 431.3.9 本章小结 . 47第 四 章 结 果 讨 论 . 484.1 图像处理策略的影响 . 484.2 人脸区域选取策略的影响 . 494.3 偏心角的影响 . 504.4 性别的影响 . 51

9、4.5 分辨率的影响 . 51第 2 页-上海交通大学硕士学位论文 目录4.6 学习效应和个体差异 . 524.7 本章小结 . 53第 五 章 总 结 与 展 望 . 541.2.7 总结. 541.3.10 仿 真 假 体 视 觉 下 基 于 人 脸 检 测 的 图 像 处 理 策 略 541.3.11 仿 真 假 体 视 觉 下 的 人 脸 识 别 实 验 551.2.8 展望. 562.8 研究的局限性 . 562.9 研究的展望 . 56参 考 文 献 . 58附 录 一 iTheater 头 戴 式 显 示 器 技 术 手 册 65致 谢 . 66攻 读 硕 士 学 位 期 间 已

10、 发 表 或 录 用 的 论 文 . 67第 3 页-上海交通大学硕士学位论文 第一章 绪论第 一 章 绪 论视 觉 作 为 人 类 最 重 要 的 感 官 ， 提 供 了 80%以 上 的 外 界 信 息 。 视 觉 是 人 们 认 识 客 观世 界 的 重 要 途 径 ， 也 是 人 们 在 进 行 各 项 日 常 活 动 、 与 他 人 相 互 交 流 的 基 础 。 因 此 失 明被 认 为 是 人 类 最 严 重 的 疾 病 之 一 。 视 觉 的 丧 失 给 盲 人 的 生 活 及 工 作 等 各 方 面 带 来 了 极大的不便和痛苦。失 明 的 原 因 有 很 多 种 ， 视 觉

11、 通 路 （ Visual pathway） 上 任 何 一 段 的 损 伤 都 有 可 能致 盲 。 近 年 来 ， 研 究 者 们 从 光 动 力 学 、 药 物 、 基 因 等 方 面 展 开 了 治 盲 的 研 究 ， 但 是 视网 膜 色 素 变 性 （ Retinitis Pigmentosa, RP） 、 老 年 性 黄 斑 病 变 （ Age-Related MacularDegeneration, AMD） 等 各 类 眼 底 疾 病 或 由 外 伤 等 所 导 致 的 失 明 目 前 都 缺 乏 有 效 治 疗措 施 。 随 着 电 子 科 技 和 计 算 机 技 术 的

12、飞 速 发 展 ， 推 进 了 神 经 工 程 、 仿 生 学 、 医 学 等 各领域的研究，视觉假体将为盲人复明带来希望。视 觉 假 体 主 要 由 外 置 微 摄 像 机 采 集 外 界 图 像 信 息 ， 通 过 信 息 处 理 器 把 图 像 转 换 为对 应 的 电 刺 激 模 式 ， 再 由 微 电 流 刺 激 器 将 多 路 电 脉 冲 加 载 到 微 电 极 阵 列 ， 对 视 觉 神 经系统进行电刺激，在视觉中枢产生光幻视，从而实现视觉功能修复。由 于 技 术 的 局 限 性 ， 现 阶 段 视 觉 假 体 的 电 极 数 量 有 限 ， 视 觉 假 体 有 限 数 量 电

13、极 诱发 的 离 散 光 幻 视 点 仅 能 提 供 基 本 的 视 觉 信 息 ， 如 何 利 用 有 限 分 辨 率 的 假 体 视 觉 来 呈 现让 植 入 者 可 理 解 的 视 觉 感 受 （ 即 视 觉 假 体 的 最 小 信 息 需 求 ） 成 为 研 究 者 们 关 注 的 重 点 。另 外 ， 如 何 优 化 有 限 分 辨 率 下 的 光 幻 视 阵 列 呈 现 的 信 息 ， 帮 助 假 体 设 计 者 改 进 图 像 处理策略，使植入者获得最佳的视觉感受也是现阶段最为关键的问题之一。目前，视觉假体还处于临床研究阶段，无法大范围的招募被试和进行临床实验，而 基 于 仿 真

14、 假 体 视 觉 的 心 理 物 理 学 方 法 具 有 无 损 伤 、 易 招 募 被 试 、 获 得 大 样 本 数 据 和精 确 地 控 制 视 觉 呈 现 效 果 等 优 点 ， 因 此 在 视 觉 假 体 的 最 小 信 息 需 求 及 图 像 处 理 策 略 研究方面，心理物理学方法起到了重要的作用。本 章 首 先 阐 述 了 视 觉 修 复 的 背 景 及 意 义 ， 再 对 视 觉 假 体 及 其 分 类 进 行 了 介 绍 。 后对 基 于 仿 真 假 体 视 觉 的 心 理 物 理 学 实 验 的 研 究 现 状 及 进 展 进 行 了 介 绍 ， 包 括 与 本 研 究相

15、 关 的 仿 真 假 体 视 觉 下 的 人 脸 识 别 研 究 现 状 ， 及 基 于 仿 真 假 体 是 觉 得 图 像 处 理 策 略 及信 息 优 化 。 最 后 ， 阐 明 了 本 研 究 仿真假体视觉下基于人脸检测算法的人脸识别的研究意义及内容。第 1 页-上海交通大学硕士学位论文 第一章 绪论1.6 视 觉 修 复 的 背 景 及 意 义据世界卫生组织 2004 年报告，全球视觉残疾人数达到 1.61 亿，其中 3700 万为盲人 1。失明不仅严重困扰着患者及其家人的正常生活，对世界经济造也成了约 250亿 美 元 的 损 失 。 它 也 是 各 国 面 临 的 一 个 公 共

16、卫 生 、 社 会 和 经 济 问 题 ， 特 别 是 对 于 发 展中国家来说，世界上 9/10 的盲人生活在发展中国家。我国 约有 877 万视觉残疾人，550 万盲人，而且这个数字还在以每年 45 万左右的速度增加。由于视觉系统的复杂性，视觉通路任何层次的损伤都可能导致低视力甚至失明，受损伤的结构直接决定了其严重程度。如图 1-1 所示，主要的致盲疾病包括白内障，沙 眼 ， 青 光 眼 ， 盘 尾 丝 虫 病 （ 也 称 河 盲 症 ， 只 存 在 与 少 数 拉 美 及 非 洲 国 家 ） ， 除 此 之外 还 有 很 多 致 盲 疾 病 。 糖 尿 病 性 网 膜 症 是 致 青 壮

17、 年 视 觉 损 伤 的 主 要 疾 病 ； 黄 斑 变 性 困扰这全世界 800 万人；视网膜色素变性（RP ）的患病率为 1/3000，是遗传性失明的主要疾病；另外，外伤也导致 500 万人失明 2。图 1-1 全球失明主要原因统计（2004）Fig.1-1 Major causes of blindness worldwide (2004)因 此 ， 有 必 要 尽 快 研 究 出 帮 助 盲 人 和 低 视 力 患 者 恢 复 视 力 的 方 法 。 过 去 ， 低 视 力第 2 页-上海交通大学硕士学位论文 第一章 绪论和 失 明 患 者 的 日 常 生 活 辅 助 手 段 主 要

18、是 导 盲 犬 和 拐 杖 。 如 今 ， 另 外 两 类 补 偿 视 觉 残 疾的系统也成为了辅助盲人和低视力患者的工具，一类是增强设备，如镜片、望远镜、视频或计算机放大器等，另一类是感知替代设备，利用触觉和听觉等来代替视觉。经 过 全 世 界 的 研 究 团 队 的 刻 苦 钻 研 ， 总 结 出 了 多 种 视 觉 功 能 修 复 方 案 。 如 基 于 医学 技 术 的 玻 璃 体 视 网 膜 手 术 、 药 物 疗 法 ； 基 于 生 物 技 术 的 器 官 克 隆 （ 治 疗 性 克 隆 ） 、细 胞 培 养 （ 组 织 工 程 ） ； 以 及 基 于 生 物 医 学 工 程 的

19、视 觉 假 体 。 药 物 治 疗 和 玻 璃 体 视 网膜 手 术 无 法 逆 转 疾 病 造 成 的 永 久 性 病 变 ， 而 通 过 治 疗 性 克 隆 和 组 织 工 程 方 案 永 久 性 地修 复 神 经 损 伤 离 临 床 应 用 还 有 很 远 的 距 离 。 视 觉 假 体 是 目 前 视 觉 恢 复 的 主 要 研 究 手段 ， 它 通 过 对 视 觉 神 经 系 统 进 行 电 刺 激 ， 从 而 在 视 觉 中 枢 诱 发 光 幻 视 （ phosphene）实现视觉功能修复，为盲人带来复明的希望。1.7 视 觉 假 体视 觉 假 体 是 利 用 大 多 数 盲 人

20、仅 有 视 觉 通 路 的 某 一 部 分 发 生 病 变 ， 而 其 余 部 分 神 经组 织 的 结 构 和 功 能 尚 且 完 好 ， 通 过 对 视 觉 通 路 （ 视 网 膜 、 视 神 经 或 视 皮 层 等 ） 的 完 好部位施加特定的电刺激而诱发出光幻视来实现视觉功能修复 34。 如 图 1-2 所示，视觉 假 体 由 图 像 采 集 、 信 息 处 理 、 能 量 及 数 据 传 输 、 植 入 式 神 经 刺 激 器 、 微 电 极 阵 列 等几 部 分 组 成 。 它 将 外 置 微 摄 像 机 采 集 外 界 图 像 信 息 ， 通 过 信 息 处 理 器 把 图 像

21、转 换 为 对应 的 电 刺 激 模 式 ， 再 由 微 电 流 刺 激 器 将 多 路 电 脉 冲 加 载 到 微 电 极 阵 列 ， 最 后 ， 对 视 觉神 经 系 统 进 行 相 应 的 电 刺 激 。 根 据 电 极 植 入 位 置 的 不 同 ， 视 觉 假 体 可 以 分 为 视 皮 层 假体、视网膜假体及视神经假体三类 56。第 3 页-上海交通大学硕士学位论文 第一章 绪论图 1-2 视觉假体结构组成及信息模式图Fig.1-2 Illustration of the visual prosthesis and information mode in different sta

22、ges1.8 视 皮 层 视 觉 假 体1.2.9 视皮层表面刺激皮层表面刺激是最早的视觉修复方式，1968 年 Brindley 和 Lewin 等人首先进行了长期刺激视皮层的研究 7。 1974 年，Dobelle 和 Mladejovsky 仿照 Brindley 和 Lewin对 37 个人进行了视皮层表面电刺激的研究 8。 Dobelle 等人于 1978 年将 64 通道的视皮层假体植入人体，并在之后的 20 年内保持了刺激参数和光幻视位置的稳定 9。1.2.10 视皮层内刺激1979 年 ， 美 国 加 州 帕 萨 迪 纳 的 亨 廷 顿 医 学 研 究 所 为 解 决 视 皮

23、层 表 面 电 极 刺 激 电流 大 等 问 题 ， 首 先 提 出 了 视 皮 层 内 刺 激 研 究 方 向 ， 将 皮 层 表 面 刺 激 转 移 到 皮 层 内 刺 激10。 1996 年 ， 美 国 国 家 健 康 研 究 中 心 的 视 觉 假 体 研 究 小 组 将 38 通道电极阵列植入一位 48 岁 的 失 明 患 者 视 皮 层 ， 为 期 4 个月 11。 此 外 ， 还 有 美 国 犹 他 大 学 的 Normann 研究小组，主要研究刺激和记录电极的制作和评估等 12。1.9 视 神 经 视 觉 假 体视 神 经 视 觉 假 体 是 在 功 能 保 持 完 整 的 视

24、 觉 通 路 近 端 植 入 刺 激 器 , 即 在 有 功 能 的视 网 膜 神 经 节 细 胞 轴 突 的 延 伸 部 分 ， 即 视 神 经 进 行 刺 激 。 1998 年 比 利 时 研 究 小 组Veraart 等在一名志愿者的右 侧视神经上植入了有 4 个接触点的 cuff 电极。2000 年8 月 ， 同 一 研 究 小 组 通 过 第 二 次 手 术 在 脑 颅 顶 骨 埋 入 神 经 刺 激 器 和 天 线 ， 实 现 了 体 内植入体与体外元件之间的射频无线通讯 13-14。 国 内 从 事 视 神 经 视 觉 假 体 研 究 的 有 上 海交通大学的 C-Sight 小

25、 组 ， 采 用 刺 入 式 的 金 属 微 丝 电 极 阵 列 刺 激 视 神 经 部 位 ， 并 采 用动物实验的方式验证了其有效性。视 神 经 刺 激 突 破 了 视 网 膜 上 、 下 植 入 方 法 的 局 限 性 ， 直 接 刺 激 视 神 经 。 该 假 体 适用 于 视 神 经 功 能 正 常 而 视 网 膜 的 内 层 、 外 层 和 神 经 节 细 胞 层 均 受 到 损 伤 的 患 者 。 与 视皮 层 植 入 相 比 ， 该 方 法 能 有 效 避 免 皮 层 植 入 可 能 引 起 的 术 后 感 染 等 风 险 。 此 外 ， 视 神经 具 有 较 长 的 空 间

26、尺 度 ， 能 容 纳 高 密 度 的 微 电 极 阵 列 ， 有 望 使 假 体 获 得 较 高 的 分 辨 率 。第 4 页-上海交通大学硕士学位论文 第一章 绪论1.10 视 网 膜 视 觉 假 体1.2.11 视网膜下视觉假体作 为 视 觉 假 体 的 植 入 位 置 之 一 ， 视 网 膜 具 有 组 织 结 构 简 单 、 手 术 易 行 、 手 术 并 发症轻等优点。大量研究表明，由于视锥细胞和视杆细胞的损伤而导致的失明（如 RP或者 AMD 导 致 的 失 明 ） ， 其 视 网 膜 内 部 的 细 胞 还 是 完 好 无 损 的 。 视 网 膜 视 觉 假 体 通过仍具功能性

27、的视网膜细胞层来刺激视觉系统。约翰霍普金斯医院的研究结果表明，视 网 膜 表 面 的 视 觉 刺 激 可 以 引 起 视 觉 感 知 。 在 此 基 础 上 ， 他 们 提 出 了 两 种 视 网 膜 假 体的 构 想 （ 如 图 1-3 所 示 ） ， 一 种 是 “视 网 膜 上 假 体 ”， 刺 激 电 极 置 于 视 网 膜 表 面 ， 玻 璃体 与 内 界 膜 之 间 ； 另 一 种 是 “视 网 膜 下 假 体 ”， 电 极 置 于 视 网 膜 下 面 的 位 置 ， 取 代 退化了的光感受器。图 1-3 视网膜假体的植入方法：视网膜上植入和视网膜下植入（引自4）Fig.1-3 R

28、etinal implant design approaches: the epiretinal implant and the subretinal implant. (cited from4)1.3.12 视网膜下视觉假体视 网 膜 下 植 入 体 的 刺 激 电 极 阵 列 位 于 视 网 膜 外 层 和 视 网 膜 色 素 上 皮 层 之 间 , 在理论上可代替感受器细胞的功能，保留了视网膜传递信息的正常过程。视 网 膜 下 假 体 不 需 要 外 部 摄 像 机 采 集 图 像 ， 也 不 需 要 外 界 提 供 能 量 ， 光 电 流 直 接由 入 射 光 线 产 生 。 20 世

29、 纪 80 年 代 ， Chow 等 人 研 究 了 视 网 膜 下 半 导 体 基 底 视 网 膜假 体 。 图 像 信 息 到 达 视 网 膜 后 ， 光 脉 冲 由 微 光 电 二 极 管 转 化 为 电 流 ， 刺 激 视 网 膜 感 觉神经元产生视觉感受。Chow 等人设计的微光电二极管 阵列直径 2 mm， 含 有 5000 个第 5 页-上海交通大学硕士学位论文 第一章 绪论光 电 二 极 管 并 带 有 各 自 的 刺 激 电 极 。 2000 年 ， 该 小 组 将 视 网 膜 下 视 觉 假 体 装 置 植 入6 名视网膜色素变性患者的右眼中，并持续了 6-18 个月 15

30、。Zrenner 小组也采用了类似的视网膜下植入体， 直径 3 m m，包含 7600 个位点 16。1.11 视网膜上视觉假体视 网 膜 上 植 入 体 位 于 玻 璃 体 和 视 网 膜 感 觉 细 胞 层 ， 直 接 刺 激 神 经 节 细 胞 。Humayun 等 人 最 早 进 行 了 人 体 视 网 膜 的 眼 内 刺 激 研 究 ， 从 2002 年 2 月到 2004 年 6月 ， 先 后 在 六 名 失 明 患 者 的 单 眼 中 植 入 了 16 通 道 的 视 网 膜 上 微 电 极 。 微 电 极 植 入 人体的平均时间是 3 年，没有微电极失效的情况发生 17。他们的

31、合作者北卡州立大学的 Wentai Liu 小组负责工程方面的支持及研究，如电极阵列的制作等 18。麻省理工学 院 与 哈 佛 大 学 共 同 合 作 的 Rizzo 小 组 则 采 用 了 不 同 的 方 法 ， 如 使 用 灵 活 柔 韧 的 电 极 、麻醉眼睛以使电极的位置更稳定、在实验过程中不对眼睛照明等。Rizzo 研究小组对五 名 视 网 膜 色 素 变 性 的 失 明 患 者 和 一 名 视 觉 正 常 的 志 愿 者 进 行 了 即 时 实 验 , 实 验 发现 要 引 起 视 觉 ， 失 明 患 者 所 需 的 电 流 密 度 远 大 于 正 常 视 力 的 受 试 者 19

32、。 德 国 Bonn 大学的 Eckmiller 研究小组 20和澳大利亚 NSW 大学和 Newcastle 大学的研究小组 21等也对视网膜上假体进行了研究。此外，Y asuo Tano 等 人 研 发 了 一 种 在 脉 络 膜 上 层 经 视 网 膜 刺 激 的 视 觉 假 体 ， 并 在动物实验中证明了这种其可引发局部视网膜神经节细胞的兴奋 22。国 际 上 各 小 组 对 不 同 的 视 觉 假 体 进 行 了 比 较 。 视 皮 层 假 体 在 植 入 过 程 中 对 脑 部 产生 较 大 的 机 械 损 伤 ， 同 时 对 视 皮 层 的 直 接 电 刺 激 有 可 能 对 受

33、 试 者 造 成 危 险 ， 而 且 术 后的 并 发 症 相 对 比 较 严 重 。 与 视 皮 层 假 体 相 比 ， 视 神 经 假 体 植 入 的 手 术 风 险 较 小 ， 引 起的 并 发 症 较 轻 ， 可 以 使 用 较 低 的 电 流 进 行 刺 激 ， 减 少 电 流 对 周 围 神 经 组 织 的 损 伤 ， 但是 同 样 会 对 视 神 经 造 成 机 械 损 伤 。 视 网 膜 下 视 觉 假 体 的 特 点 是 允 许 能 够 进 行 信 息 处 理的 视 网 膜 神 经 元 网 络 进 一 步 处 理 并 传 递 图 像 信 息 ， 并 利 用 视 网 膜 色 素

34、 上 皮 细 胞 和 视 网膜 神 经 感 觉 层 之 间 的 压 力 ， 长 期 保 持 植 入 体 的 位 置 。 但 是 ， 由 于 植 入 体 的 存 在 阻 碍 了视 网 膜 外 层 和 脉 络 膜 之 间 的 物 质 交 换 ， 影 响 了 视 网 膜 内 层 的 营 养 和 散 热 。 视 网 膜 上 假体 的 优 点 是 ， 外 部 设 备 可 以 对 信 号 进 行 预 处 理 ， 优 化 信 号 的 质 量 ， 改 善 视 觉 ； 而 且 玻璃 体 可 以 作 为 良 好 的 散 热 介 质 ， 避 免 由 于 组 织 吸 收 电 磁 辐 射 和 植 入 体 的 芯 片 生 热 引 起的 局 部 温 度 升 高 而 损 伤 周 围 组 织 ； 手 术 上 易 于 植 入 ， 降 低 了 手 术 的 外 伤 风 险 ， 并 且 提高 了 植 入 体 重 置 的 可 能 性 ， 采 用 钛 钉 装 置 提 高 了 长 期 植 入 的 稳 定 性 ， 目 前 是 最 有 希 望进入到临床使用的一种方法。第 6 页-