1、项目名称：基于 PCA 的人脸识别算法研究摘 要随着人类社会的进步，以及科技水平的提高，一些传统的身份认证的方法逐渐暴露出各种问题，因此人们需要采用一种更加可靠安全的身份认证方法。毫无疑问人体的生物特征的独一无二的，特别是其不容易丢失及复制的特性很好满足了身份识别的需要。并且随着计算机科学技术和生物医学的发展使得利用生物特征识别成为了可能。因此基于指纹、人脸、视网膜等生物特征的识别方法也越来越多。由于人脸识别的操作快速简单，结果直观，准确可靠，不需要人的配合等优点已成为人们关注的焦点。主成分分析（PCA）法通过提取高维度的人脸图像的主元，使得图像在低维度空间中被处理来降低了图像处理的难度。由于
2、其有效的解决了图像空间维数过高的问题，已经成为人脸识别领域非常重要的理论。此次研究的就是基于 PCA的人脸识别算法的实现。本文按照完整人脸识别流程来分析基于 PCA 的人脸识别算法实现的性能。首先使用常用的人脸图像的获取方法获取人脸图像。本文为了更好的分析基于 PCA 人脸识别系统的性能分别选用了 Essex 人脸数据库和 ORL 人脸库，并在后期采用了自建的人脸库。接下来是人脸图像预处理方法。由于采用的人脸图像质量较好，而且已经做过相应的预处理，所以本文试验中只使用灰度处理。接着使用 PCA 提取人脸特征，使用奇异值分解定理计算协方差矩阵的特征值和特征向量以及使用最近邻法分类器欧几里得距离来
3、进行人脸判别分类。在实验中我们发现基于 PCA 的人脸识别系统的识别率很高，而且具有一定鲁棒性，所以基于 PCA 的人脸识别算法的实现的研究还是有意义。【关键词】人脸识别 PCA 算法 奇异值分解定理 欧几里得距离ABSTRACTWith the development of science and technology, the progress of human society, the traditional identification is easy to lose, easy to be cracked and it has not play an identifiable rol
4、e. People need a more secure and reliable identification technology. Biometric is unique, easy to lose and replication characteristics of good meet the needs of the identification. With the development of computer science and technology and biomedical makes use of biometric identification has become
5、 possible. In the field of biometric identification, face recognition with the advantages of operation is fast and simple, the results are intuitive, accurate and reliable,do not need co-ordination, has become the focus of attention. The principal component analysis (PCA) to extract high dimensional
6、 face image of the main element, making the images are processed in low-dimensional space and it reduces the difficulty of image processing. PCA solves effectively the problem of high dimension image space and it has become a very important theory in face recognition field. This paper is in this con
7、text of writing from.In accordance with the full recognition process to analyze the performance of PCA-based face recognition algorithm. The first to use the method of access to commonly used face images for face images. In order to better analysis is based on the performance of the PCA face recogni
8、tion system selected Essex face database. Next is the face image preprocessing methods. Essex face image quality is better, and have done the appropriate pretreatment, using only gray-scale processing of this trial. Then use the PCA for face feature extraction using singular value decomposition theo
9、rem to calculate the covariance matrix of the eigenvalues and eigenvectors, and use the Euclidean distance of the nearest neighbor classifier to the classification of human face discrimination. In the experiment, we found that a high recognition rate of the PCA-based face recognition system, but wit
10、h a certain robustness, the PCA-based face recognition algorithm to achieve meaningful.【Key words】face recognition PCA algorithm SVD Euclidean distance前 言随着社会和科技的发展，社会步伐的加快，人们对高效可靠的身份识别需求日益强烈。各种技术在科研和实际中都受到了很大的重视和发展。由于生物特征内在的稳定性和唯一性使其成为了作为身份识别的理想依据。人脸特征作为典型的生物特征外，还有隐蔽性好，易于被用户接受，不需要人的配合等优点。现已成为了身份识别领
11、域研究的热点。PCA 算法通过降低维度，提取主元素，减少了数据冗余，解决了图像纬度太高无法处理或处理很慢的特点，同时保持了原始图像的绝大部分信息。在人脸识别领域，很多先进的识别算法都是在其基础上的改进。所以研究基于 PCA 的人脸识别算法实现具有重要的理论和使用价值。本文主要介绍基于 PCA 的人脸识别算法的实现，先介绍了 PCA 算法的理论基础，其次介绍了其在数字图像领域的应用，最后结合具体研究详述了研究过程。第一节 主成分分析基本理论一、什么是主成分分析？主成分分析为 Principle component analysis10,11,12的中文翻译，其英文简写为 PCA。它是一种非常流行
12、和实用的数据分析技术，最重要的应用是对原有数据进行简化。 主成分分析可 以 有 效 的 找 出 数 据 中 最 “主 要 ”的 元 素 和 结 构 ， 去 除 噪 声 和 冗 余 ， 将 原 有 的 复 杂 数 据降 维 处 理 ， 揭 示 出 隐 藏 在 复 杂 数 据 背 后 的 简 单 结 构 。 它 的 优 点 是 简 单 ， 而 且 无 参 数 限 制 ，可 以 方 便 的 应 用 与 各 个 场 合 。 因 此 应 用 极 其 广 泛 ， 从 神 经 科 学 到 计 算 机 图 形 学 都 有 它 的 身 影 。PCA 被 称 为 应 用 线 形 代 数 最 有 价 值 的 结 果
13、 之 一 。二、基变换从 线 形 代 数 的 角 度 来 看 ， PCA 的 目 标 就 是 使 用 另 一 组 基 去 重 新 描 述 得 到 的 数 据 空 间 。 而新 的 基 要 能 尽 量 揭 示 原 有 的 数 据 间 的 关 系 。 在 这 个 例 子 中 ， 沿 着 某 x 轴 上 的 运 动 是 最 重 要 的 。这 个 维 度 即 最 重 要 的 “主 元 ”。 PCA 的 目 标 就 是 找 到 这 样 的 “主 元 ”， 最 大 程 度 的 去 除 冗 余 和噪 音 的 干 扰 。1. 标 准 正 交 基标 准 正 交 基 表 现 了 数 据 观 测 的 一 般 方 式
14、 。在 线 形 代 数 中 ， 这 组 基 表 示 为 行 列 向 量 线 形 无 关 的 单 位 矩 阵 。1201mbBI（4.2）2. 基 变 换从 更 严 格 的 数 学 定 义 上 来 说 ， PCA 回 答 的 问 题 是 ： 如 何 寻 找 到 另 一 组 正 交 基 ， 它 们 是 标准 正 交 基 的 线 性 组 合 ， 而 且 能 够 最 好 的 表 示 数 据 集 ？在 PCA 方 法 中 有 一 个 很 关 键 的 假 设 ： 线 性 。 这 是 一 个 非 常 好 的 假 设 ， 它 使 问 题 得 到 了 很大 程 度 的 简 化 ， 具 体 表 现 为 数 据 被
15、 限 制 在 一 个 向 量 空 间 中 ， 能 被 一 组 基 表 示 ， 并 且 还 隐 含 的假 设 了 数 据 间 的 连 续 性 关 系 。这 样 一 来 数 据 就 可 以 被 表 示 为 各 种 基 的 线 性 组 合 。 令 X 表 示 原 数 据 集 。 X 是 一 个 m*n 的矩 阵 ， 它 的 每 一 个 列 向 量 都 表 示 一 个 时 间 采 样 点 上 的 数 据 。 Y 表 示 转 换 以 后 的 新 的 数 据 集X表 示 。 P 是 他 们 之 间 的 线 性 转 换 。 它 们 间 的 转 换 关 系 为PXY（4.3）有 如 下 定 义 ：pi表 示
16、P 的 行 向 量 。xi表 示 X 的 列 向 量 。yi表 示 Y 的 列 向 量 。 上 式 （ 3） 在 线 性 代 数 中 ， 它 有 如 下 的 含 义 ： P 是 从 X 到 Y 的 转 换 矩 阵 。 几 何 上 来 说 ， P 对 X 进 行 旋 转 和 拉 伸 得 到 Y。 P 的 行 向 量 ，（ p1,p2,pm） 是 一 组 新 的 基 ， 而 Y 是 原 数 据 X 在 这 组 新 的 基 表 示 下 得 到 的 重 新 表 示 。 下 面 是 对 最 后 一 个 含 义 的 说 明 ：1nmpPXx（4.4）11nmmpxxY （4.5）注 意 到 Y 的 列 向
17、 量 ：1iimipxy（4.6）可 见 yi表 示 的 是 xi与 P 中 对 应 列 的 点 积 ， 也 就 是 相 当 于 是 在 对 应 向 量 上 的 投 影 。 所 以 ，P 的 行 向 量 事 实 上 就 是 一 组 新 的 基 。 它 对 原 数 据 X 进 行 重 新 表 示 。3. 问题在 线 性 的 假 设 条 件 下 ， 问 题 转 化 为 寻 找 一 组 变 换 后 的 基 ， 也 就 是 P 的 行 向 量（ p1,p2,pm） ， 这 些 向 量 就 是 PCA 中 所 谓 的 “主 元 ”。 问 题 转 化 为 如 下 的 形 式 ：怎 样 才 能 最 好 的
18、表 示 原 数 据 X？P 的 基 怎 样 选 择 才 是 最 好 的 ?解 决 问 题 的 关 键 是 如 何 体 现 数 据 的 特 征 。 那 么 ， 什 么 是 数 据 的 特 征 ， 如 何 体 现 呢 ？三、协方差衡量如 何 选 择 最 优 的 P 基 需 要 借 助 协 方 差 来 进 行 衡 量 和 判 断 ：21()niiABab（4.9）A， B 分 别 表 示 不 同 的 观 测 变 量 所 记 录 的 一 组 值 ， 在 统 计 学 中 ， 由 协 方 差 的 性 质 可 以 得 到 ：， 且 当 且 仅 当 观 测 变 量 A， B 相 互 独 立 。 ， 当 A=B
19、 等 价 的 ， 将 A,B 写202A 2AB成 行 向 量 的 形 式 ：，12,.na12,.nBb协 方 差 可 以 表 示 为1TAB（4.10）那 么 ， 对 于 一 组 具 有 m 个 观 测 变 量 ,n 个 采 样 时 间 点 的 采 样 数 据 X， 将 每 个 观 测 变 量 的 值写 为 行 向 量 ， 可 以 得 到 一 个 m*n 的 矩 阵 ：1mxX（4.11）接 下 来 定 义 协 方 差 矩 阵 如 下 ：1TXCn（4.12）112121222mmmxxxXxxxC （4.13）容 易 发 现 协 方 差 矩 阵 具 有 如 下 性 质 ：CX是 一 个
20、m*m 的 平 方 对 称 矩 阵 。 1Cx对 角 线 上 的 元 素 是 对 应 的 观 测 变 量 的 方 差 。 2非 对 角 线 上 的 元 素 是 对 应 的 观 测 变 量 之 间 的 协 方 差 。 3协 方 差 矩 阵 CX包 含 了 所 有 观 测 变 量 之 间 的 相 关 性 度 量 。 更 重 要 的 是 ， 根 据 前 两 部 分 的 说明 ， 这 些 相 关 性 度 量 反 映 了 数 据 的 噪 音 和 冗 余 的 程 度 。在 对 角 线 上 的 元 素 越 大 ， 表 明 信 号 越 强 ， 变 量 的 重 要 性 越 高 ； 元 素 越 小 则 表 明 可
21、 能 是 存在 的 噪 音 或 是 次 要 变 量 。在 非 对 角 线 上 的 元 素 大 小 则 对 应 于 相 关 观 测 变 量 对 之 间 冗 余 程 度 的 大 小 。一 般 情 况 下 ， 初 始 数 据 的 协 方 差 矩 阵 总 是 不 太 好 的 ， 表 现 为 信 噪 比 不 高 且 变 量 间 相 关 度大 。 PCA 的 目 标 就 是 通 过 基 变 换 对 协 方 差 矩 阵 进 行 优 化 ， 找 到 相 关 “主 元 ”。 那 么 ， 如 何 进 行优 化 ？ 矩 阵 的 那 些 性 质 是 需 要 注 意 的 呢 ？协防差矩阵的对角化总 结 上 面 的 部
22、分 可 以 发 现 主 元 分 析 以 及 协 方 差 矩 阵 优 化 的 原 则 是 ： 1） 最 小 化 变 量 冗 余即 对 应 于 协 方 差 矩 阵 的 非 对 角 元 素 要 尽 量 小 ； 2） 最 大 化 信 号 即 对 应 于 要 使 协 方 差 矩 阵 的 对角 线 上 的 元 素 尽 可 能 的 大 。 因 为 协 方 差 矩 阵 的 每 一 项 都 是 正 值 ， 最 小 值 为 0， 所 以 优 化 的 目标 矩 阵 CY的 非 对 角 元 素 应 该 都 是 0， 对 应 于 冗 余 最 小 。 所 以 优 化 的 目 标 矩 阵 CY应 该 是 一 个 对角 阵
23、。 即 只 有 对 角 线 上 的 元 素 可 能 是 非 零 值 。 同 时 ， PCA 假 设 P 所 对 应 的 一 组 变 换 基 必 须 是标 准 正 交 的 ， 而 优 化 矩 阵 CY对 角 线 上 的 元 素 越 大 ， 就 说 明 信 号 的 成 分 越 大 ， 换 句 话 就 是 对 应于 越 重 要 的 “主 元 ”。对 于 协 方 差 矩 阵 进 行 对 角 化 的 方 法 很 多 。 根 据 上 面 的 分 析 ， 最 简 单 最 直 接 的 算 法 就 是 在多 维 空 间 内 进 行 搜 索 ：在 m 维 空 间 中 进 行 遍 历 ， 找 到 一 个 方 差 最
24、 大 的 向 量 ， 令 作 p1。 1在 与 p1垂 直 的 向 量 空 间 中 进 行 遍 历 ， 找 出 次 大 的 方 差 对 应 的 向 量 记 作 p2 2对 以 上 过 程 循 环 ， 直 到 找 出 全 部 m 的 向 量 。 它 们 生 成 的 顺 序 也 就 是 “主 元 ”的 排 序 。 3这 个 理 论 上 成 立 的 算 法 说 明 了 PCA 的 主 要 思 想 和 过 程 。 在 这 中 间 ， 牵 涉 到 两 个 重 要 的 特性 ： 1)转 换 基 是 一 组 标 准 正 交 基 。 这 给 PCA 的 求 解 带 来 了 很 大 的 好 处 ， 它 可 以
25、运 用 线 性 代 数的 相 关 理 论 进 行 快 速 有 效 的 分 解 。 这 些 方 法 将 在 后 面 提 到 。 2） 在 PCA 的 过 程 中 ， 可 以 同 时得 到 新 的 基 向 量 所 对 应 的 “主 元 排 序 ”， 利 用 这 个 重 要 性 排 序 可 以 方 便 的 对 数 据 进 行 简 化 处理 或 是 压 缩 。四、PCA 求解：特征根分解在 线 形 代 数 中 ， PCA 问 题 可 以 描 述 成 以 下 形 式 ：寻 找 一 组 正 交 基 组 成 的 矩 阵 P， 有 Y=PX， 使 得 是 对 角 阵 。 则 P 的 行 向 量1TYCn（ 也
26、 就 是 一 组 正 交 基 ） ， 就 是 数 据 X 的 主 元 向 量 。对 进 行 推 导 ： Y111() ()TTTTYCPPXPXnnn（4.14）1TYCA（4.15）定 义 ， 则 A 是 一 个 对 称 阵 。 对 A 进 行 对 角 化 求 取 特 征 向 量 得 ：TXTED（4.16）则 D 是 一 个 对 角 阵 而 E 则 是 对 称 阵 A 的 特 征 向 量 排 成 的 矩 阵 。这 里 要 提 出 的 一 点 是 ， A 是 一 个 m*m 的 矩 阵 ， 而 它 将 有 p(p=m)个 特 征 向 量 。 其 中 p 是矩 阵 A 的 的 秩 。 如 果
27、p=m， 则 A 即 为 退 化 阵 。 此 时 分 解 出 的 特 征 向 量 不 能 覆 盖 整 个 m 空 间 。此 时 只 需 要 在 保 证 基 的 正 交 性 的 前 提 下 ， 在 剩 余 的 空 间 中 任 意 取 得 m-p 维 正 交 向 量 填 充 E 的空 格 即 可 。 它 们 将 不 对 结 果 造 成 影 响 。 因 为 此 时 对 应 于 这 些 特 征 向 量 的 特 征 值 ， 也 就 是 方 差值 为 零求 出 特 征 向 量 矩 阵 后 我 们 取 ， 则 ， 由 线 形 代 数 知 识 可 知 矩 阵 P 有 性 质TPETAPD， 从 而 进 行 如
28、 下 计 算 ：1TP111()()()TTTYCPADPnnn（4.17）1YC（4.18）可 知 此 时 的 P 就 是 我 们 需 要 求 得 变 换 基 。 至 此 我 们 可 以 得 到 PCA 的 结 果 ：X 的 主 元 即 是 的 特 征 向 量 也 就 是 矩 阵 P 的 行 向 量 。TX矩 阵 对 角 线 上 第 i 个 元 素 是 数 据 X 在 方 向 的 方 差 。YCip我 们 可 以 得 到 PCA 求 解 的 一 般 步 骤 ：采 集 数 据 形 成 m*n 的 矩 阵 。 m 为 观 测 变 量 个 数 ,n 为 采 样 点 个 数 。 1在 每 个 观 测
29、 变 量 （ 矩 阵 行 向 量 ） 上 减 去 该 观 测 变 量 的 平 均 值 得 到 矩 阵 X。 2对 进 行 特 征 分 解 ， 求 取 特 征 向 量 以 及 所 对 应 的 特 征 根 。 3 TX五、总结：PCA 技 术 的 一 大 好 处 是 对 数 据 进 行 降 维 的 处 理 。 我 们 可 以 对 新 求 出 的 “主 元 ”向 量 的 重要 性 进 行 排 序 ， 根 据 需 要 取 前 面 最 重 要 的 部 分 ， 将 后 面 的 维 数 省 去 ， 可 以 达 到 降 维 从 而 简 化模 型 或 是 对 数 据 进 行 压 缩 的 效 果 。 同 时 最
30、大 程 度 的 保 持 了 原 有 数 据 的 信 息 。PCA 方 法 和 线 形 代 数 中 的 奇 异 值 分 解 (SVD)方 法 有 内 在 的 联 系 ， 一 定 意 义 上 来 说 ， PCA 的解 法 是 SVD 的 一 种 变 形 和 弱 化 。 对 于 m*n 的 矩 阵 X， 通 过 奇 异 值 分 解 可 以 直 接 得 到 如 下 形 式 ：TXU（4.19）其 中 U 是 一 个 m*m 的 矩 阵 ， V 是 一 个 n*n 的 矩 阵 ， 而 是 m*m 的 对 角 阵 。 形 式 如下 ：10=00r （4.20）其 中 ， 是 原 矩 阵 的 奇 异 值 。 由 简 单 推 导 可 知 ， 如 果 对 奇 异 值 分 解 加 以 约12.r束 :U 的 向 量 必 须 正 交 ,则 矩 阵 U 即 为 PCA 的 特 征 值 分 解 中 的 E， 则 说 明 PCA 并 不 一 定 需 要 求取 ， 也 可 以 直 接 对 原 数 据 矩 阵 X 进 行 SVD 奇 异 值 分 解 即 可 得 到 特 征 向 量 矩 阵 ， 也 就 是 主TX元 向 量 。六、在数字图像处理中的应用
