基于加权量子粒子群的分类器设计.docx

1、1基于加权量子粒子群的分类器设计摘 要：针对支持向量机在大样本情况下训练速度慢的缺点，引入权重最优位置策略改进量子粒子群优化算法，通过改进的 Michigan 编码方案对语音参数进行编码，构造分类规则适应度函数实现基于加权量子粒子群的分类器设计。在说话人识别中的应用结果表明，该分类器具有较好的抗噪性能和较高的识别速度。关键词：说话人识别；支持向量机；量子粒子群优化；分类器Design of Classifier Based on Weighted Quantum Particle SwarmLI Rui, LI Wei-juan, LI Ming(School of Computer and

2、Communication, Lanzhou University of Technology, Lanzhou 730050)【Abstract】Aiming at the shortage of Support Vector Machine(SVM) slow practice speed in the case of large sample, this paper introduces weighted optimal position strategy to improve Quantum Particle Swarm Optimization(QPSO) algorithm, pr

3、ocesses coding for voice parameters by improving Michigan coding scheme, and constructs new classified rule fitness function to realize designing of classifier based on weighted quantum particle swarm. Application results of speaker recognition show that this classifier has better performance of noi

4、se proof and recognition speed.【Key words】Speaker recognition; Support Vector Machine (SVM); Quantum Particle Swarm Optimization (QPSO); classifier 计 算 机 工 程Computer Engineering第 36 卷 第 8 期Vol.36 No.82010 年 4 月April 2010人工智能及识别技术 文章编号：10003428(2010)08000 文献标识码：A 中图分类号：TP3931 概 述传 统 的 说 话 人 识 别 主 要 用

5、 支 持 向 量 机 (Support Vector Machine, SVM)实 现 分 类 ， SVM 是 基 于 统 计 理 论 的 分 类 规 则，针对小样本情况进行，在大样本情况下会出现训练速度 慢的 缺 点 ， SVM 在 训 练 过 程 中 不 考 虑 数 据 之 间 可 能 存 在 的 相关 性 ， 需 要 求 解 二 次 规 划 (Quadratic Programming, QP)问 题 ，计 算 较 复 杂 ， 所 以 ， SVM 对 大 样 本 数 据 的 分 类 并 不 是 很 准确 1。粒 子 群 优 化 算 法 (Particle Swarm Optimizati

6、on, PSO)是 由Kennedy J 等 人 于 1995 年 提 出 的 一 种 迭 代 优 化 工 具 2， 其 主要 特 点 是 简 单 、 收 敛 速 度 较 快 、 没 有 很 多 参 数 需 要 调 整 ， 且不 需 要 计 算 梯 度 ， 文 献 3提 出 一 种 基 于 自 动 学 习 机 的 分 类 器设 计 ， 其 中 包 括 粒 子 群 分 类 器 (Particle Swarm, PS-classifier)，然 而 PS-classifier 在 求 解 复 杂 问 题 时 ， 存 在 易 陷 入 局 部 最 优解 、 收 敛 速 度 慢 、 参 数 设 置 等

7、问 题 影 响 其 分 类 准 确 率 。 一 些学 者 对 PSO 算 法 提 出 改 进 ， 文 献 4提 出 的 基 于 量 子 理 论 的量 子 粒 子 群 优 化 (Quantum PSO, QPSO)算 法 是 一 种 新 型 的 具有 高 效 率 全 局 搜 索 能 力 的 算 法 ， 但 是 QPSO 算 法 是 在 假 定 所有 粒 子 对 整 个 群 体 的 贡 献 率 均 相 等 的 情 况 下 进 行 的 ， 这 不 符合 一 般 进 化 过 程 中 优 胜 劣 汰 的 思 想 。针 对 该 问 题 ， 本 文 引 入 权 重 最 优 位 置 策 略 改 进 QPSO，

8、并 将 改 进 后 的 加 权 粒 子 群 优 化 算 法 用 于 基 于 量 子 粒 子 群 的 分类 器 设 计 ， 得 到 基 于 加 权 量 子 粒 子 群 的 分 类 器 。2 量 子 粒 子 群 优 化 算 法 的 基 本 理 论QPSO 算 法 是 从 量 子 力 学 的 角 度 提 出 一 种 新 的 算 法 ， 其粒 子 状 态 不 是 由 粒 子 的 位 置 和 速 度 描 述 ， 而 是 由 波 函 数4描 述 ， 其 概 率 密 度 函 数 为 ， 它 的 形 式 取 决(,)xt2(,)xt于 粒 子 所 在 的 势 阱 能 量 强 度 参 数 。通 过 蒙 特 卡

9、罗 随 机 模 拟 方 式 得 到 的 粒 子 根 据 以 下 迭 代 公式 来 移 动 ， 其 中 ， 为 收 缩 因 子 ； 为 0,1范 围 内 变 化 的,uk随 机 数 。(1)()Lmbestx(2)1(1)lnif0.5()iixtpLku在 QPSO 中 引 入 平 均 最 好 位 置 Mbest 概 念 作 为 所 有 粒 子的 重 心 ：(3)121 1,MiiiiDbestpp 其 中 ， 为 第 i 个 粒 子 的 pbest， 表 示 粒 子 群 体 中 最 好 粒 子 ，i在 这 种 情 况 下 ， 局 部 吸 引 确 保 粒 子 群 收 敛 于 以 下 坐 标 ：

10、(4)1,2,12()/(idgdpcc3 加 权 量 子 粒 子 群 优 化 算 法在 QPSO 算 法 中 ， 平 均 最 好 位 置 Mbest 利 用 式 (3)进 行计 算 ， 最 好 平 均 位 置 仅 是 所 有 粒 子 在 个 体 最 优 位 置 上 的 平 均值 ， 即 每 个 粒 子 对 Mbest 的 贡 献 是 相 同 的 ， 这 是 一 种 主 流 思路 ， 由 平 均 最 好 位 置 Mbest 决 定 搜 寻 的 范 围 和 粒 子 的 创 造 力 。虽 然 个 体 最 好 位 置 的 定 义 是 合 理 的 ， 但 与 自 然 社 会 进 化 的 规律 相 比

11、， 又 有 一 些 矛 盾 。 其 原 因 是 整 个 社 会 的 机 制 受 主 流 思想 决 定 ， 但 每 个 个 体 都 平 等 是 不 合 理 的 。 事 实 上 ， 杰 出 的 个体 在 进 化 发 展 中 起 着 主 要 作 用 ， 因 此 ， 引 入 权 重 最 优 位 置 对 基金项目：甘肃省自然科学基金资助项目(0803RJZA025) ；甘肃省教育厅科研基金资助项目(0803-07)作者简介：收稿日期：2009-10-20 2式 (3)进 行 改 进 。改 进 的 主 要 思 想 是 如 何 确 定 一 个 粒 子 是 否 为 最 优 粒 子 ，即 如 何 确 定 它 对

12、 Mbest 值 计 算 的 重 要 性 。 在 其 他 进 化 算 法 中 ，大 多 根 据 粒 子 的 适 应 值 确 定 它 是 否 重 要 5， 适 应 值 越 大 ， 粒子 越 重 要 。 所 以 ， 利 用 粒 子 适 应 值 的 大 小 ， 先 将 粒 子 按 降 序排 列 ， 然 后 为 每 个 粒 子 确 定 其 权 重 系 数 ， 根 据 粒 子 的iai排 序 呈 线 性 下 降 ， 即 离 最 佳 解 决 方 案 越 近 ， 权 重 系 数 越 大 ，所 以 ， 最 好 平 均 位 置 Mbest 的 计 算 改 进 为(5)1211,i Mii iDbestpapap

13、 其 中 ， 为 权 重 系 数 ； 为 每 个 粒 子 的 维 度 系 数 ； M 为 种i id群 数 。 本 文 采 用 每 个 粒 子 的 权 重 系 数 1.50.5 呈 线 性 递 减 。4 基 于 加 权 量 子 粒 子 群 的 分 类 器 设 计4.1 编 码 规 则 和 适 应 度 函 数采 用 改 进 的 Michigan 编 码 方 案 5对 语 音 数 据 进 行 编 码 ，每 个 粒 子 与 编 码 规 则 一 一 对 应 ， 规 则 集 对 应 整 个 粒 子 群 。 每个 粒 子 由 不 同 维 度 组 成 ， 数 据 集 中 每 个 特 征 属 性 对 应 粒

14、子 的不 同 维 度 值 。 数 据 集 中 的 类 别 属 性 对 应 粒 子 的 一 个 维 度 值 ，但 不 参 与 粒 子 间 的 信 息 交 换 ， 属 于 粒 子 的 恒 定 属 性 。 因 此 ，分 类 规 则 与 粒 子 建 立 一 一 对 应 关 系 。 采 用 这 种 编 码 规 则 ， 粒子 每 个 维 度 表 达 不 同 的 含 义 ， 可 以 方 便 地 进 行 粒 子 群 算 法 的粒 子 位 置 更 新 操 作 ， 同 时 能 满 足 粒 子 间 不 同 维 度 进 行 信 息 交换 的 独 立 性 要 求 。设 说 话 人 数 据 集 D 中 每 一 个 说 话

15、 人 包 含 r 个 特 征， r 维 属 性 是 本 文 采 用 的 每 一 个 说 话 人 的 MFCC12,x系 数的维数，然后对其进行二值化，如果实验中共有 n 个说话人 ， 表 明 类 别 属 性 为 n， 即 clsss1, class2, , classn这 样 ， 第i 个 粒 子 为 一 个 r 维 向 量 , ,1()iiirixx， 它 们 共 同 构 成 r 维 规 则 搜 寻 空 间 ， 在 这 个 r 维1,2n目 标 搜 索 空 间 内 进 行 优 化 分 类 。适 应 度 函 数 定 义 为(6)()()i iftpTMsp其 中 ， T 为 总 体 训 练 样

16、 本 数 据 集 ； 是 指 被 错 误 训()ispi练 的 点 ， 通 过 最 大 化 适 应 度 函 数 ， 最 小 化 错 误 训 练 点 的 个 数来 达 到 最 优 分 类 。4.2 决 策 超 平 面超 平 面 的 一 般 形 式 定 义 为(7)121()ndXwxxw其 中 ， , 分 别 称 为 增 扩,) 21(,)nW特 征 和 权 向 量 ， n 为 特 征 空 间 的 维 数 。 一 般 情 况 下 有 许 多 超平 面 ( 是 最 小 值 ， M 是 类 别 数 )将 特 征 空 间 分 为 不 同 的 区log2域 。 二 维 空 间 中 3 个 超 平 面 分

17、 类 如 图 1 所 示 。c l a s s 6( 1 0 0 )c l a s s 5( 1 1 0 )c l a s s 4( 1 1 1 )c l a s s 1( 1 0 1 )c l a s s 3( 0 1 1 )c l a s s 2( 0 0 1 )I R( 0 1 0 )d3( x )d2( x )d1( x )+- +-+x1x2图 1 二 维 空 间 中 3 个 超 平 面 分 类图 1 为 3 个 特 征 属 性 ， 3 个 类 别 属 性 的 分 类 情 况 ， 每 一个 类 属 于 一 个 区 域 的 编 码 ， 这 个 编 码 是 由 3 个 超 平 面 获 得

18、 的(对 于 二 维 的 特 征 空 间 )， 其 中 ， IR 表 示 不 确 定 的 区 域 ； 本 文分 类 器 在 解 空 间 找 到 ， H 为 必 需 的 超 平 面 (1,2)jW个 数 。4.3 基 于 加 权 量 子 粒 子 群 的 分 类 器 结 构通 过 以 上 定 义 ， 可 以 利 用 量 子 粒 子 群 优 化 算 法 进 行 分 类规 则 的 挖 掘 ， 进 而 形 成 分 类 器 。 分 类 规 则 挖 掘 注 重 获 得 代 表一 条 最 佳 规 则 的 粒 子 ， 更 注 重 获 得 最 佳 协 调 规 则 组 合 ， 由 于分 类 规 则 挖 掘 问 题

19、的 特 殊 性 ， 因 此 针 对 分 类 规 则 挖 掘 问 题 ，改 进 量 子 粒 子 群 算 法 ， 基 于 量 子 行 为 使 用 更 合 理 的 搜 寻 方 法 ，然 后 采 用 信 任 分 配 算 法 (Credit Assignment Algorithm, CAA)使 规 则 集 对 数 据 进 行 分 类 ， 用 文 献 6中 定 义 的 精 度(precision)作 为 分 类 规 则 权 值 ， 根 据 该 权 值 决 定 矛 盾 数 据 分属 类 别 ， 最 终 实 现 基 于 量 子 粒 子 群 算 法 的 分 类 器 设 计 。本 文 分 类 器 设 计 的 主

20、 要 步 骤 如 下 ：步 骤 1 初 始 化 种 群 ， 设 种 群 规 模 为 M， 粒 子 维 数 为D， 初 始 化 =1.2, =1.5。ia步 骤 2 根 据 式 (8)计 算 每 个 粒 子 的 适 应 度 值 ， 按 降 序 排列 ， 确 定 每 个 粒 子 的 权 重 系 数 。i步 骤 3 利 用 式 (1)计 算 L 值 ， 从 而 利 用 式 (5)计 算 最 好 平均 位 置 。Mbest步 骤 4 根 据 式 (2)判 断 粒 子 的 更 新 位 置 。步 骤 5 CAA 使 得 规 则 集 对 数 据 进 行 分 类 ， 根 据 精 度 进 行分 类 。步 骤 6

21、 判 断 是 否 满 足 循 环 条 件 ， 若 满 足 则 结 束 优 化 ，则 输 出 结 果 ， 否 则 返 回 步 骤 2。在本文分类器中每一个粒子都是随机地以如下 形 式 从 解 空间 中 选 择 ： 12,iWHP 其 中 ， 是 第 i 个 超 平 面 的 权 向 量 ，1(,)iiinwH 是 预 先 定 义 的 超 平 面 个 数 。 适 应 度 函 数 如 下 ：(8)1Hgikdipdist wp其 中 ， 和 均 为 矩 阵 ， ， i 12,iiiHiW gp； 对 向 量 的 归 一 化 ， 终12,gigHgW ()kdi止 条 件 为 最 适 应 值 或 者 默

22、 认 的 最 大 迭 代 次 数 ； 在 本 实 验 中 ，选 择 最 大 的 迭 代 次 数 ， 权 向 量 w 选 为 线 性 下 降 。5 仿 真 实 验 结 果 与 分 析仿 真 实 验 中 采 用 2 个 语 音 库 ， 分 别 称 为 语 音 库 1 和 语 音库 2。 语 音 库 1 有 50 名 录 音 人 员 ， 包 含 30 名 男 性 和 20 名女 性 ； 语 音 库 2 有 20 名 录 音 人 员 ， 包 含 12 名 男 性 和 8 名 女性 ， 分 别 在 不 同 信 噪 比 情 况 下 ， 对 其 进 行 录 音 。 每 个 人 在 实验 室 环 境 下 进

23、行 录 音 ， 采 用 16 KHz 采 样 率 ， 16 bit 采 样 精度 。 录 音 人 员 为 班 上 同 学 ， 每 人 朗 读 随 机 生 成 的 词 句 ， 语 句长 度 为 2 s 4 s， 每 个 语 句 存 为 一 个 文 件 ， 每 次 录 取 20 段 语句 。仿 真 实 验 在 Matlab7.0 环 境 下 ， 首 先 对 采 样 后 的 语 音 信号 进 行 端 点 检 测 、 预 加 重 ， 加 窗 (Hamming 窗 ， 帧19z长 20 ms， 帧 移 10 ms)， 提 取 12 维 MFCC 倒 谱 系 数 取 其 一阶 、 二 阶 差 分 系 数

24、， 构 成 36 维 的 特 征 矢 量 序 列 差 。 然 后 对其 按 照 改 进 的 Michigan 编 码 方 案 进 行 语 音 编 码 ， 并 对 其 训3练 。 粒 子 数 选 择 10 个 或 20 个 粒 子 ， 最 大 迭 代 次 数 为 500，迭 代 次 数 阈 值 选 择 300， 从 1.2 线 性 递 减 到 0.5， 试 验 中将 WQPS- classifier 识 别 率 (Recognition Rate, RR)和 识 别 时 间(T)与 SVM、 PS-classifier 进 行 性 能 比 较 。表 1 使 用 语 音 库 1 中 的 数 据 进

25、 行 仿 真 ， 在 预 设 训 练 的 超平 面 值 H 为 10、 粒 子 束 取 为 20 时 ， 对 识 别 率 、 识 别 时 间 进行 分 析 比 较 。 由 表 1 可 以 看 出 ， 本 文 分 类 器 提 高 了 说 话 人 识别 率 ， 减 少 了 识 别 时 间 ， 满 足 说 话 人 识 别 的 实 用 性 。表 1 3 种 算 法 的 性 能 比 较 算 法 识 别 率 /(%) 识 别 时 间 /sSVM 90.1 2.95PS-classifier 92.4 1.72本 文 分 类 器 95.8 0.95表 2 是 选 用 语 音 库 2 中 不 同 信 噪 比

26、环 境 下 的 语 音 数 据 ，在 预 设 训 练 的 超 平 面 值 H 为 10 时 ， 对 这 3 种 分 类 器 的 抗 噪声 性 能 进 行 测 试 ， 由 实 验 数 据 可 以 看 出 ， 在 信 噪 比 较 低 的 情况 下 (SNR=-15 dB)时 ， 本 文 分 类 器 的 抗 噪 特 性 略 优 于 其 他 2 个 分 类 器 ， 但 是 随 着 信 噪 比 的 提 高 ， 如 在 SNR=10 dB 和SNR=15 dB 时 ， 本 文 分 类 器 的 识 别 率 比 SVM 分 别 高 出 46.8%和29.8%。 从 总 体 上 说 ， 在 同 等 的 SNR

27、下 ， 本 文 分 类 器 的 识 别率 是 最 高 的 。表 2 3 种 算 法 的 平 均 识 别 率 比 较 (%)算 法 SNR=-15 dB SNR=-10 dB SNR=-5 dB SNR=0 dB SNR=5 dB SNR=10 dB SNR=15 dBSVM 8.4 9.2 15.3 43.4 50.9 55.8 61.8PS-classifier 10.1 11.6 24.1 45.6 59.8 64.7 73.3本 文 分 类 器 9.8 14.7 25.6 52.5 62.3 90.2 91.66 结 束 语针 对 SVM 及 PSclassifier 分 类 器 的 不

28、 足 ， 提 出 一 种 新的 分 类 器 ， 并 将 其 用 于 实 现 说 话 人 识 别 中 。 实 验 结 果 表 明 ，本 文 分 类 器 克 服 了 SVM 不 适 合 大 样 本 情 况 下 的 分 类 及 PS-classifier 容 易 陷 入 局 部 最 优 的 缺 点 ， 提 高 了 在 高 维 空 间 中 的训 练 速 度 ， 具 有 更 好 的 收 敛 精 度 。 改 进 的 Michigan 编 码 方法 及 本 文 分 类 器 满 足 了 对 语 音 数 据 分 类 的 需 求 ， 有 效 提 高 了说 话 人 识 别 速 度 和 抗 噪 性 。参 考 文 献1

29、 侯风雷 , 王炳锡. 基于支持向量机的说话人辨认研究J. 通信学报, 2002, 23(6): 61-67.2 Kennedy J, Eberhart R. Particle Swarm OptimizationC/Proc. of IEEE International Conference on Neural Networks. Piscataway, USA: IEEE Press, 1995.3 Zahiri S H. Learning Automata Based ClassifierJ. Pattern Recognition Letters, 2008, 29(1): 40-48

30、.4 Jun Sun, Xu Wenbo, Feng Bin. Adaptive Parameter Control for Quantum-behaved Particle Swarm Optimization on Individual LevelC/Proc. of IEEE International Conference on Systems, Man and Cybernetics. Hawii, USA: s. n., 2005.5 段晓东, 王存睿, 王楠楠, 等. 一种基于粒子群算法的分类器的设计J. 计算机工程, 2005, 31(20): 107-109.6 王自强 , 冯博琴. 分类规则挖掘的免疫算法J. 西安交通大学学报, 2005, 39(2): 111-114.编 辑 陆 燕 菲