隐马尔科夫故障模式识别.doc

1、分类号： 学校代码：10079 密级：华 北 电 力 大 学硕 士 学 位 论 文题 目：隐马尔科夫模型及其在机械故障模式识别中的应用英 文 题 目：H idden Markov Model and Its Application in Mechanical Faults Pattern Recognition 研 究 生：田春花 专 业：控制理论与控制工程研 究 方 向：检测技术与自动化装置指 导 教 师：柳亦兵 职称：教 授论文提交日期：2007 年 2 月华 北 电 力 大 学华北电力大学硕士学位论文声 明本人郑重声明：此处所提交的硕士学位论文 ，是本人在华北电力大学攻读硕士学位期间，在

2、导师指导下进行的研究工作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名： 日 期： 关于学位论文使用授权的说明本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为目的,复制赠送和交换学位论文；同意学校可以用

3、不同方式在不同媒体上发表、传播学位论文的全部或部分内容。(涉密的学位论文在解密后遵守此规定)作者签名： 导师签名： 日 期： 日 期： 华北电力大学硕士学位论文摘 要隐马尔科夫模型（Hidden Markov Model, 简称作 HMM）是一种新的模式识别技术，其基本方法是通过对训练信号进行特征值提取和标量量化，建立具有相应状态数和观测值数的隐 Markov 模型，然后利用该模型计算待诊断信号与训练信号的相似概率，根据相似概率的差异判断信号状态的变化，达到信号模式分类的目的。本文的主要研究工作是利用 HMM 进行机械设备运行状态识别和故障诊断，包括三项研究内容： 1）在深入学习 HMM 理论

4、基础上，探讨 HMM 的技术实现方法，编制 Matlab 环境下的HMM 实现程序；2）研究振动信号特征提取方法，开发基于 LabVIEW 的希尔伯特变换和倒频谱分析程序；3）应用 HMM 对于汽轮机和齿轮等两种典型旋转机械设备运行状态进行分析识别。对于汽轮机设备，以其振动信号频谱中基频处的幅值作为 HMM训练的特征值，建立汽轮机升负荷过程的 HMM，进行设备状态变化分析；对于齿轮箱设备，建立运行过程振动信号的 HMM 模型，根据相似概率的变化识别齿根裂纹故障的生成及发展趋势，两个应用案例都给出满意的结果。关键词：隐马尔科夫模型，故障诊断，特征提取，汽轮机，齿轮ABSTRACTHidden M

5、arkov Model (HMM)is a new technique in pattern recognition. By extracting and vector quantizing the features of training signal, Hidden Markov Mode with according state number and observation number can be established, then the similarity probability of the unknown signal can be calculated through H

6、MM. By comparing the similarity probability, pattern of the signal can be recognized. In this work, HMM is applied in the pattern recognition and fault diagnosis of mechanical equipment, The mean works include three parts: 1) The realization approach of HMM for fault diagnosis was discussed and the

7、program of HMM was developed with Matlab; 2) The methods of feature extraction from vibration signal, especially cepstrum and envelop method, was studied, and according program was developed with LabVIEW; 3) Two typical rotating machine(turbine and gearbox) with different signal characteristics were

8、 used to improve the effectiveness of HMM for identification and classification of machine condition. For the turbine, the amplitude at the basic frequency is extracted as the features for HMM training, for the gear box, HMM is established to recognize the development of gear crack. The results of t

9、hese two examples are all satisfied.Tian Chunhua(Control Theory and Control Engineering)Directed by prof. Liu YibingKEY WORDS: Hidden Markov Model, fault diagnosis, feature extraction, turbine, gear华 北 电 力 大 学 硕 士 学 位 论 文4华北电力大学（北京）硕士学位论文0目 录中文摘要英文摘要第一章 概述 .1.1 HMM 故障诊断方法研究意义 .错误！未定义书签。1.2 HMM 方法研究现

10、状 .1.3 本文的主要工作及内容 .1.3.1 本文的主要工作 .1.3.2 本文的主要内容 .第二章 隐 Markov 模型的理论基础 2.1 Markov 模型 2.2 HMM 基本概念及定义 .2.3 HMM 基本算法 .2.3.1 前向-后向算法 .2.3.2 Viterbi 算法 .2.3.3 Baum-Welch 算法 .2.4 HMM 的类型 .2.5 本章小结 .第三章 振动测量分析系统功能介绍 .3.1 时域特征值提取 .3.2 包络分析（Hilbert 变换） 3.3 模型分析 .3.4 倒频谱 .3.5 虚拟仪器技术简介 .3.6 LabVIEW 简介 第四章 振动测量

11、分析系统应用实例 .4.1 基于 HMM 的汽轮机升负荷信号分析 .4.1.1 振动信号的特征值提取 .4.1.2 幅值谱量化 .4.1.3 HMM 模型训练 .4.1.4 HMM 故障诊断 .华北电力大学（北京）硕士学位论文14.2 振动测量分析系统在齿轮振动信号分析中的应用 .4.2.1 实验意义 .4.2.2 实验描述 .4.2.3 信号分析 .4.2.5 分析结果 .4.3 振动测量分析系统在送粉风机轴承振动信号分析中的应用 .4.3.1 实验意义 .4.3.2 实验描述 .4.3.3 信号分析 .4.3.4 分析结果 .4.4 本章小结 .第五章 结论与展望 .6.1 本文的结论 .

12、6.2 下一步研究工作的设想 .参考文献 .致 谢 .在学期间发表的学术论文和参加科研情况 .华北电力大学（北京）硕士学位论文2第一章 概述1.1 HMM 故障诊断方法研究意义：隐 马 尔 科 夫 模 型 （ Hidden Markov Model， 简 称 为 HMM） 是 一 种 时 间 序 列 的 统计 模 型 ， 适 用 于 动 态 时 间 序 列 ， 尤 其 是 对 于 包 含 大 量 丰 富 信 息 、 非 平 稳 和 低 重 复 性和 复 现 性 的 信 号 ， 具 有 很 强 的 模 式 分 类 能 力 ， 并 具 有 传 统 模 式 识 别 方 法 所 不 具 备 的独 特

13、的 特 性 ， 因 此 近 年 来 受 到 理 论 和 工 程 应 用 领 域 研 究 人 员 的 广 泛 关 注 ， 已 经 在 模式 识 别 的 很 多 领 域 ， 特 别 是 在 语 音 识 别 领 域 得 到 成 功 的 应 用 。 随 着 科 学 技 术 的 进 步 与 飞 速 发 展 ， 工 业 设 备 与 系 统 不 断 向 着 大 型 化 、 高 效 率 、高 性 能 和 高 自 动 化 方 向 的 发 展 ， 在 设 备 运 行 经 济 性 不 断 提 高 的 同 时 ， 可 靠 性 和 安 全性 也 越 来 越 受 到 关 注 ， 因 为 一 旦 关 键 设 备 出 现 故

14、 障 ， 导 致 整 个 生 产 系 统 的 非 计 划 停运 ， 则 会 造 成 巨 大 的 经 济 损 失 ， 甚 至 危 及 人 身 安 全 。 因 此 希 望 能 及 时 了 解 设 备 的 运行 状 态 、 预 防 事 故 ， 最 大 限 度 发 挥 设 备 的 潜 力 。 这 就 对 设 备 状 态 监 测 和 故 障 诊 断 工作 者 提 出 了 更 高 的 要 求 。各 种 类 型 的 旋 转 机 械 是 许 多 工 业 企 业 （ 如 电 厂 ， 炼 油 厂 等 ） 的 主 要 设 备 ， 保 证这 些 设 备 的 安 全 和 可 靠 运 行 就 显 得 非 常 重 要 。

15、大 型 旋 转 设 备 中 的 许 多 关 键 零 部 件（ 例 如 齿 轮 、 轴 承 等 ） 由 于 长 期 连 续 工 作 在 高 载 荷 、 高 转 速 下 ， 极 易 受 到 损 害 和 出现 故 障 。 据 统 计 ， 传 动 机 械 中 80%的 故 障 是 由 齿 轮 引 起 的 ， 旋 转 机 械 中 齿 轮 故 障 占其 故 障 的 10%左 右 20。 采 用 一 些 先 进 技 术 对 旋 转 机 械 设 备 及 其 零 部 件 进 行 状 态 监 测与 故 障 诊 断 ， 可 以 提 高 维 修 效 率 ， 减 少 一 些 不 必 要 的 经 济 损 失 ， 从 而

16、创 造 更 大 的 经济 效 益 和 社 会 效 益 ， 具 有 重 大 的 意 义 。目 前 在 基 于 振 动 信 号 分 析 的 旋 转 机 械 故 障 诊 断 领 域 ， 各 种 针 对 平 稳 信 号 的 分 析诊 断 技 术 相 对 程 度 ， 已 有 大 量 的 理 论 和 应 用 研 究 成 果 。 而 对 于 变 工 况 条 件 下 产 生 的非 平 稳 振 动 信 号 的 诊 断 方 法 研 究 还 处 于 初 期 阶 段 ， 许 多 基 于 非 平 稳 信 号 分 析 的 故 障特 征 提 取 和 故 障 识 别 技 术 正 处 于 研 究 阶 段 。 旋 转 机 械 设

17、 备 变 工 况 状 态 （ 例 如 汽 轮 机升 降 速 过 程 ） 下 产 生 的 非 平 稳 振 动 信 号 中 ， 包 含 有 大 量 反 映 设 备 运 行 状 态 和 故 障 的信 息 ， 而 这 些 信 息 往 往 是 在 设 备 平 稳 运 行 的 过 程 中 是 无 法 监 测 到 的 。 因 此 ， 对 变 工况 过 程 的 研 究 具 有 非 常 重 要 的 价 值 。 非 平 稳 运 行 状 态 比 平 稳 运 行 状 态 复 杂 ， 产 生 的非 平 稳 信 号 的 频 率 和 幅 值 都 会 随 着 时 间 发 生 变 化 化 ， 例 如 当 设 备 升 降 速 过

18、 程 中 ， 转速 通 过 转 子 系 统 的 临 界 转 速 时 ， 设 备 振 动 会 产 生 剧 烈 变 化 。 由 于 该 过 程 会 受 到 来 自设 备 的 很 多 因 素 的 影 响 ， 因 此 其 振 动 信 号 的 特 征 具 有 很 差 的 重 复 性 和 复 现 性 。 因 此华北电力大学（北京）硕士学位论文3需 要 有 一 种 相 应 的 特 征 值 提 取 和 故 障 诊 断 的 方 法 6。过 去 在 对 汽 轮 机 升 降 速 过 程 进 行 监 测 和 故 障 诊 断 中 ， 常 常 会 选 取 某 一 特 定 转 速下 的 一 段 信 号 进 行 分 析 然

19、后 将 其 频 谱 与 相 应 故 障 模 式 的 进 行 对 比 ， 来 判 断 设 备 的 状态 。 很 明 显 ， 这 种 方 法 存 在 缺 陷 ， 停 留 在 静 态 观 测 的 基 础 之 上 ， 不 能 反 映 出 整 个 升降 速 过 程 的 变 化 ， 而 振 动 信 号 变 化 的 趋 势 包 含 有 很 有 价 值 的 信 息 ， 并 且 会 影 响 到 诊断 的 全 面 性 和 准 确 性 。 而 HMM 是 一 种 动 态 模 式 识 别 工 具 ， 能 够 对 一 个 时 间 跨 度 上的 信 息 进 行 统 计 建 模 和 分 类 ， 在 对 汽 轮 机 升 降

20、速 过 程 的 诊 断 过 程 中 ， 可 以 整 个 过 程进 行 分 析 和 对 比 ， 从 而 最 终 确 定 设 备 所 处 状 态 。 即 HMM 故 障 诊 断 方 法 在 一 个 动 态的 环 境 中 对 设 备 状 态 进 行 观 测 、 评 估 ， 能 够 早 期 发 现 故 障 的 迹 象 ， 以 便 于 把 故 障 消灭 在 萌 芽 状 态 16。 这 是 HMM 在 动 态 信 号 分 析 领 域 的 主 要 特 点 。 另 外 ， HMM 是 以统 计 模 型 为 基 础 的 ， 而 模 式 识 别 理 论 是 机 器 学 习 领 域 的 一 个 分 支 ， 因 此

21、研 究 HMM故 障 诊 断 方 法 对 于 设 备 运 行 状 态 进 行 自 动 监 测 和 估 计 具 有 重 要 意 义 。1.2 HMM 方法研究现状HMM 的 基 本 理 论 在 19 世 纪 六 十 年 代 末 七 十 年 代 初 就 由 Baum 等 人 在 一 系 列 论文 中 提 出 ， 随 后 由 Baker 和 Jelinek 等 人 首 先 将 其 应 用 到 语 音 识 别 之 中 。 早 期 的 语音 识 别 领 域 是 应 用 动 态 DTW（ ） 技 术 ， 并 取 得 了 一 定 的 结 果 。 由 于 贝 尔 实 验 室 的Rabiner 等 人 在 20

22、 世 纪 80 年 代 中 期 对 HMM 的 介 绍 ， 才 逐 渐 使 HMM 为 世 界 各 国从 事 语 音 处 理 的 研 究 人 员 所 了 解 和 熟 悉 ， 成 为 公 认 最 有 效 的 语 音 识 别 方 法 之 一 ， 并逐 渐 取 代 了 动 态 DTW（ ） 技 术 。 过 去 十 几 年 HMM 的 研 究 已 经 逐 渐 推 广 到 其 它 众多 应 用 领 域 ， 有 关 的 介 绍 该 理 论 及 其 应 用 的 资 料 也 越 来 越 多 7,9,10。语 音 识 别 技 术 的 实 现 如 下 图 1-1 所 示 ：在 语 音 识 别 中 ， 首 先 要

23、建 立 一 种 对 应 关 系 ， 例 如 ， 使 一 个 字 对 应 一 个 HMM，这 里 的 状 态 就 是 指 这 个 音 所 包 含 的 全 部 可 能 的 音 素 （ 或 其 细 分 、 或 其 组 合 ） 。 对 应于 此 字 的 一 个 观 测 样 本 ， 这 些 音 素 按 照 一 定 的 先 后 顺 序 出 现 ， 这 就 形 成 了 HMM 中的 状 态 序 列 ， 现 实 中 是 不 可 观 测 到 的 27。 相 应 的 观 测 过 程 的 实 现 就 是 每 个 字 母 所 对应 的 声 音 信 号 的 振 幅 。 为 了 建 立 对 应 关 系 ， 首 先 应 对

24、 该 字 的 一 组 观 测 样 本 （ 该 字 的图 1-1 语音信号识别流程图华北电力大学（北京）硕士学位论文4若 干 个 声 音 信 号 ） 进 行 学 习 ， 也 就 是 说 相 应 的 状 态 序 列 缺 失 的 情 况 下 进 行 HMM 的参 数 估 计 。文 献 7中 提 出 了 一 种 将 隐 马 尔 科 夫 模 型 （ HMM） 和 支 持 向 量 机 （ SVM） 相 结合 的 分 类 算 法 ， 并 将 其 应 用 在 音 频 自 动 分 类 中 ， 取 得 了 比 较 满 意 的 结 果 。 文 献16， 17， 18均 介 绍 了 HMM 在 语 音 识 别 中 的

25、 成 功 应 用 ， 其 中 文 献 16应 用 连 续 隐Markov 模 型 （ CHMM） 对 语 音 信 号 进 行 分 类 ， 并 对 模 型 状 态 进 行 了 重 构 ， 在 对 非 特定 人 的 语 音 识 别 中 ， 该 方 法 识 别 的 准 确 性 较 常 规 模 型 更 高 。 文 献 17设 计 了 一 个 基于 离 散 隐 Markov 整 词 模 型 的 非 特 定 人 汉 语 小 词 表 关 键 词 提 取 语 音 识 别 系 统 ， 提 出 一种 基 于 前 向 -后 向 搜 索 得 到 的 关 键 词 假 设 做 二 次 识 别 的 置 信 度 策 略 。

26、并 将 该 置 信 度 用于 关 键 词 提 取 系 统 的 说 话 验 证 ， 得 到 了 较 好 的 效 果 。 由 上 可 看 出 ， 隐 Markov 模 型在 语 音 识 别 方 面 的 研 究 非 常 广 泛 和 深 入 ， 并 取 得 了 非 常 多 的 成 果 ， 也 显 示 了 HMM的 应 用 潜 力 。目 前 ， HMM 的 应 用 领 域 也 在 不 断 的 扩 大 ， 例 如 身 份 识 别 14， 指 纹 识 别 15， 基因 识 别 18， 滤 波 28等 ， 几 乎 信 号 处 理 和 模 式 识 别 领 域 中 的 各 个 方 面 都 能 找 到HMM 的 踪

27、 影 。近 年 来 ， HMM 在 设 备 故 障 诊 断 中 也 已 经 有 了 不 少 的 成 功 应 用 。 文 献 1中 提 出了 一 种 新 的 基 于 HMM 的 故 障 检 测 和 诊 断 方 法 ， 对 正 常 状 态 和 故 障 状 态 的 轴 承 振 动信 号 ， 分 别 提 取 其 幅 值 解 调 信 号 的 特 征 值 作 为 模 型 训 练 的 特 征 值 矩 阵 ， 以 训 练 得 到的 HMM 模 型 代 表 不 同 的 轴 承 状 态 。 特 征 值 的 提 取 是 基 于 振 动 信 号 AR 模 型 的 二 项式 转 换 函 数 的 反 应 系 数 。 通

28、过 将 给 定 振 动 信 号 的 特 征 值 送 入 已 训 练 好 的 模 型 中 进 行计 算 ， 并 将 其 计 算 得 出 的 概 率 值 进 行 对 比 ， 通 过 选 取 输 出 概 率 最 大 的 模 型 即 为 信 号所 反 映 的 设 备 状 态 。 该 方 法 同 样 适 用 于 诊 断 多 故 障 情 况 。文 献 2中 将 HMM 方 法 用 于 核 电 站 事 故 识 别 ， 由 各 种 事 故 的 数 据 训 练 对 应 的HMM 模 型 ， 系 统 选 用 了 左 右 型 模 型 ， 包 含 6 个 状 态 ， 每 个 状 态 有 22 个 观 测 值 ，并 对

29、 8 种 事 故 状 态 和 一 种 正 常 状 态 分 别 建 立 了 HMM 模 型 ， 仿 真 结 果 表 明 ， 所 训 练模 型 可 以 正 确 区 分 各 种 不 同 事 故 状 态 。文 献 4中 应 用 连 续 马 尔 科 夫 模 型 （ Continuous Hidden Markov Model, CHMM）对 机 械 设 备 信 号 进 行 分 析 和 故 障 诊 断 ， 结 果 表 明 HMM 具 有 很 好 的 准 确 性 、 鲁 棒 性和 预 见 性 。除 此 之 外 ， 文 献 5， 8， 27也 分 别 介 绍 了 HMM 在 机 械 故 障 诊 断 中 的 应

30、 用 ， 并通 过 实 例 分 析 证 明 了 HMM 在 该 领 域 应 用 的 可 行 性 。HMM 应用于设备故障诊断的方法可以归纳为：将已知设备不同运行状态（包括正常状态和故障状态）的信号作为训练样本，提取的特征值，建立对应状态的 HMM 模型；在此基础上，获取未知运行状态信号，将其提特征值送入各个 HMM 模型进行计华北电力大学（北京）硕士学位论文5算，得到相似概率输出结果，将输出概率最大的模型所对应的状态识别为未知状态信号的状态。1.3 本文主要工作及内容1.3.1 主要研究工作本文的工作是在深入学习研究 HMM 理论及其在设备故障诊断中的应用案例的基础上，开发 HMM 程序，并将

31、其应用于两种典型旋转机械设备的运行状态识别和故障诊断中，主要内容包括以下三个部分：1HMM 建模方法研究及程序实现在深入学习 HMM 理论基础上，探讨离散隐 马 尔 科 夫 模 型 （ Discrete Hidden Markov Model， 简 记 做 DHMM） 的技术实现方法，编制 Matlab 环境下的 DHMM 实现程序。2振动信号特征提取方法及程序实现特征值提取是 HMM 建模和诊断的重要环节，特征值选取是否合理会直接影响模型的可靠性以及训练结果的准确性。在系统分析振动信号特征常规提取方法（时域特征、频域特征等）的基础上，对倒频谱分析和包络分析方法进行深入研究，开发基于LabVI

32、EW 的虚拟包络分析仪和倒频谱分析仪，并分别用仿真信号和实际信号对仪器功能进行调试。3. HMM 在设备故障诊断中的应用研究针对两种典型旋转机械设备（汽轮机和齿轮箱） ，研究 HMM 建模方法和故障诊断。汽轮机升负荷过程中，由于运行工况的变化，导致振动信号发生变化，信号中以基频振动为主，提取不同状态下振动信号频谱中的基频幅值作为模型训练的特征值，建立该组信号的 DHMM，对汽轮机的运行状态进行识别。对于齿轮箱，选择连续运行的一组监测信号，信号中包含设备从正常状态到产生裂纹故障，直至某个齿断掉的全部信息。通过包络分析提取 HMM 训练用的特征值并建立 DHMM 模型，用前期正常信号作为模型的训练

33、信号，而随时间递增的一长段数据作为待诊断信号送入模型计算输出概率，对于 DHMM 方法在故障诊断中的有效性进行验证。HMM 作为一种新的方法，在故障诊断领域中的应用存在着很多的实际问题，本文最后对该方法的局限性进行了讨论。华北电力大学（北京）硕士学位论文61.3.2 本文内容安排 第一章对 HMM 模型方法的研究意义、研究现状以及本文的研究内容和主要工作进行介绍；第二章系统阐述 HMM 的基本概念与基础理论；第三章介绍常用振动信号分析及特征提取方法，重点介绍倒频谱分析和包络分析方法，对所开发的虚拟倒频谱分析仪和包络分析仪的程序结构和仿真算例进行介绍；第四章首先给出了 HMM 模式识别方法的基本

34、实现步骤，然后通过对汽轮机升速信号和齿轮信号分析的两个工程案例，说明了 HMM 在工程应用中的有效性；第五章对本文的工作进行总结，并需要进一步解决的问题和其在实际应用中的局限性进行了分析。 华北电力大学（北京）硕士学位论文7第 二 章 隐 马 尔 科 夫 模 型 的 基 本 概 念 和 理 论2.1 Markov 模型Markov 随 机 过 程 在 自 然 科 学 和 工 程 技 术 中 有 着 广 泛 的 应 用 ， 其 原 始 模 型 是Markov 链 。 在 实 践 中 常 常 遇 到 这 样 的 随 机 过 程 ， 在 已 知 目 前 状 态 的 条 件 下 ， 未 来 的演 变

35、与 以 往 的 状 态 无 关 ， 这 种 已 知 “现 在 ”的 条 件 下 ， “将 来 ”与 “过 去 ”独 立 的特 性 称 为 Markov 性 ， 具 有 Markov 性 的 随 机 过 程 被 称 为 Markov 过 程 。 典 型 例 子 包括 1） 人 口 增 长 过 程 ； 2） 布 朗 运 动 ； 3） 一 只 没 有 记 忆 的 青 蛙 随 机 地 从 一 片 荷 叶 跳到 另 一 片 荷 叶 。2.2 HMM 基本概念HMM 是 在 Markov 模 型 的 基 础 上 发 展 而 来 的 ， 由 于 实 际 问 题 比 Markov 模 型 所描 述 的 问 题

36、 更 为 复 杂 ， 观 测 到 的 事 件 并 不 是 与 状 态 一 一 对 应 ， 而 是 通 过 一 组 观 测 概率 分 布 相 联 系 ， 这 样 的 模 型 称 为 HMM。 它 是 一 个 双 重 随 机 过 程 ， 其 中 之 一 是Markov 链 ， 这 是 一 个 基 本 的 随 机 过 程 ， 描 述 状 态 之 间 的 转 移 。 另 一 个 随 机 过 程 描 述状 态 和 观 测 变 量 之 间 的 统 计 对 应 关 系 。 这 样 ， 站 在 观 察 者 的 角 度 ， 只 能 看 到 观 察 值 ，不 像 Markov 模 型 中 的 观 测 值 和 状

37、态 一 一 对 应 。 因 此 不 能 直 接 看 到 状 态 ， 而 是 通 过 一个 随 机 过 程 去 感 知 状 态 的 存 在 及 其 特 性 ， 因 此 称 为 “隐 ”Markov 模 型 。以 如 图 2.1 所 示 的 罐 子 模 型 实 例 介 绍 HMM 概 念 。 设 有 N 个 罐 子 ， 每 个 罐 子 中有 很 多 彩 色 的 球 ， 球 的 颜 色 由 一 组 概 率 分 布 矢 量 来 描 述 。 实 验 这 样 进 行 ： 根 据 某 个初 始 概 率 分 布 ， 随 即 选 取 N 个 罐 子 中 的 一 个 ， 例 如 第 i 个 罐 子 ， 再 根 据

38、 这 个 罐 子 中彩 色 球 颜 色 的 概 率 分 布 ， 随 机 的 选 择 一 个 球 ， 记 下 球 的 颜 色 ， 记 为 ， 再 把 球 放 回1O图 2-1 罐子模型（一个离散 HMM 的例子）华北电力大学（北京）硕士学位论文8罐 子 中 ， 又 根 据 描 述 罐 子 的 转 移 概 率 分 布 随 机 的 选 择 下 一 个 罐 子 ， 例 如 第 j 个 罐 子 ，再 从 罐 子 中 随 机 选 一 个 球 ， 记 下 球 的 颜 色 ， 记 为 ， 一 直 进 行 下 去 ， 可 以 得 到 一 个2O描 述 球 的 颜 色 的 序 列 ,， 由 于 这 是 一 些 观

39、 测 到 的 事 件 ， 因 而 称 之 为 观 测 值 序12O列 。 但 罐 子 之 间 的 转 移 以 及 每 次 选 取 的 罐 子 都 被 隐 藏 起 来 了 ， 并 不 能 直 接 观 测 到 。而 且 每 个 罐 子 中 选 取 球 的 颜 色 并 不 是 与 罐 子 一 一 对 应 ， 而 是 由 该 罐 子 中 求 得 颜 色 的概 率 分 布 随 机 决 定 的 。 此 外 ， 每 次 选 择 那 一 个 罐 子 由 一 组 转 移 概 率 所 决 定 。2.2.1 HMM 定义上 面 的 罐 子 模 型 给 出 了 HMM 的 基 本 思 想 ， 现 在 给 出 HMM

40、的 定 义 。一 个 HMM 可 由 下 列 参 数 描 述 ：1 N： 模 型 中 ， Markov 链 的 状 态 数 。 记 N 个 状 态 为 ， ， ， 记 t 时 刻12NMarkov 链 所 处 的 状 态 为 ， 显 然 （ ） 。 在 罐 子 和 球 的 实 验 中 罐 子 就 相tqt12,当 于 HMM 中 的 状 态 。2 M： 每 个 状 态 对 应 的 可 能 的 观 测 值 数 目 。 记 M 个 观 测 值 为 ， ， ，12,vMv记 t 时 刻 的 观 测 值 为 ， 其 中 （ ， ， ） 。 在 罐 子 和 球 的 实 验 中 所 选 的 颜tot12,

41、vv色 就 是 HMM 模 型 中 的 观 测 值 。3 ： 初 始 概 率 分 布 矢 量 ， = （ ， ） ， 其 中12,N(),itiPqN在 罐 子 和 球 的 实 验 中 ， 是 实 验 开 始 时 选 择 的 某 个 罐 子 的 概 率 。4 A ： 状 态 转 移 概 率 矩 阵 ， 其 中 ，()ijNAa1(/)1,ijtjtiaPqjN在 罐 子 和 球 的 实 验 中 指 每 次 选 取 当 前 罐 子 的 条 件 下 选 取 下 一 个 罐 子 的 概 率 。5 B ： 观 测 值 概 率 矩 阵 ， ， 其 中()jkMNBb在 罐 子 和 球 的 实 验 中 ，

42、 就 是 第 j 个 罐 子 中 球 的 颜 色 k 出 现 的 概 率 。jk综 上 所 述 ， 记 HMM 为 ： ,)AB或 简 写 为 ： ()更 形 象 地 说 ， HMM 可 分 为 两 部 分 ， 一 个 是 Markov 链 ， 由 描 述 ， 产 生 的,A输 出 为 状 态 序 列 ； 另 一 个 随 机 过 程 由 B 来 描 述 ， 产 生 的 输 出 为 观 测 值 序 列 。 一 个HMM 的 组 成 如 下 图 所 示 ， 其 中 T 为 观 测 序 列 的 时 间 长 度 。图 2-2 HMM 的组成示意图华北电力大学（北京）硕士学位论文92.3 HMM 基本算

43、法要 建 立 一 个 HMM， 必 须 要 解 决 三 个 基 本 问 题 ， 围 绕 这 三 个 基 本 问 题 ， 人 们 研 究了 三 个 基 本 算 法 ， 这 三 个 问 题 是 ：问 题 1 HMM 的 概 率 计 算 问 题给 定 观 测 序 列 和 模 型 ， 怎 样 有 效 的 计 算 变 量 序 列 O 的 在 给 定12,.TOo模 型 下 的 概 率 。(|)P问 题 2 HMM 的 最 优 状 态 序 列 问 题给 定 观 测 序 列 和 模 型 。 怎 样 选 择 一 个 相 应 的 状 态 序 列12,.T， 能 够 在 某 种 意 义 上 最 优 （ 例 如 更

44、 好 的 解 释 观 测 变 量 ） 。12,.Tq问 题 3 HMM 的 训 练 问 题 （ 参 数 估 计 ）该 问 题 由 Baum-Welch 算 法 解 决 ， 该 算 法 对 给 定 观 测 值 序 列 ，12,.TOo能 确 定 一 个 模 型 ， 使 最 大 。 这 是 一 个 泛 函 极 值 问 题 ， 因 而 不 存(,)A(|)PO在 一 个 最 佳 方 案 来 估 计 。2.3.1 前向后向算法前 向 后 向 算 法 是 上 述 第 一 个 问 题 的 解 决 方 案 。 对 于 一 个 固 定 的 状 态 序 列， 有12,.TSq(2.1)121(|,)(|,)()

45、.()tqqTtPOPobobo其 中 ， |,qtjktjtkbvt而 对 给 定 ， 产 生 S 的 概 率 为 112(|).TqqSa因 此 所 求 概 率 为 (2.2)11(|)()()Tq TPObobo（ 1） 前 向 算 法定 义 前 向 变 量 为 ： (2.3)12(),.,|),t tii t那 么 有 ：a) 初 始 化 ： (2.4)1iibob) 递 归 (2.5)1()(),Nt tjtiiaTjNc) 终 结 (2.6)1|TPOi步 骤 1 初 始 化 状 态 i 和 初 始 观 测 变 量 的 联 合 概 率 。 递 归 步 是 前 向 算 法 的 核 心

46、1o步 骤 ， 算 法 示 意 图 如 图 2.4 所 示 。 该 图 反 映 了 在 t 时 刻 的 状 态 i（ ） 是 通 过1N华北电力大学（北京）硕士学位论文10怎 样 的 途 径 到 达 t+1 时 刻 的 状 态 j 的 。 前 向 算 法 有 如 图 2.4(b)所 示 的 格 型 结 构 。前 向 算 法 的 思 想 是 由 递 归 方 法 计 算 由 时 刻 t 的 状 态 i 向 t+1 时 刻 状 态 j 转 移 的所 有 途 径 的 概 率 ， 这 些 概 率 值 之 和 即 为 。 实 际 计 算 中 首 先 计 算 出 对 应 每 个(|)POt 和 每 个 i

47、的 前 项 和 后 向 概 率 ， 然 后 套 用 公 式11(|)()(),1NNttTi iPOt这 个 公 式 也 称 为 全 概 率 公 式 。（ 2） 后 向 算 法定 义 后 向 变 量 为 ： ， (2.7)12(),)tttTtiiPoq 1tT其 中 ， ， 后 向 算 法 的 计 算 过 程 如 下 ：()1Tia) 初 始 化 ， (2.8)iNb) 递 归 ， ； 11()()(tijttabj,2,1t iN(2.9)c) 终 结 (2.10)1(NtiPO后 向 算 法 初 始 化 时 对 于 所 有 的 状 态 i 定 义 等 于 1。 与 前 向 算 法 类 似

48、 ， 后 向()Ti算 法 也 是 一 个 格 型 结 构 的 算 法 ， 其 中 步 骤 2 的 算 法 说 明 如 图 2.5 所 示 ：图 2-3 前向算法示意图华北电力大学（北京）硕士学位论文112.3.2 Viterbi 算法问 题 2 是 寻 求 “最 优 ”状 态 序 列 。 这 里 讨 论 的 最 优 一 以 上 的 ， 是 指 使*Q最 大 时 所 确 定 的 状 态 序 列 。 这 个 过 程 可 用 Viterbi 算 法 实 现 。 Viterbi 可 以(,)PQO描 述 如 下 ：定 义 为 t 时 刻 沿 一 条 路 经 ， 且 ， 产 生 出 的 最 大(ti12,tq tiq12,to概 率 ， 即 有 ： 1 1,)max(,)tt tiqPo 那 么 求 取 最 优 状 态 序 列 的 过 程 为 ：*Qa) 初 始 化 (2.11)(),tiboiN(2.12)0b)递 归 (2.13)1)ax(),2,1tt tijtjNboTjN(2.14)(rgm)ic)终 结 (2.15)*1TiP(2