隐马尔可夫模型及其应用.docx

1、小论文写作: 隐马尔可夫模型及其应用学院：数学与统计学院 专业：信息与计算科学 学生：卢富毓 学号：20101910072内容摘要：隐马尔可夫模型是序列数据处理和统计学习的重要概率模型，已经成功被应用到多工程任务中。本小论文首先从隐马尔可夫模型基本理论和模型的表达式出发 ，进一步阐述了隐马尔可夫模型的应用。HMM隐马尔可夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于 20 世纪 70 年代。80 年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。隐马尔可夫模型状态变迁图（例子如下）x 隐含状态y

2、 可观察的输出a 转换概率（transition probabilities）b 输出概率（output probabilities）隐马尔可夫模型它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。 在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中, 状态并不是直接可见的，但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。HMM 的基本理论隐马尔可夫模型是马尔可夫链的一

3、种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程-具有一定状态数的隐马尔可夫链和显示随机函数集。自 20 世纪 80 年代以来，HMM 被应用于语音识别，取得重大成功。到了 90 年代，HMM 还被引入计算机文字识别和移动通信核心技术“多用户的检测” 。近年来，HMM 在生物信息科学、故障诊断等领域也开始得到应用。隐马尔可夫模型（HMM）可以用五个元素来描述，包括 2 个状态集合和 3个概率矩阵： （1）隐含状态 S 这些状态之间满足马尔可

4、夫性质，是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。 （例如 S1、S2 、S3 等等) （2） 可观测状态 O 在模型中与隐含状态相关联，可通过直接观测而得到。(例如O1、O2、O3 等等，可观测状态的数目不一定要和隐含状态的数目一致） 。（3） 初始状态概率矩阵 表示隐含状态在初始时刻 t=1 的概率矩阵，( 例如 t=1 时，P(S1)=p1、P(S2)=P2、P(S3)=p3，则初始状态概率矩阵 = p1 p2 p3 . （4） 隐含状态转移概率矩阵 A。 描述了 HMM 模型中各个状态之间的转移概率。 其中 Aij = P( Sj | Si ),1i,jN.

5、 表示在 t 时刻、状态为 Si 的条件下，在 t+1 时刻状态是 Sj 的概率。（5） 观测状态转移概率矩阵 B （英文名为 Confusion Matrix，直译为混淆矩阵不太易于从字面理解） 。 令 N 代表隐含状态数目，M 代表可观测状态数目，则： Bij = P( Oi | Sj ), 1i M,1jN. 表示在 t 时刻、隐含状态是 Sj 条件下，观察状态为 Oi 的概率。一般的，可以用 =(A,B,) 三元组来简洁的表示一个隐马尔可夫模型。隐马尔可夫模型实际上是标准马尔可夫模型的扩展，添加了可观测状态集合和这些状态与隐含状态之间的概率关系。的三个典型问题已知模型参数，计算某一特定

6、输出序列的概率.通常使用 forward 算法解决.已知模型参数，寻找最可能的能产生某一特定输出序列的隐含状态的序列.通常使用 Viterbi 算法解决.已知输出序列，寻找最可能的状态转移以及输出概率.通常使用 Baum-Welch 算法以及 Reversed Viterbi 算法解决.另外,最近的一些方法使用 Junction tree 算法来解决这三个问题。来自维基百科的关于 HMM 的一个实例假设你有一个住得很远的朋友,他每天跟你打电话告诉你他那天做了什么 .你的朋友仅仅对三种活动感兴趣:公园散步,购物以及清理房间 .他选择做什么事情只凭天气.你对于他所住的地方的天气情况并不了解, 但是

7、你知道总的趋势.在他告诉你每天所做的事情基础上,你想要猜测他所在地的天气情况 .你认为天气的运行就像一个马尔可夫链.其有两个状态 “雨“和“晴“,但是你无法直接观察它们,也就是说,它们对于你是隐藏的. 每天, 你的朋友有一定的概率进行下列活动:“ 散步“, “购物 “, 或 “清理“. 因为你朋友告诉你他的活动,所以这些活动就是你的观察数据.这整个系统就是一个隐马尔可夫模型 HMM.你知道这个地区的总的天气趋势,并且平时知道你朋友会做的事情 .也就是说这个隐马尔可夫模型的参数是已知的.你可以用程序语言(Python) 写下来:states = (Rainy, Sunny)observation

8、s = (walk, shop, clean)start_probability = Rainy: 0.6, Sunny: 0.4transition_probability = Rainy : Rainy: 0.7, Sunny: 0.3,Sunny : Rainy: 0.4, Sunny: 0.6,emission_probability = Rainy : walk: 0.1, shop: 0.4, clean: 0.5,Sunny : walk: 0.6, shop: 0.3, clean: 0.1,在这些代码中,start_probability 代表了你对于你朋友第一次给你打电话时

9、的天气情况的不确定性(你知道的只是那个地方平均起来下雨多些).在这里,这个特定的概率分布并非平衡的,平衡概率应该接近（在给定变迁概率的情况下）Rainy: 0.571, Sunny: 0.429 transition_probability 表示基于马尔可夫链模型的天气变迁,在这个例子中, 如果今天下雨, 那么明天天晴的概率只有 30%.代码emission_probability 表示了你朋友每天做某件事的概率.如果下雨,有 50% 的概率他在清理房间;如果天晴,则有 60%的概率他在外头散步 .HMM 的应用一 、 HMM 在 语 音 处 理 中 的 应 用HMM 是 序 列 数 据 处

10、理 和 统 计 学 习 的 一 种 重 要 概 率 模 型 ， 近 几 年 来 已 成 功 被应 用 到 许 多 语 音 处 理 的 任 务 中 。 抽 取 过 程 描 述 如 下 ：（ 1） 对 论 文 部 分 进 行 预 处 理 。 主 要 是 依 据 回 车 和 逗 号 、 分 号 等 标 点 和 符号 对 头 部 信 息 进 行 语 义 块 切 分 ， 然 后 在 语 义 块 基 础 上 进 行 信 息 抽 取 ，这 样 可 以 有 效 提 高 抽 取 准 确 率 召 回 率 。 另 外 还 根 据 “摘 要 ”、 “中图 分 类 号 ”等 待 定 标 签 将 相 应 抽 取 域 标

11、识 ；（ 2） 根 据 一 些 特 征 对 部 分 语 义 块 （ 如 标 题 、 单 位 等 ） 进 行 词 语 切 分 ， 然后 计 算 各 个 词 语 成 语 义 块 输 出 概 率 ；（ 3） 在 给 定 的 HMM 模 型 下 ， 用 韦 特 比 算 法 进 行 计 算 ， 求 出 状 态 序 列 ， 即语 义 块 相 关 联 的 域 ， 然 后 按 关 联 抽 取 各 语 义 项 。 下 面 给 出 HMM 模 型的 语 音 到 口 型 的 映 射 图 。二 、 HMM 在 人 脸 表 情 识 别 中 的 应 用HMM 在 人 脸 识 别 中 应 用 模 型 步 骤 如 下 ：（

12、1） 评 估 问 题 ： 得 到 观 察 序 列 和 模 型 参 数 ， 利 用 前 向 -后 向 算 法 快速 计 算 出 该 模 型 下 ， 观 察 事 件 序 列 发 生 的 概 率 . （ 2） 解 码 问 题 :利 用 Viterbi 算 法 选 择 对 应 的 状 态 序 列 ， 是 S能 够 合 理 地 解 释 观 察 序 列 O。 即 揭 晓 模 型 隐 含 部 分 ， 在 优 化 准 则 下 找 到 最 有状 态 序 列 。(3) 学 习 问 题 。 利 用 Baum-Welch 算 法 来 调 整 模 型 参 数 ， 即 得 到 模型 中 的 五 个 参 数 ， 使 得 最

13、 大 。人 脸 表 情 识 别 的 任 务 就 在 于 通 过 表 情 图 像 来 分 析 和 建 立 HMM， 对 表 情进 行 训 练 和 识 别 。 人 脸 表 情 HMM 状 态 划 分 和 确 定 如 下 图 所 示 ， 结 果 如 表 2所 示 ：除 此 之 外 ， HMM 在 生 物 信 号 分 析 、 故 障 诊 断 等 研 究 广 泛 运 用 ， 并 且 取 得了 丰 硕 的 成 果 。HMM 的最新应用HMM 作 为 序 列 数 据 处 理 和 统 计 学 习 的 一 种 重 要 概 率 模 型 ， 具 有 建 模 简 单 ，物 理 意 义 明 确 等 优 点 ， 且 已

14、经 有 很 多 成 熟 的 算 法 ， 是 一 种 精 确 地 匹 配 时 变 数据 的 技 术 ， 除 了 在 上 述 中 的 语 音 识 别 、 生 物 信 号 分 析 、 模 式 （ 如 人 脸 、 步 态 、表 情 等 ） 识 别 、 故 障 诊 断 等 的 研 究 中 广 泛 运 用 ， 并 且 取 得 了 丰 硕 的 成 果 。 在以 下 几 个 方 面 得 到 最 新 的 应 用 ：A、HMM 在人的行为分析中的应用：人的行为分析在视频会议、人机交互、智能控制、基于行为的视频检索以及医疗诊断等方面有广泛的应用前景和潜在的经济价值，是当前计算机视觉领域的一个研究热点。B、HMM 在

15、网络安全中的应用：随着计算机的飞速发展，信息网络已经成为社会发展的重要保障，网络安全越来越受到关注。在网络安全研究中，入侵检验是其中重要的一方面，是对入侵行为进行处理以保证网络安全的前提和基础。传统的检测方法是 Forrest 等人提出的时延嵌入序列法（TIDE） 。而由 Warrender 等人于 1999 年首次在入侵检测中引入HMM，随后被广泛应用入侵检测中。除了入侵检测，还应用于数据库异常检测、Web 用户异常访问等的检测中。C、 HMM 在信息抽取中的应用：信息抽取是处理海量文件的重要环节，旨在帮助人们从海量联机文件中快速、准确地抽取自己真正需要的信息，抽取出来的信息以一定的方式存储

16、在数据库中。而信息抽取中目标信息在网页、文章等中的具体位置，称为抽取域，而要抽取的信息，即抽取域中的内容称为语义项，信息抽取的过程首先要确定抽取域，然后提取相应的语义项，这与 HMM 的结构相吻合，即各抽取域和 HMM 的隐状态序列相对应，而语义项和个状态的观测相对应，从而 HMM 应用于信息抽取，具有易建立、适应性好、抽取精确高等优点，从而在信息抽取中得到了广泛的应用。D、除了在上述中的应用，近几年来， HMM 在金融、管理和心理情绪等的建模中应用。小结：本文介绍了 HMM 的基本理论知识，并简单描述了 HMM 在语音识别、人脸以及人脸表情识别外，还简单说了 HMM 在人的行为分析、网络安全和信息抽取中广泛应用，并且取得了丰硕的成果，而且我们可以估计，HMM 的应用前景非常好。