1、隐马尔可夫模型,孙瑜声 PB08000623 2011-12-3,隐马尔可夫模型（Hidden Markov Models,HMM) 作为语音信号的一种统计模型，今天正在语音处理领域中获得广泛的应用。 大约100年前，数学家和工程师们就已经知道马尔可夫链，但缺乏一种能使该模型参数与语音信号达到最佳匹配的有效方法 20世纪60年代后期，有人提出这种匹配方法 1970年前后，Baum等人建立有关的理论基础 随后CMU的Baker和IBM的Jelinek等人将其运用到语音识别中 20世纪80年代，Bell实验室的Rabiner等人对HMM的深入浅出的介绍，使HMM为世界各国从事语音信号处理的研究人员
2、所了解和熟悉 近几十年来，隐马尔可夫模型技术无论在理论上或是在实践上都有了许多进展。,概述,隐马尔可夫模型的引入与定义,隐马尔可夫模型的引入与定义,隐Markov模型 HMM类似于一阶Markov过程，但它是个双内嵌式随机过程。 HMM有两个随机过程组成，一个是状态转移序列（不可观测），它对应着一个单纯的Markov过程，另一个是每次转移时输出的符号组成的符号序列。,隐马尔可夫模型的引入与定义,举个例子,隐马尔可夫模型的引入与定义,再举个例子（球和缸）,隐马尔可夫模型的引入与定义,隐马尔可夫模型的引入与定义,HMM的基本元素,HMM的基本元素,HMM的基本元素,以孤立字（词）语音识别为例 每个
3、孤立字（词）必须准 备一个HMM，对于一要 识别的语音，先分帧，参 数分析，特征参数提取， 再通过矢量量化，就可得 到一组符号序列，之后计 算这组符号在每个HMM 上得输出概率，最大的就 是识别结果,HMM在语音信号处理中的用处,三个问题： （一）识别问题：给定观察符号序列O和模型M，如何快速有效的计算观察符号序列的输出概率P(O|M)？ （二）寻找与给定观察字符序列对应的最佳状态序列 （三）模型训练问题：对于初始模型和给定用于训练的观察符号序列O，如何调整模型M的参数，似的输出概率P(O|M)最大。,隐Markov模型的算法,前向-后向（Forward-Backward)算法解决第一个问题
4、1.前向算法：按输出观察值序列的时间，从前向后递推计算输出概率。,隐Markov模型的算法,隐Markov模型的算法,前向算法,隐Markov模型的算法,2.后向算法：按输出观察值序列的时间，从后向前递推计算输出概率的方法,隐Markov模型的算法,隐Markov模型的算法,前向后向算法都是一种格型结构，前向有N(N+1)(T-1)+N次算法，和N(N-1)(T-1)次加法，而后向的计算量也在N*N*T数量级。,隐Markov模型的算法,维特比算法解决第二个问题此处最佳，指使P(S,O|M)最大的序列 维特比算法可叙述为,隐Markov模型的算法,步骤：,隐Markov模型的算法,隐Marko
5、v模型的算法,隐Markov模型的算法,隐Markov模型的算法,步骤：,隐Markov模型的算法,注：语音识别一般采用从左到右型HMM。所以初始状态设定为训练次数也不是越多越好，判定方法一是前后两次输出概率的差值小于一定阈值或模型参数几乎不变，另一种是采用固定次数训练,隐Markov模型的算法,按照HMM的状态转移概率参数矩阵（A矩阵）分类 1.各态历经型或遍历型HMM（Ergodic HMM) 经过有限步转移后，系统能达到任何状态。这种HMM状态转移矩阵中没有零。不符合时间顺序要求，只能用于不要求时间顺序的语音信号处理 2.从左到右型HMM（Left-to-Right HMM） 随着时间增
6、加状态的转移只能是从左到右进行或停在原地。HMM状态转移矩阵为上三角阵。能反映时序结构，适应随时间变化的语音信号,隐Markov模型的各种结构类型,按照HMM输出概率分布（B参数）分类 1.离散HMM（DHMM） 输出概率是按观察字符离散分布的。需要对时间序列进行量化，引入量化误差，影响系统识别功能。但计算简单 2.连续型HMM（Continuous HMM，CHMM） 连续概率密度分布，输出值是连续的，用密度函数表示。,隐Markov模型的各种结构类型,根据协方差矩阵式全协方差矩阵还是对角协方差矩阵可以把连续分为全协方差和对角协方差矩阵CHMM 在实际的语音信号处理中，用高斯M元混合密度，即
7、用多个高斯概率分布部的加权组合来表示输出概率密度函数，如这种HMM成为连续混合密度HMM（Continuous Mixed Densities HMM，CM-HMM）,隐Markov模型的各种结构类型,除此之外，还有高斯自回归M元混合密度、椭球对称的概率密度和对数凹对称和/或椭球对称的概率密度等。由于分布是连续的，比离散更好的描述时变特性 3.半连续性HMM（Semi-Continuous HMM，SCHMM） 概率密度精度相对高，计算量也不算太大,隐Markov模型的各种结构类型,其他一些特殊形式的HMM 1.空转移（Null Transition） 系统输出与转移弧相联系，允许不产生输出的
8、 转移,隐Markov模型的各种结构类型,2.参数捆绑（Parameter tieing） 在HMM不同的转移弧的参数之间建立一定的关系，使得不同状态转移弧使用相同的参数。目的在于使模型中的独立状态减少，从而使参数计算变的简单。应付训练数据不足,隐Markov模型的各种结构类型,下溢问题：概率过小超出计算机的精度 参数的初始化问题,隐Markov模型的一些实际问题,提高HMM描述语音动态特性的能力 基本的HMM模型隐含了三个假设 1.状态转移概率与观察序列无关，且时不变 2.状态观察概率密度函数与过去状态无关 3.状态观察概率密度函数与过去观察无关 由于语音有很强的关联性，所以假设是不合理的。影响HMM描述语音信号时间上帧间相关动态特性的能力。为弥补这一缺陷，采用的方法是在利用语音静态参数X的同时，增加语音动态参数但是没有从根本上解决不合理性。,隐Markov模型的一些实际问题,直接利用状态持续时间分布概率的HMM系统 各状态的持续时间是一个有用的参数 为利用这一参数，采用以下办法 1.增加HMM的状态数 2.采用后处理办法 3.采用状态持续时间分布的HMM系统,隐Markov模型的一些实际问题,
