1、随机信号处理教程,献给进入信息领域学习的你！,随机信号处理教程,第1章 概率论基础 第2章 随机过程 第3章 随机过程的功率谱密度 第4章 随机信号通过线性系统 第5章 窄带系统和窄带随机信号 第6章 随机信号通过非线性系统 第7章 马尔可夫过程,第七章 马尔可夫过程,1,2,3,马尔可夫链,马尔可夫序列,马尔可夫过程,第七章 马尔可夫过程,1,2,3,4,时间离散、状态离散的马尔可夫过程，常被称为马尔可夫链,时间连续、状态离散的马尔可夫过程，常被称为纯不连续马尔可夫过程,时间离散、状态连续的马尔可夫过程，常被称为马尔可夫序列,时间连续、状态连续的马尔可夫过程，常被称为连续马尔可夫过程或扩展过
2、程,7.1 马尔可夫链,定义 设随机过程 在每一时刻 (n=1,2,3,)的状态为 ，它可以取状态 、 、 、之一，而且过程的状态只在 、 、 、可列个时刻 发生状态转移。在这种情况下，若过程在时刻变成任一状态 (i=1,2,N)的概率，只与该过程在时刻的状态有关，而与时刻 以前过程所处的状态无关，即 (7.1.1)则称该过程为马尔可夫链，简称为马氏链。,7.1 马尔可夫链,马尔可夫链在时刻 出现 的条件下，在时刻 出现 的条件概率被称为转移概率，记为 ，即(7.1.2)式中 都是正整数， 。(7.1.5)(7.1.6)通常我们称满足式(7.1.5)和式(7.1.6)的矩阵为随机矩阵，其所有元
3、素为非负元素且每行元素和为1。,7.1 马尔可夫链,对于马尔可夫链，其步转移概率满足如下关系(7.1.11)式(7.1.11)称为切普曼-柯尔莫哥洛夫方程.切普曼-柯尔莫哥洛夫方程是一个重要方程。它表明：由于马尔可夫链的无后效性，马尔可夫链由状态 经过步转移到达状态 的过程，可以看成先经过 ( )步转移到达某个状态 (r=1,2,N)，然后再由状态 经过 ( )步转移到达状态 。,7.1 马尔可夫链,如果对于两个状态 与 ，存在某个 ，使 ，即从状态 出发，经n步转移以正的概率到达状态 ，则称为从状态 可达状态 ，并记为 。反之，如从状态 不可达状态 ，记为 。此时，对一切 ，总有 。,对于两
4、个状态 与 ，如果从状态 可达状态 ，即 ，且从状态 也可达状态 ，即 ，则称状态 和状态 相通，并记为 。,7.1 马尔可夫链,定理,如果从状态 可达状态 ，从状态 可达状态 ，则从状态可 达状态 。即状态可达具有传递性。,如果状态 和状态 相通，状态 和状态相通，则状态 和状态 相通，即状态相通具有传递性。,7.1 马尔可夫链,对任意的 及 ，有,0的充要条件是,状态 是常返态的充要条件是,设状态 和 是马尔可夫链的两个相通的状态。如果状态 是常返态，则状态 也是常返态,如果状态 是非常返态，则对于每一个状态 ，有且,7.1 马尔可夫链,由一些状态组成的集合C，如果对于任意一个状态 C，从
5、状态 出发，不能到达C以外的任何状态 （ C），则称状态集合C为闭集。 一个闭集可以包含一个或多个状态。如果单个状态 构成一个闭集，则称此闭集为吸收态。此时有 （ ）， 。 定理8 所有常返态构成一个闭集C 定理9 在一个马尔可夫链中，所有常返态可分为若干个互不相交的闭集 ， 且有(1) 中任意两个状态相通。(2) 中的任一状态和 中的任一状态，当时 ，互不相通。,7.1 马尔可夫链,若有正整数t (t1)，仅在nt，2t，3t，时， ，即在n不能被t整除时， ，则称状态 是具有周期为t的周期性状态。当不存在上述的t时，状态 称为非周期状态。例如，马尔可夫链从状态 出发，如果仅当n2，4，6，
6、时，过程有可能返回状态 ，那么取2，4，6，的最大公约数t2，则t2是该马尔可夫链的周期，这时，我们称马尔可夫链是周期的或者说状态 是周期性状态。,7.1 马尔可夫链,如果齐次马尔可夫链对一切状态 、 存在不依赖于 的极限 (7.1.31) 则称该马尔可夫链具有遍历性。式中 为该马尔可夫链的n步转移概率。 定理 对有限马尔可夫链，如果存在正整数k，使0 (对一切i，j1，2，) (7.1.32)则此马尔可夫链是遍历的，而且 = 是以下方程组在满足如下条件的唯一解。，,7.2 马尔可夫序列,定义 一个随机变量序列 ，若对于任意的n，有(7.2.1)则称此随机序列为马尔可夫序列。其中 分别为随机变
7、量序列 的取值。称 为转移概率分布函数。,7.2 马尔可夫序列,马尔可夫序列的性质,7.3 马尔可夫过程,定义 随机过程 ， ，若对任意的 ， ，在条件 （ ）下的分布函数，等于 在条件下 的分布函数，即(7.3.1)则称 为马尔可夫过程。 如果马尔可夫过程的转移概率分布 或转移概率密度 仅与转移前后的状态 ，x 及相应的时间差 有关，即(7.3.8)或 (7.3.9)则称该马尔可夫过程为齐次马尔可夫过程。,7.3 马尔可夫过程,马尔可夫过程的转移概率密度满足下列关系式(7.3.10)此式为切普曼一柯尔莫哥洛夫方程。 随机过程可用有限维联合概率分布来近似地描述其统计特性。对马尔可夫过程而言，其维概率密度可表示为：(7.3.11)其中 。当 取为初始时刻时， 表示初始概率密度。于是式(7.3.11)表示：马尔可夫过程的统计特性完全由它的初始概率分布(密度)和转移概率分布(密度)所确定。,Thank You !,
