1、第一节 马尔可夫过程及其概率分布,一、马尔可夫过程的概念,二、马尔可夫过程的概率分布,三、应用举例,四、小结,一、马尔可夫过程的概念,1. 马尔可夫性(无后效性),马尔可夫性或无后效性.,即: 过程“将来”的情况与“过去”的情况是无关的.,马尔可夫资料,2. 马尔可夫过程的定义,具有马尔可夫性的随机过程称为马尔可夫过程.,用分布函数表述马尔可夫过程,恰有,或写成,并称此过程为马尔可夫过程.,3. 马尔可夫链的定义,时间和状态都是离散的马尔可夫过程称为马尔 可夫链,简记为,研究时间和状态都是离散的随机序列,二、马尔可夫过程的概率分布,1. 用分布律描述马尔可夫性,有,称条件概率,说明: 转移概率
2、具有特点,2. 转移概率,由转移概率组成的矩阵,称为马氏链的转移概率矩阵.,此矩阵的每一行元素之和等于1.,它是随机矩阵.,3. 平稳性,有关时, 称转移概率具有平稳性.,同时也称此链是齐次的或时齐的.,称为马氏链的n步转移概率,a1 a2 aj ,Xm+1的状态,一步转移概率,特别的, 当 k=1 时,一步转移概率矩阵,的状态,记为P,三、应用举例,证明,由独立增量过程的定义知,即有,例1,马尔可夫过程.,说明:,泊松过程是时间连续状态离散的马氏过程;,维纳过程是时间状态都连续的马氏过程.,设每一级的传真率为 p, 误码率为 q=1-p.,设一个单位时间传输一级,只传输数字0和1的串联系统
3、( 传输系统),如图:,分析:,例2,而与时刻 n 以前所处的状态无关.,所以它是一个马氏链, 且是齐次的.,一步转移概率,一步转移概率矩阵,例3 一维随机游动,游动的概率规则,1/3的概率向左或向右移动一格, 或以1/3的概率留,在原处;,如果Q现在位于点 i (1 i 5),则下一时刻各以,以概率1移动到2(或4)这一点上.,如果Q现在位于1(或5)这点上, 则下一时刻就,1和5这两点称为反射壁.,上面这种游动称为带有两个反射壁的随机游动.,模拟方法:产生均匀分布的随机数序列132322 11122,其中1表示左移;2表示不动;3表示右移.,单击图形播放/暂停 ESC键退出,一维随机游动的
4、演示,理论分析:,状态空间就是I.,而与时刻 n 以前所处的状态无关.,所以它是一个马氏链, 且是齐次的.,一步转移概率,说明:,相应链的转移概率矩阵只须把P 中第1行改为,改变游动的概率规则, 就可得到不同方式的,随机游动和相应的马氏链. 如果把点 1 改为吸收壁,一步转移概率矩阵,解,例4,例5,解,解,例6,排队模型,设服务系统由一个服务员和只可以容纳两个人的等候室组成:,服务规则,假定一个需要服务的顾客到达系统时发现系统,先到先服务, 后来者需在等候室依次排队.,内已有3个顾客(一个正在接受服务, 两个在等候,室排队), 则该顾客立即离去.,例7,分析,假设:,有一原来被服务的顾客离开
5、系统 (即服务完毕)的,进入或离开系统实际上是不可能的.,3. 再设有无顾客来到与服务是否完毕是相互独立 的.,以下用马氏链来描述这个服务系统.,系统状态,可知它是一个齐次马氏链.,在系统内没有顾客的条件下,在系统内没有顾客的条件下,系统内恰有一顾客正在接受服务的条件下,系统内恰有一顾客的条件下,他因服务完毕而离去而另一,顾客进入系统或者正在接受服务的顾客将继续,要求服务,且无人进入系统的概率.,正在接受服务的顾客继续要求服务,且在,正在接受服务的顾客继续要求服务, 且另一,个顾客进入系统的概率.,间隔内有两个客顾进入系统的概率,由假设, 后者实际上是不可能发生的.,类似的,或者一人将离去且另
6、一人将进入系统,或者,无人离开系统的概率.,该马氏链的一步转移概率为,某计算机房的一台计算机经常出故障,研究者 每隔15分钟观察一次计算机运行状态,收集了24小 时的数据 (共作97次观察) . 用1表示正常状态, 用0 表示不正常状态, 所得的数据序列如下:,1110010011111110011110111111001111111110001101101,分析,状态空间: I=0, 1.,例8,111011011010111101110111101111110011011111100111,96 次状态转移的情况:,因此, 一步转移概率可用频率近似地表示为:,以下研究齐次马氏链的有限维分布
7、.,特点:,用行向量表示为,一维分布由初始分布和 转移概率矩阵决定,（书P362 公式1.7）,一维分布也可用行向量表示成 p(n)=( p1(n) , p2(n), pj(n),) 这样，利用矩阵乘法（I是可列无限集时，仍用有限阶）矩阵乘法的规则确定矩阵之积的元素，可写成 p(n) = p(0)P(n)(矩阵)。 结论：马氏链在任一时刻n T1时的一维分布由初始分布 p(0)和n 步转移概率矩阵所确定。,马氏链的 n 维分布,有限维分布仍由初始分布 和转移概率矩阵决定,由乘法公式,（书P362 公式1.8）,例9(续例8)若计算机在前一段（15分钟）的状态为0，问从时段起此计算机能连续正常工
8、作一小时（4个时段）的概率为多少？解 由题意，前一时段的状态为0就是初始分布P0（0)=PX 0= 0 。计算机能连续正常工作4个时段的概率为PX1 = 1， X2=1， X3= 1， X4=1| X0=0=PX0=0， X1 = 1， X2=1， X3= 1， X4=1/ PX 0= 0 = p0 (0) p01 (1) p11 (1) p11 (1) p11 (1) /PX 0= 0 =,由以上讨论知,转移概率决定了马氏链的运动的统计规律. 因此, 确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一.,四、小结,齐次马氏链、平稳性的概念.,一步转移概率矩阵的计算.,一步转移概率,一步转移概率矩阵,马尔可夫资料,Born: 14 Jun. 1856 in Ryazan, Russia Died: 20 Jul. 1922 in Petrograd (now St Petersburg), Russia,Andrei Andreyevich Markov,
