1、第四章 马尔可夫链,4.1 马尔可夫链与转移概率,定义 设 X(t)，t T 为随机过程，若对任意正整数n及t10，且条件分布 PX(tn)xn|X(t1)=x1, X(tn-1)=xn-1 = PX(tn) xn|X(tn-1)=xn-1， 则称X(t)，t T 为马尔可夫过程。 若t1,t2,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。,4.1 马尔可夫链与转移概率,常见马尔可夫过程通常有三类：(1)时间、状态都是离散的，称为马尔可夫链 (2)时间连续、状态离散的，称为连续时间马尔可夫链 (3)时间、状态都是连续
2、的，称为马尔可夫过程 （时间离散、状态连续的马尔可夫过程，通常用泛函中二元函数的范数进行研究）,随机过程Xn，nT ， 参数T=0, 1, 2, ,状态空间I=i0, i1, i2, 定义 若随机过程Xn，nT ，对任意nT和i0,i1,in+1 I，条件概率PXn+1=in+1|X0=i0,X1=i1,Xn=in= PXn+1=in+1|Xn=in，则称Xn，nT 为马尔可夫链，简称马氏链。,4.1 马尔可夫链与转移概率,4.1 马尔可夫链与转移概率,马尔可夫链的性质PX0=i0, X1=i1, , Xn=in =PXn=in|X0=i0, X1=i1, , Xn-1=in-1 PX0=i0
3、, X1=i1, , Xn-1=in-1 = PXn=in|Xn-1=in-1PXn-1=in-1 |X0=i0,X1=i1,Xn-2=in-2PX0=i0,X1=i1,Xn-2=in-2 =PXn=in|Xn-1=in-1PXn-1=in-1 |Xn-2=in-2PX0=i0,X1=i1,Xn-2=in-2,4.1 马尔可夫链与转移概率,= =PXn=in|Xn-1=in-1PXn-1=in-1 |Xn-2=in-2 PX1=i1|X0=i0PX0=i0马尔可夫链的统计特性完全由条件概率PXn+1=in+1|Xn=in确定。,4.1 马尔可夫链与转移概率,定义 称条件概率pij(n)= PX
4、n+1=j|Xn=i 为马尔可夫链Xn，nT 在时刻n的一步转移概率，简称转移概率，其中i,jI。定义 若对任意的i,jI，马尔可夫链Xn,nT 的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。齐次马尔可夫链具有平稳转移概率， 状态空间I=1, 2, 3, ，一步转移概率为,4.1 马尔可夫链与转移概率,转移概率性质 (1) (2) P称为随机矩阵,4.1 马尔可夫链与转移概率,例4.4 具有吸收壁和反射壁的随机游动 状态空间1,2,3,4，1为吸收壁，4为反射壁状态转移图 状态转移矩阵,4.1 马尔可夫链与转移概率,定义 称条件概率 = PXm+n=j|Xm
5、=i 为马尔可夫链Xn，nT 的n步转移概率(i,jI, m0, n1)。 n步转移矩阵 其中 P(n)也为随机矩阵,4.1 马尔可夫链与转移概率,例4.1 无限制随机游动,q p,-1 0 1i-1 i i+1,一步转移概率:,4.1 马尔可夫链与转移概率,n步转移概率: i经过k步进入j,向右移了x步,向左移了y步 则,4.1 马尔可夫链与转移概率,定理4.1 设Xn，nT 为马尔可夫链，则对任意整数n0,0ln和i,jI，n步转移概率 具有性质 (1) (2) (3) P(n)=PP(n-1) (4) P(n)=Pn,4.1 马尔可夫链与转移概率,证(1),4.1 马尔可夫链与转移概率,(2)在(1)中令l=1,k=k1,得 由此可递推出公式 (3)矩阵乘法 (4)由(3)推出 说明： (1)此为C-K方程(切普曼-柯尔莫哥洛夫) (2) n步转移概率由一步转移概率确定，n步转移概率矩阵由一步转移概率矩阵确定(n次幂),
