1、第五章 连续时间马尔可夫链,I 马尔可夫链,54 3 210 1 2 3 4 5 T,5.1 连续时间马尔可夫链,定义5.1 设随机过程X(t)，t 0 ，状态空间I=0,1,2,，若对任意0t1 t2 tn+1及非负整数i1,i2, ,in+1 ，有PX(tn+1)=in+1|X(t1)=i1, X(t2)=i2, X(tn)=in=PX(tn+1)=in+1|X(tn)=in，则称X(t)，t 0 为连续时间马尔可夫链。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率pij(s,t)= PX(s+t)=j|X(s)=i,5.1 连续时间马尔可夫链,定义5.2 齐次转移概率 pi
2、j(s,t)=pij(t)(与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t) ，i,jI，t 0 命题：若i为过程在状态转移之前停留在状态i的时间，则对s, t0有(1)(2) i 服从指数分布证(1) 事实上,5.1 连续时间马尔可夫链,s,s+t,0,i,i,i,i,t,i,5.1 连续时间马尔可夫链,5.1 连续时间马尔可夫链,(2)设i的分布函数为F(x), (x0), 则生存函数G(x)=1-F(x)由此可推出G(x)为指数函数，G(x)=e-x, 则F(x)=1-G(x)=1-e-x为指数分布函数。,5.1 连续时间马尔可夫链,过程在状态转移之前处于状态
3、i的时间i服从指数分布 (1)当i=+时，状态i的停留时间i 超过x的概率为0，则称状态i为瞬时状态； (2)当i=0时，状态i的停留时间i 超过x的概率为1，则称状态i为吸收状态。,5.1 连续时间马尔可夫链,定理5.1 齐次马尔可夫过程的转移概率具有：(1) pij(t)0;(2) (3) 证明：由概率的定义，(1)(2)显然成立，下证(3),5.1 连续时间马尔可夫链,5.1 连续时间马尔可夫链,正则性条件,5.1 连续时间马尔可夫链,5.1 连续时间马尔可夫链,I 初始概率、绝对概率,i pi(0) pi(t) t t+ T,5.1 连续时间马尔可夫链,5.1 连续时间马尔可夫链,定义
4、5.3 (1)初始概率 (2)绝对概率 (3)初始分布 (4)绝对分布,5.1 连续时间马尔可夫链,定理5.2 齐次马尔可夫过程的绝对概率及有 限维概率分布具有下列性质：(1) pj(t)0(2) (3)(4)(5),5.1 连续时间马尔可夫链,例5.1 证明泊松过程X(t), t0为连续时间齐次马尔可夫链。 证明：先证泊松过程的马尔可夫性。泊松过程是独立增量过程，且X(0)=0，对任意0t1 t2 tn tn+1有,5.1 连续时间马尔可夫链,另一方面即泊松过程是一个连续时间马尔可夫链。,5.1 连续时间马尔可夫链,再证齐次性 当j i时，当ji时,因增量只取非负整数值,故pij(s,t)=
5、0， 所以转移概率与s无关，泊松过程具有齐次性。,5.2 柯尔莫哥洛夫微分方程,引理5.1 设齐次马尔可夫过程满足正则性条件，则对于任意i, jI，pij(t)是t的一致连续函数。 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在,5.2 柯尔莫哥洛夫微分方程,称为齐次马尔可夫过程从状态i到状态j的转移速率（跳跃强度）。推论 对有限齐次马尔可夫过程，有,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,若连续时间齐次马尔可夫链具有有限状态 空间I=0,1,2,n, 则问题：能否可由Q求转移概率？,5.2 柯尔莫哥洛夫微分方程,定理5.4(柯尔莫哥洛夫向后方程)
6、假设 ，则对一切i, j及t 0，有证明：由切普曼-柯尔莫哥洛夫方程有,5.2 柯尔莫哥洛夫微分方程,定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下有,5.2 柯尔莫哥洛夫微分方程,向后方程的矩阵形式：P(t)=QP(t)向前方程的矩阵形式：P(t)=P(t)Q,5.2 柯尔莫哥洛夫微分方程,定理5.6 齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t) 满足方程：,证明：,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,定义5.4 设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t，使得pij(t)0， 则称状态i可达状态j。若存在时刻t1和t2，使得pij
7、(t1)0， pji(t2)0，则称状态i与j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。,5.2 柯尔莫哥洛夫微分方程,定义5.5 状态i为常返的，若状态i为正常返的；若状态i为零常返的；若,5.2 柯尔莫哥洛夫微分方程,定理5.7 设连续时间马尔可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限 存在且等于j 0，jI。这里j 是的唯一非负解，此时称j 0，jI是该过程的平稳分布。 (2)若它是零常返的或非常返的，则,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,例5.2 设两个状态的连续时间马尔可夫链，状态转移概率满足,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,转移概率为,5.2 柯尔莫哥洛夫微分方程,转移概率的极限为0，1状态为正常返态，故平稳分布为,5.2 柯尔莫哥洛夫微分方程, ,5.2 柯尔莫哥洛夫微分方程,5.2 柯尔莫哥洛夫微分方程,若取初始分布为平稳分布，即则过程在时刻t的绝对概率分布为,5.2 柯尔莫哥洛夫微分方程,
