1、1第一,二 章 习 题1. 设 是一马尔可夫过程，又设 )(t kmnttt 121试证明：)/().,/( ,1./,1.,/ 11 ntknntt xfxxf nknn即一个马尔可夫过程的反向也具有马尔可夫性。2. 若 是一马尔可夫过程， )(t 2121. mmttt试证明：)/,(),./,( 21/2121,./ 2121 mmttmmttt xxfxxxf mm 3有三个黑球和三个白球。把这六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：0，1，2，3。现每次从甲、乙两袋中各取一球，然后相互交换，即把甲袋取出的球放入乙袋，而把已袋中取出的球放入甲袋
2、，经过 n次交换，过程的状态为 ，n=1,2,3。)(n（1） 该过程是否为马尔可夫链；（2） 计算它的一步转移概率矩阵。4. 设 是一马尔可夫链，它的状态空间为：I: 0,1,2 ,)(n它的初始状态概率分布为： ;4/12)0(,2/1)0(,4/10)( PPP它的一步转移概率矩阵为：243103041P（1） 计算概率：;1)2(,1)(,0)( P（2） 计算 。2(1,5设有马尔可夫链，它的状态空间为：I: 0,1,2;他的一步转移矩阵为：010pP（1） 试求：P （2） ， 并证明 P（2） = P（4） ；（2） 求 P（n） , n 1。6. 设有马尔可夫链，它的状态空间为
3、： I : 0,1;它的一步转移概率矩阵为：)10(1 ppP试用数学归纳法证明：3 nnnnn ppP 12121)(7确定下列马尔可夫链的状态分类，已知其一步转移概率矩阵为：（1） 021210P（2）010210P（3）21002104020P4（4）0013201243P8一质点 沿着圆周游动，圆周按顺时针、等距排列五个点，（0，1，2，3，4） ，把圆周分成五格，质点每次游动顺时针或逆时针移动一格，顺时针前进一格的概率为：p, 逆时针后退一格的概率为：1-p ， 设 代表经过 n 次转移后质点所处的位置)(n（即状态） ，它是一个齐次马尔可夫链。试求：（1） 一步转移概率矩阵；（2） 极限概率分布。9 求习题 8 所给出的概率模型的极限分布。10 设马尔可夫链的一步转移概率矩阵为： 5.0.0050001015 04.020.1.0P先对状态进行分类，然后求每一个不可约闭集的平稳分布。
