1、清华大学电子工程系版权所有1概率论与随机过程(2)，homework4_Markov Chain 3 清华大学电子工程系1.设f (n);n = 1;2;3 g是伯努利过程。定义另一随机过程f (n);n = 1;2;3 g：*如果 (n) = 0， (n) = 0；*如果 (n) = (n 1) = = (n k + 1) = 1; (n k) = 0，则 (n) = k (k =1;2; n)。即 (n)代表在n时和n前连续出现 (m) = 1的次数。(a)试证明 (n)是一马尔可夫链，并求一步转移概率；(b)从零状态出发，经n步转移，求首次返回零状态的概率f(n)00和n步转移概率P(n
2、)00；(c)该链是常返还是非常返的？(d)设T代表连续两个 = 0间的时间，则T为一随机变量。求T的均值和方差。参考解答：(a)题目所述过程可以表示为： (n + 1) = (n + 1)( (n) + 1),又 (n)独立同分布，因此此过程是齐次MC过程。设P ( (n) = 1) = p，P ( (n) = 0) = 1 p，则其一步转移概率为：8i;j 0;pij = (1 p) j + p j i 1。(b) 8n 0;f(n)00 = p(n 1)(1 p),Pn00 =i2SP(n 1)00 pi0 =i2SP(n 1)00 (1 p) = 1 p(c)由(2)，当p 1E (T
3、) = 11 pD(T) =n=1pn 1(1 p)n2 1(1 p)2 = p(1 p)22.设有马尔可夫链，它的状态空间为I : f1;2; g，且设当ji jj 1时Pij = 0,在其它的i;j值时Pij是任意的正数，对每个j 0必须满足Pj;j 1 + Pjj+Pj;j+1 = 1当j = 0时，P00 + P01 = 1。这类过程可以称为离散时间的生灭过程。求该链为正常返的条件。参考答案：显然,此过程中所有状态都是相通的，所有状态都是非周期的。该链为正常返即该链是遍历的。设过程的平稳分布为 ，当此链为正常返时， (0) = 1 0 0;当 (0) 0时,由： (0) =limn!1
4、i2I(i)Pni0,当0为零常返或者非常返时，limn!1P(n)i0 = 0,因此若0不是正常返时，(0) = 0，矛盾，因此必有0为正常返态。所以该链为正常返等价于存在平稳分布，且(0) 0。因此：q1 (1) = p0 (0) (1)清华大学电子工程系版权所有2pi 1 (i 1) + qi+1 (i + 1) = (pi + qi) (i);i 1上式可改为：qi+1 (i + 1) qi (i) = pi (i) pi 1 (i 1);i 1对等式两边同时对i求和得n 1i=1qi+1 (i + 1) qi (i) =n 1i=1pi (i) pi 1 (i 1)化简后为qn (n
5、) q1 (1) = pn 1 (n 1) p0 (0)结合公式(1)可得qn (n) = pn 1 (n 1);n 1即(n) = pn 1qn(n 1);n 1从而有(n) =nr=1pr 1qr (0);n 1因为极限分布的归一化，n=0 (n) = 1,所以1 +1n=1nr=1pr 1qr(0) = 1括号内式子收敛时， (0)不为0，是正常返；反之如它不收敛， (0)为0，是零常返。因此该链正常返的条件是1 +1n=1nr=1 pr 1qr收敛。3.冬天是流感频发的季节，我们希望利用Markov链来对流感病毒的传播过程进行建模。假设一个人群中有n个个体，每一个个体要么是已被感染，要
6、么是属于易感人群。假设任意两个人(i;j);i = j在白天相遇的概率为p，且相互独立。只要一个易感者与已感染者相遇，则该易感者就会被感染。另外，假设在晚上的时候，任何一个被感染时间至少为24小时的个体都将独立地以概率q，(0 q 1)恢复健康，变成易感者（假设一个刚刚感染的病人至少将会与病毒抗争一个晚上）。(1)假设某一天黎明时分共有m个已感染者，求这一天结束的时候新被感染者的数目的分布。(2)当n = 2时，请画出一条Markov链对流感病毒的传播过程进行建模，要求使用尽可能少的状态数目。(3)请指出（2）中所绘制的Markov链的所有常返态。参考解答：(1)如果n个个体中有m个已感染者，
7、则必有n m个易感者。每一个易感者在白天独立地被病毒感染的概率为 = 1 (1 p)m。因此，新被感染者的数目I将服从二项分布B(n m )，即pI (k) =(n mk)k(1 )n m k; k = 0;1;?;n m清华大学电子工程系版权所有3(2)令状态表示所有人群中被感染者的数目。当n = 2时，相应的Markov链如下图所示:(3)常返态f0g。4.设质点在xy平面内的x方向或y方向上作随机游动。在xy平面上安排整数点格，质点每次转移只能沿x方向往左或右移动一格，或沿y方向往上或往下移动一格，设这四种转移方式的概率均相等。若质点从(0;0)出发游动，(1)求经过2n次转移质点回到(
8、0;0)点的概率(2)判断这种二维随机游动的常返性（正常返、零常返或非常返），并给出理由参考解答：(1)假设在这一过程中质点在2n次游动中向上游动了k次，那么一定向下也游动了k次，向左向右分别游动了n-k次。因此可求出P(2n)00为P(2n)00 =nk=0(2nk)(14)k(2n kk)(14)k(2n kn k)(14)n k(n kn k)(14)n k=nk=02n!k!k!(n k)!(n k!)(14)2n(2)判断常返性只需判定(0;0)点的常返性，即判断级数1n=0 P(2n)00是否收敛（由于当n为奇数时，P(n)00 = 0）1n=0P(2n)00 =1n=0nk=02
9、n!k!k!(n k)!(n k!)(14)2n=1n=0 nk=0(nk)2(2nn)(14)2n(1)首先证明nk=0(nk)2 =(2nn )。考虑多项式(1 + x)2n第n项的系数，一方面由二项式定理知该系数为(2nn )。另一方面，由于(1 + x)2n = (1 + x)n(1 + x)n，第n项也可以写作nk=0(nk)xk( nn k)xn k清华大学电子工程系版权所有4因此nk=0(nk)2 =(2nn )成立那么有1n=0 nk=0(nk)2(2nn)(14)2n =1n=0(2nn)2(14)2n根据斯特林公式，当n趋于无穷时，n! p2 n(ne)n，那么上式的第n项在n趋于无穷时有(2nn)2(14)2n ( 22np n)2(14)2n 1 n由于调和级数不收敛，1n=0(2nn )2(14)2n也不收敛，因此(0;0)是常返的，由于常返性是类性质，二维随机游动也是常返的。由于limn!1P(n)00 = 0，易知二维随机游动是零常返的。
