1、 机程义( 流)录录1 Poisson 程 1舱舮舱 义 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舱舮舲 一个等 义舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舳舱舮舳 艐良艩艳艳良艮程 其 性质 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舵舱舮舳舮舱 顺 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
2、 舮 舮 舮 舮 舮 舮 舵舱舮舳舮舲 程 稀 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舶舱舮舴 复合艐良艩艳艳良艮程 用 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舷舱舮舴舮舱 复合艐良艩艳艳良艮程 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舷舱舮舴舮舲 复合艐良艩艳艳良艮程在 险险理”中 用 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舸舱舮舵 艐良艩艳艳良艮 程 其 扩展 舮 舮 舮 舮
3、 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舰舱舮舵舮舱 非齐次艐良艩艳艳良艮 程 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舰舱舮舵舮舲 条 艐良艩艳艳良艮 程舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舰舱舮舵舮舳 艐良艩艳艳良艮 机测 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舱2 散 马氏 12舲舮舱 义与 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
4、舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舲舲舮舲 态分类 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舴舲舮舲舮舱 态空 分舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舴舲舮舲舮舲 态 常 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舱舵舲舮舲舮舳 态 周期性 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
5、舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舲舰舲舮舳 不 测 平稳分布 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舲舰舲舮舴 限 理 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舲舳舲舮舴舮舱 限分布 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舲舳舲舮舴舮舲 理 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
6、 舮 舮 舮 舮 舮 舮 舮 舮 舲舶舲舮舵 一 子 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舲舷3 马氏 33舳舮舱 义 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舳舳舳舮舱舮舱 马氏性与等 条 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舳舳舳舮舱舮舲 转 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮
7、舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舳舵舳舮舲 标转阵 分 性质 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舳舶舳舮舳 Q阵其 意义 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舳船舳舮舴 向前与向后fi分程 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舴舳舳舮舵 一类马氏 造 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舴舶舳舮舶
8、 强马氏性 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舮 舴舸舭艩舭第一 艐良艩艳艳良艮 程第一 Poisson 程机 X服数为 艐良艩艳艳良艮分布, P(X = k) = e kk! 般 k = 0;1;:舮机 X 服数为 指数分布, P(X t) = e t舮 此 ,X 数为 e t般 t 0般分布 数为1 e t般 t 0舮 指数分布 性,即P(X t+s) = P(X t)P(X s):引理 1.1 机 X, Y ,f : R R!R有界 测。 g(x) = Ef(x;Y).则g(X) ,且Ef(
9、X;Y) = Eg(X):fN(t); t 0g为数程, N(t) 表示在 刻t之前 生 次数。 此,数程N(t) :舨艩舩 N(t) 0舻舨艩艩舩 N(t) 为整数值;舨艩艩艩舩 0 s t般 N(s) N(t)舻舨艩艶舩 0 s 0, 有N(t1) N(t0), :, N(tn) N(tn 1) ,且N(t+h) N(t)与N(h)同分布;(iii) 当h#0 ,P(N(h) = 1) = h+o(h); P(N(h) 2) = o(h): 舨舱舮舱舩理 1.2 N(t) 是数为 Poisson 程,则意 h 0,P(N(t+h) N(t) = k) = e t( t)kk! ; k =
10、0;1;: 舨舱舮舲舩舭舱舭第一 艐良艩艳艳良艮 程明 pn(t) = P(N(t) = n) = P(N(t+s) N(s) = n)舮艩舩 先考虑n = 0 形。h 0般有p0(t+h) = P(N(t+h) = 0) = P(N(t) = 0; N(t+h) N(t) = 0)= P(N(t) = 0)P(N(t+h) N(t) = 0) = p0(t)p0(h):用p0(h) = P(N(h) = 0) = 1 P(N(h) = 1) P(N(h) 2) = 1 h+o(h);p0(t+h) p0(t) = (1 p0(h)p0(t) = hp0(t) +o(h):而p0(t) 在t
11、,且 数为 p0(t)舮 而p0(t h) p0(t)h =p0(t h) p0(t h)p0(h)h= 1 p0(h)h p0(t)p0(h);h!0 p0(t) 在t 数也存在,且为 p0(t)舮 样p00(t) = p0(t); p0(0) = 1;是p0(t) = e t舮艩艩舩当n 0 pn(t+h) = P(N(t+h) = n)= P(N(t) = n; N(t+h) N(t) = 0) +P(N(t) = n 1; N(t+h) N(t) = 1)+P(N(t+h) = n; N(t+h) N(t) 2)= pn(t)p0(h) +pn 1(t)p1(h) +o(h)= (1
12、h)pn(t) + hpn 1(t) +o(h):h 0般有pn(t+h) pn(t)h = pn(t) + pn 1(t) +o(h)h ;而pn(t) 在t 数为 pn(t) + pn 1(t)舮 类似 pn(t) 数也存在。样p0n(t) = pn(t) + pn 1(t); pn(0) = 0; n 1:上面程等 (e tpn(t)0 = e tpn 1(t):易 到pn(t) = e t( t)nn! :舭舲舭第一 艐良艩艳艳良艮 程样,艐良艩艳艳良艮 程有 下 等 义。义 1.2 fN(t); t 0g为数为 Poisson 程, (i) N(t) 是数程,且N(0) = 0;(i
13、i) N(t) 是 程;(iii) 意 t 0, h 0,有P(N(t+h) N(t) = k) = e t( t)kk! ; k = 0;1;:1.2 一个等 义N(t) 是数为 艐良艩艳艳良艮 程。 S0 = 0般 Sn = infft 0; N(t) ng般Tn = Sn Sn 1般 n = 1;2;:舮理 1.3 Tn, n = 1;2;: 同分布且服数 指数分布。明由P(T1 t) = P(N(t) = 0) = e t;T1 服数为 指数分布。0 0般P(t1 h1 t+s)=P(S1 s)P(S1 t) = P(N(s) = 0)P(N(t) = 0):舨艩艩舩 k = 0般 n
14、 1舮P(N(t+s) N(t) = 0; N(t) = n) = P(Sn ts)P(Tn+1 t u)dP(Sn u) = P(N(s) = 0)P(N(t) = n):舨艩艩艩舩 k 1般 n = 0舮P(N(t+s) N(t) = k; N(t) = 0) = P(tt+u) = P(S1 t)dP(S1 u) = P(S1 t)dP(S1 u);P(N(t+s) N(t) = k; N(t) = 0)=P(S1 t)Z s0P(kXi=2Ti s u 0 前 生 n 次 ,即 N(t) = n, 则 机向(S1;S2;:;Sn) 分布与区 0;t 上n个 均匀分布 顺 具有同 分布,
15、即 联合 数为f(t1; ;tn) = n!tn; 0 0般 c 0般 Yn 是 同分布 非负 机 ,N(t) 是强为 艐良艩艳艳良艮 程。 F 为Yi 分布 数, 为Yi 期望,M(r) = EerYi舮 假 存在0 舮此 ,关 r 程M(r) = +cr有唯一 正 根R(明留作习)。 R为艌艵艮艤艢艥色艧指数(调 数)。险程R(t) 破 T 义为T = infft 0; R(t) 0, 就有P(Xn+1 = in+1jX0 = i0;:;Xn = in) = P(Xn+1 = in+1jXn = in); 舨舲舮舱舩则 为散 马氏 (Markov )。 意 m, n态i, j2I, P(X
16、m = i) 0, P(Xn = i) 0, 就有P(Xm+1 = jjXm = i) = P(Xn+1 = jjXn = i); 舨舲舮舲舩则 为齐次 。本 我 考虑齐次马氏 ,并且总假 成条 具有正 。 pij = P(Xn+1 = jjXn = i); 舨舲舮舳舩为单步转 。 P = (pij)i;j2I 为转阵。明显 ,单步转 舨艩舩 pij 0; i;j2I舨艩艩舩 Pj2Ipij = 1; i2IFn = fXm; m ng般Fn = fXm; m ng舮 下面我 马氏性 一 等 条 。理 2.1 下面条 等 :(i) 马氏性(2.1)成;(ii) 意 r, m, k, n1 0.
17、 i与j 通, 为i$j, i!j且j!i.意到f j = ng fXn = jg f j ng f j 0般则Pi( j 0舮 来, Pi( j 0般则存在n使Pi( j = n) 0般而p(n)ij Pi( j = n) 0舮 样,我 明 i!j当且当存在n使p(n)ij 0舮舭舱舴舭第 散 马氏 命 2.5 通关是I 上等 关,即(i) i$j;(ii) i$j 当且当j$i;(iii) i$j, j$k,则i$k.明须明传递性。 i!j般 j!k般则存在m般 n般使 p(m)ij 0般 p(n)jk 0舮 是由艃舕艋 程,p(m+n)ik =Xrp(m)ir p(n)rk p(m)ij
18、 p(n)jk 0:按照 通关,I 分为I = S C 般 其中C 中两态 通,且当 6= ,C TC =;舮Xn 为不 马氏 , I 中两态 通,即上面分中有一个等 类。C I 为 , 意i2I般 Pi( Cc =1) = 1舮 fjg为 ,则 j为吸收态。命 2.6 (i) C 是 等 意 i2C, j2Cc,有pij = 0.(ii) j吸收等 pjj = 1.明 性显然。 i2C般 j2Cc般 pij = 0舮 则Pi( Cc = 1) =Xj2Ccpij = 0;Pi( Cc = 2) = Pi(X1 2C; X2 2Cc) =Xj2CcXk2Cpikpkj = 0:归即 Pi( C
19、c n) = 0舮 2.2.2 态 常 i(0) = 0般i(1) = inffm 1; Xm = ig;在f i(1) i(1); Xm = ig;归 ,在f i(1) i(n); Xm = ig:舭舱舵舭第 散 马氏 用马氏性,Pi( i(1) = m; i(2) i(1) = n)=Pi(Xs6= i; 1 s 0.明由p(n)ij = Pnk=1 f(k)ij p(n k)jj 。 f(n)ij p(n)ij 生成 数分别为Fij(s) =1Xn=1f(n)ij sn; 0 s 1;Pij(s) =1Xn=0p(n)ij sn; 0 s 0般有Pi(Xm+n6= i; n 1) = 0
20、舮 由i!j般 存在m使 f(m)ij 0舮 样,0 = Pi(Xn+m6= i; n 1) Pi( j(1) = m; Xn+m6= i; n 1)= f(m)ij Pj( i(1) =1) = f(m)ij (1 fji);故fji = 1般而j!i舮舨艩舩 p(n)ji 0般 p(k)ij 0舮 由艃舕艋 程,pn+k+ljj =Xr; sp(n)jr p(l)rsp(k)sj (p(n)ji p(k)ij )p(l)ii :是 1Xl=1p(l)jj 1Xl=1p(n+k+l)jj (p(n)ji p(k)ij1Xl=1p(l)ii =1:就明 j常 。舨艩艩艩舩由舨艩艩舩 明j常 。
21、 currency1” 2.18 通 态具有同 常 性。后我 将会看到, 通 态 是常 ,则同为正常 或者同为 常 。舭舱船舭第 散 马氏 2.2.3 态 周期性义 2.4 fn : n 1; p(n)ii 0g 最大公数di 为i 周期。 di 1, i为周期 ; di = 1,则 i为非周期 。 i正常 且非周期,则 为i为遍 态。命 2.19 i$j,则i与j 具有同 周期或者同为非周期 。明 i周期为d般 j 周期为t舮 由i$j般 故存在s般 t般 使 p(s)ij 0般 p(t)ji 0舮 p(n)jj 0般则p(n+r+s)ii p(s)ij p(n)jj p(r)ji 0:样,
22、n+r+s d整除,但p(r+s)ii p(r)ji p(s)ij 0般所 r+s d整除。 是nd整除,而t d整除。同理,d t整除。 此,d = t舮 理 2.20 态空 I 分为I = TC1C2;其中T 是所有非常 态成 合,个Ci 均为常 ,其中态 通且有同 周期。2.3 不 测 平稳分布义 2.5 机程fYn; n 0g为平稳程, 意m 0, k 0,有(Y0;:;Ym) d= (Yk;:;Ym+k):马氏 Xn 态空 为I般转阵为P舮 测 =f j; j2Ig般 义一个 测P =f( P)j =Xi2Iipij; j2Ig:义 2.6 测 为不 测, = P; 是一个 分布,则
23、 为一个平稳分布。是 分布。当马氏 Xn 为初分布 , 分布为P 舮 此 ,P ( ) =XiP( jX0 = i) i:命 2.21 是平稳分布。在 P 下,马氏 Xn 是一个平稳程。舭舲舰舭第 散 马氏 明由 = P = Pn舮 是P (Xn = i0;:;Xn+k = ik) = i0pi0i1 pik 1ik = P (X0 = i0;:;Xk = ik):下面我 研究不 测(平稳分布) 存在性 唯一性。 先引入 一个分公式。 h(1)ij = pij般h(n)ij = Pi(Xs6= i; 1 s n 1; Xn = j); 2 n 0般p(n)ij 0舮 是i = 1 =Xkkp(
24、m)ki jp(m)ji ;故 j 0:是 一个不 测,0 n); k6= j;j =1Xn=0Pi(Xn = j; i(1) n) =1Xn=0(i)P)n ij:i =f ij; j2Ig般则= i + (i)P = i + ( i + (i)P)(i)P = i + i(i)P + (i)P)2= =NXn=0i(i)P)n + (i)P)N+1:N!1般有1Xn=0i(i)P)n;而j 1Xn=0(i)P)n ij = j:舭舲舲舭第 散 马氏 为明 j = j般 j = j j舮 意到 = P i = i i = 0舮 有个k使 k 0般前面 currency1” 道意 j2I般 j
25、 0般与 i = 0 。故= 舮此马氏 正常 ,则具有唯一 平稳分布 舮 意到 i = 1=mi般而意态j作为最初 考态i般 故 j = 1=mj般 j2I舮 命 2.25 马氏 Xn 不 ,且存在平稳分布 . 则此马氏 正常 。明 Xn 非常 ,则意i般 j2I般有p(n)ij !0 (n!1)舮 由制收敛 理,j =Xiip(n)ij !0;与Pj j = 1 。而Xn 不 ,常 。 是存在唯一 不 测( 常数倍意义下)。 样,存在常数c 0 使 j = Eii(1)Xn=01fXn=jg = c j:是1Xjj = Ei i(1):就明 此马氏 正常 。 2.4 限 理2.4.1 限分布
26、下面我 来研究 限limn!1p(n)ij 是否存在, 存在,是否与i有关。 态j 周期dj 1般则p(dn+k)jj = 0般 1 k 0.明明留作习。 理 2.27 Xn 不 ,非周期,且存在平稳分布 . 则意i, j2I,有limn!1p(n)ij = j:明 马氏 Yn 与Xn ,具有同 转阵P般 且 为初分布。 n = (Xn;Yn)般则 n 是 I I为态空 , P( n+1 = (k;l)j n = (i;j) = pikpjl舭舲舳舭第 散 马氏 为转阵 马氏 ,且P( n = (k;l)j 0 = (i;j) = p(n)ik p(n)jl :由上面 引理,当n充分大 ,p(
27、n)ik p(n)jl 0舮 是, n 不 ,非周期。(k;l) = k l般则Xi;j(i;j)P( n+1 = (k;l)j n = (i;j) = k l = (k;l):而f (k;l)g是 n 平稳分布, 是 n 正常 。 i0 2I舮 = (i0;i0) = inffn 0; n = (i0;i0)g:则P( n) P(Yn = j; n)j=jE(1fXn=jg 1fYn=jg)1f ngj P( n)!0; (n!1):命 2.28 假 limn!1p(n)ij = j;Xjj = 1:则 是Xn 平稳分布。舭舲舴舭第 散 马氏 明由j = limn!1p(n+1)ij = l
28、imn!1Xkp(n)ik pkj艆艡艴良艵引理 ,j Xkkpkj; 8j2I:上式两j求 ,有1 =Xjj XjXkkpkj =XkkXjpkj = 1:是所有 不等式均 等 。 就明 是平稳分布。 下面命 明类似 理舲舮舲舷般我 略 明。命 2.29 Xn 不 ,非周期,且 常 或者非常 ,则意i, j2I,有limn!1p(n)ij = 0:一般 ,我 有下面 ”。理 2.30 (i) j 非常 或者 常 ,则意i2I,有limn!1p(n)ij = 0:(ii) j 正常 且非周期,则limn!1p(n)ij = fijmj:(iii) j 正常 且周期d 1, 限limn!1p(n
29、)ij 不一 存在。明 舨艩舩 舨艩艩舩由下面 引理p(n)ij =nXk=1f(k)ij p(n k)jj ;limn!1p(n)jj = 1mj。 引理 2.31 av 0, bv 0, (i) P1v=0 0.明 gij 0般则由gij = fijgjj gjj 0舮 是j常 ,fij gij 0舮 根据上面 理 ”成。gij = 0般 由gij = fijgjj = 0 fij = 0 或gjj = 0舮 gjj = 0般 则j 非常,P1n=0pjj 0舮 是,h(n)ij f(m)ji Pi(Xv6= i; 1 v 0般 0 q般则EX1 = p q 0舮 样,P( limn!1Sn =1) = 1:舭舲舷舭第 散 马氏 而Sn 1 到 0 有限次,即0 常 。此 所有态 通,均为非常 。 p 0;即k!0舮 但0 吸收,故k非常 。意N般由1;:;N 非常 ,Zn 1 到 N 个态有限次。故当n充分大 Zn = 0 或Zn N舮 样,P( limn!1Zn = 0 或1) = 1:习求P(limn!1Zn = 0)舮2.3 马氏 态空 为I =f0; 1;:g般 转阵为p00 = 1 p; pi;i+1 = p; pi0 = 1 p; i2I;其中0 p 1舮 转 :舭舲舸舭