1、随机过程与排队论,数学科学与计算技术学院 胡朝明 Email：math_ 2019年6月20日星期四,2019/6/20,胡朝明,372,上一讲内容回顾,齐次马氏链状态的分类 互通 首达 常返与非常返 正常返与零常返 状态空间分解 不可约马氏链 状态的周期性,2019/6/20,胡朝明,373,本讲主要内容,连续参数马尔可夫链 转移概率函数、转移矩阵 连续参数齐次马氏链 初始分布、绝对分布、遍历性、平稳分布 转移概率函数的性质 状态转移速度矩阵 生灭过程,2019/6/20,胡朝明,374,3.4 连续参数马尔可夫链,类似离散参数马氏链，只是把离散的时间参数 改为连续的时间参数，便可得到类似的
2、结果。,设随机过程X(t),t0，状态空间E=0,1,2,。若对于0t1t2tntn+1及非负整数i1,i2, in,in+1，有 PX(tn+1)in+1|X(t1)=i1,X(t2)=i2,X(tn)=in PX(tn+1)in+1|X(tn)=in 即马尔可夫性成立，则称X(t),t0为连续参数马尔可夫链。,2019/6/20,胡朝明,375,转移概率函数,设X(t),t0为连续参数马氏链，对任意i,jE 0,1,2,，任意非负实数s,t，条件概率 pij(s,t)PX(t+s)=j|X(s)=i 称为此马氏链X(t),t0的转移概率函数，显然,我们称 P(s,t)(pij(s,t)i,
3、jE 为此马氏链的转移矩阵。,这里，pij(s,t)的直观意义是：系统(或质点)在时刻s时处于状态i，再经过t时间转到状态j的条件概率。,2019/6/20,胡朝明,376,连续参数齐次马氏链,若X(t),t0为连续参数马氏链的转移概率pij(s,t)与,时间起点s无关，即pij(s,t)PX(s+t)=j|X(s)=ipij(t) 则称X(t),t0为连续参数齐次马氏链。,类似地，,一般地，我们要求齐次马氏链的转移概率函数满足如下的连续性条件：,P(t)(pij(t)i,jE 称为此齐次马氏链的转移矩阵。0pij(t)1，,2019/6/20,胡朝明,377,绝对分布、遍历性、平稳分布,设X
4、(t),t0为连续参数齐次马氏链,则称vj，jE为齐次马氏链X(t),t0的平稳分布。,pjPX(0)=j，jE，称pj,jE为该马氏链的初始分布； Pj(t)PX(t)=j，jE，称pj(t),jE为该马氏链的绝对分布； 如果转移概率极限存在，,，且与 i无关则称此连续参数齐次马氏链为遍历的马氏链，此 时，我们说该链具有遍历性。,若j0， ，则称j,jE为齐次马氏链X(t),t0 的极限分布。,如果vj,jE满足,2019/6/20,胡朝明,378,转移概率函数的性质,0pij(t)1，i,jE；,连续性条件：,pij(t)满足C-K方程,矩阵形式: P(t+s)P(t)P(s),绝对概率满
5、足,如果齐次马氏链X(t),t0是遍历马氏链，则,2019/6/20,胡朝明,379,转移概率函数的性质(续1),设齐次马氏链X(t),t0的状态有限，E=0,1,2, s，如果存在t00，使得对任意i,jE，都有pij(t0) 0，则此齐次马氏链X(t),t0为遍历的齐次马氏链。 即,存在且与i无关，并且极限分布j,jE是唯一的平稳分布：,对固定的i,j，函数pij(t)是t0的一致连续函数。,满足连续性条件的连续参数齐次马氏链X(t),t0存在下列极限,其中qi表示在时刻t时通过状态i的通过速度(或通过强度)；qij表示时刻t时从状态i转移到状态j的速度(或强度)，qij统称转移速度。,2
6、019/6/20,胡朝明,3710,状态转移速度矩阵,设连续参数齐次马氏链X(t),t0，状态空间E=0,1,2,s，下面s+1阶方阵：,称为齐次马氏链X(t),t0的状态转移速度矩阵，简称Q-矩阵。,由连续性条件和导数的定义，显然有,即 P(+0)Q。,2019/6/20,胡朝明,3711,转移概率函数的性质(续2),设齐次马氏链X(t),t0，状态空间E=0,1,2,s，其转移速度,设X(t),t0为连续参数齐次马氏链，当qi+， qi 时，满足柯尔莫哥洛夫后退微分方程,即 P(t)QP(t),设X(t),t0为连续参数齐次马氏链,当qi+, qri 时，则有柯尔莫哥洛夫前进微分方程,即
7、P(t)P(t)Q,2019/6/20,胡朝明,3712,转移概率函数的性质(续3),绝对概率满足（福克-普朗克方程）,齐次不可约连续参数马氏链X(t),t0存在极限分布，即为平稳分布j,jE,即 Q0（零向量）,2019/6/20,胡朝明,3713,3.5 生灭过程,设X(t),t0是连续参数齐次马氏链，状态 空间E0,1,2,N，如果它的状态转移速度矩 阵为,则称X(t),t0为生灭过程。,2019/6/20,胡朝明,3714,生灭过程的转移概率,上述生灭过程X(t),t0的定义可等价地用 转移概率pij(t)表示为：,生灭过程的状态空间可以推广到可数无穷多个状态的情形。,2019/6/2
8、0,胡朝明,3715,生灭过程的概率意义,设X(t)表示时刻t时某生物群体的个数，X(t),t0为 生灭过程，由上式可见，在长度为t的一小段时间内，如果 忽略t的高阶无穷小量o(t)后，生灭过程的状态变化只有3 种情况： ii+1，状态增加1，可理解为“生”了一个个体，其概率为it，其生长率为i； ii-1，状态减少1，可理解为“死”了一个个体，其概率为it，其生长率为i； ii，状态不增不减，群体个数不变，其概率为1-(i+i)t； 状态增加或减少2个或2个以上的概率为0。,生灭过程的所有状态都是互通的，但在有限短时间内，只能在相邻两个状态内变化，或者“生”一个，或者“死”一个，或者状态无变
9、化，故称之为生灭过程。,2019/6/20,胡朝明,3716,生灭过程的状态转移速度图,1,0,2,3,4,n-1,n,n+1,1,n,n-2,n-1,2,3,2019/6/20,胡朝明,3717,生灭过程满足的柯尔莫哥洛夫方程,柯尔莫哥洛夫后退方程：P(t)QP(t)，P(+0)I(单位阵),柯尔莫哥洛夫前进方程： P(t)P(t)Q，P(+0)I,2019/6/20,胡朝明,3718,福克普朗克方程,绝对概率满足福克普朗克方程：,(1),推广到无限状态E0,1,2,n,为：,(2),2019/6/20,胡朝明,3719,福克普朗克方程解的存在性,对有限状态E0,1,2,N的生灭过程，若满足
10、pj(t)0，,，则对任给的初始条件，方程组,(1)的解存在、唯一，而且,对可列无限状态E0,1,2,n,的生灭过程，若,而且满足pj(t)0，,，则对任给的初始条件，,方程组(2)的解存在、唯一，且,2019/6/20,胡朝明,3720,极限定理,对有限状态E0,1,2,N的生灭过程，j，j=0,1,2,N存在，与初始条件无关，且,即j，j=0,1,N为平稳分布。,对可列无限状态E0,1,2,n,的生灭过程，若有条件,成立，则j，j=0,1,2,存在，与初始条件无关，且,令,j0，,及,，即j，j=0,1,n,为平稳分布。,j0，,2019/6/20,胡朝明,3721,有限状态生灭过程的平稳
11、分布,有限状态E=0,1,2,N的生灭过程X(t),t0是遍历的齐次连续参数马氏链。生灭过程存在极限分布即为平稳分布j,jE。Q0即,2019/6/20,胡朝明,3722,有限状态生灭过程的平稳分布的解,解得生灭过程X(t),t0，E=0,1,2,N的平稳分布j,jE为：,当0 1 N-1 ，1 2 N 时，有,2019/6/20,胡朝明,3723,无限状态生灭过程的平稳分布,无限状态E=0,1,2,的生灭过程X(t),t0若满足,是遍历的齐次连续参数马氏链。生灭过程存在极限分布即为平稳分布j,jE。 Q0 即,及,2019/6/20,胡朝明,3724,无限状态生灭过程的平稳分布的解,解得生灭
12、过程X(t),t0，E=0,1,2,的平稳分布j,jE为：,特别，当0 1 =2 ，1 2 3 时，只要/1，则j,jE存在，且有,2019/6/20,胡朝明,3725,注,由生灭过程X(t),t0 的平稳分布可得： jjj-1j-1此式的概率解释为：当群体大小X(t)处于统计平衡时，在一个很小的时间区间t时，群体大小增加1的概率(j-1j-1)等于群体大小减少1的概率(jj)。,当j=0时，生灭过程X(t),t0为纯生过程，即“灭”是不可能的；当j=0时，生灭过程X(t),t0为纯灭过程，即“生”是不可能的,2019/6/20,胡朝明,3726,例1,泊松过程N(t),t0是生率为的纯生过程
13、。,状态空间E0,1,2, 状态转移速度图,状态转移速度矩阵,2019/6/20,胡朝明,3727,例1(续),前进方程： P(t)P(t)Q， P(+0)=I 即,解得转移概率,也可直接按转移概率的定义来求Pij(t)：(平稳独立增量过程),Pij(t)PN(t+s)=j|N(s)=i,PN(t+s)-N(s)=j-i|N(s)-N(0)=i-0PN(t+s)-N(s)=j-i,PN(t)=j-i,独立增量,增量的平稳性,2019/6/20,胡朝明,3728,例2 机器维修问题,一部机器正常工作时间服从参数为的负指数分布，,若出故障，维修时间服从参数为的负指数分布，二者独立。令X(t)表示时
14、刻t出故障的机器数，则X(t),t0是一个状态空间E0,1的生灭过程。,状态转移速度图,状态转移速度矩阵,前进方程： P(t)P(t)Q， P(+0)=I 即,2019/6/20,胡朝明,3729,例2(续1),解得,极限分布,2019/6/20,胡朝明,3730,例2(续2),平稳分布(等于极限分布),2019/6/20,胡朝明,3731,例3,设有2个通信通道，每个通道正常工作时间服从参数为,的负指数分布。2个通道出故障是统计独立的，若通道出故障，由2个维修人员独立维修。修理的时间服从参数为的负指数分布。假设2个通道在t=0时正常工作，设X(t)表示时刻t时出故障的通道数，则X(t),t0
15、是状态空间E0,1,2的生灭过程。,状态转移速度图,状态转移速度矩阵,2019/6/20,胡朝明,3732,例3(续),平稳分布 Q0，,即,解得,即平稳分布(0,1,2),2019/6/20,胡朝明,3733,例4 电话问题,考虑有3条线路的电话交换台。呼唤次数是参数为的,泊松过程；通话时间服从参数为的负指数分布，二者相互独立。用户不等待。设X(t)表示时刻t时通话线路数，则X(t)，t0是状态空间E0,1,2,3的生灭过程。,状态转移速度图,状态转移速度矩阵,2019/6/20,胡朝明,3734,例4(续),平稳分布 Q0，,即,解得,即平稳分布(0,1,2,3)，其中,2019/6/20,胡朝明,3735,本讲主要内容,连续参数马尔可夫链 转移概率函数、转移矩阵 连续参数齐次马氏链 初始分布、绝对分布、遍历性、平稳分布 转移概率函数的性质 状态转移速度矩阵 生灭过程,2019/6/20,胡朝明,3736,下一讲内容预告,排队论简介 排队的概念 基本的排队系统 排队系统的基本组成 经典排队系统的符号表示方法 无限源的简单排队系统M/M/1/,2019/6/20,胡朝明,3737,P156-157 28. 31. 33.,习 题 四,
