1、中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 第一章 随机过程及其分类 在概率论中，我们研究了随机变量，n维随机向量。在极限定理中我们研究了无穷多个随机变量，但只局限在它们之间相互独立的情形。将上述情形加以推广，即研究一族无穷多个、相互有关的随机变量，这就是随机过程。 1 随机过程的概念 定义：设),( P是一概率空间，对每一个参数Tt，),( tX是一定义在概率空间),( P上的随机变量，则称随机变量族 Tt);,(tXXT= 为该概率空间上的一随机过程。其中RT 是一实数集，称为指标集或参数集。 随机过程的两种描述方法： 用映射表示， TXRTtX :),( 即是一定义在)
2、,( X T上的二元单值函数，固定Tt，),( tX是一定义在样本空间上的函数，即为一随机变量；对于固定的，),( X是一个关于参数Tt的函数，通常称为样本函数，或称随机过程的一次实现，所有样本函数的集合确定一随机过程。记号),( tX有时记为)(tX或简记为)(tX。 参数T一般表示时间或空间。常用的参数一般有：（1）,2,1,00L= NT；（2）,2,1,0 L=T；（3）, baT =，其中可以取或a 0 ，b可以取。当参数取可列集时，一般称随机过程为随机序列。 +随机过程 );( TttX 可能取值的全体所构成的集合称为此随机过程的状态空间，记作S。S中的元素称为状态。状态空间可以由
3、复数、实数或更一般的抽象空间构成。 例1：抛掷一枚硬币，样本空间为, TH=，借此定义： 中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 =时当出现，时当出现T2H,cos)(tttX),( +t 其中2/1 = TPHP，则 ),(,)( +ttX是一随机过程。试考察其样本函数和状态空间。 例2：设 ),(,)cos()( += ttAtX 其中A和是正常数，)2,0( U。试考察其样本函数和状态空间。 例3：设正弦随机过程 );( +)(,),;,121mmmnytYytttyLL为随机过程和的m维联合分布函数。 如果对于任取的，以及任意的t Ttn,L，Ttttm ,21L
4、，随机过程和的联合分布函数满足： ),;,),;212121mnmntttyytttyLLL则称随机过程和是独立的。 注：随机过程和T独立可以得到随机过程和统计不相关，反之不对。但对于正态过程来说是等价的，这一点我们以后将看到。 4函数及离散型随机变量分布列的函数表示 （1）函数（Dirac函数）的定义及性质 定义：对于任意的无穷次可微的函数，如果满足： tdtft )()( 其中： 则称的弱极限为函数，记为。 显然，对于任意的，有： 中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 11)(0=+ tdtdt 即 1)( =+tdt 注1：)(t在0=t点的取值为，在0t点的取值
5、为，并且满足。 01=)(+tdt注2：工程（信号处理等）上函数也称为单位脉冲函数或单位冲激函数。 函数的筛选性质： 若)(tf为无穷次可微的函数，则有： )0()()( ftdtftI= 其中I是包含点0=t的任意区间。特殊地，有： )0()()( ftdtft =+ 更一般地，我们有： )()()(00tftdtftt =+ （2）离散型随机变量分布列的函数表示 设离散型随机变量的分布列为：X L,2,1 = ipxXPii，则由函数的筛选性质可以定义离散型随机变量的分布密度（离散型分布密度）为： X=1)()(iiixxpxf 因为，由函数的筛选性质，离散型随机变量的分布函数可以表示为：
6、 X=xiiixxiudxuppxXPxFi1)()( 注：工程上，常用离散型随机变量分布列的函数表示法。它将离散型随机变量的分布列表示成分布密度的形式，因此与连续型随机变量的概率分布密度函数一样，可以进行统一处理。在下面的例子中我们将看到它的应用。 中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 5条件数学期望 条件数学期望是随机数学中最基本最重要的概念之一，它在随机过程课程中具有广泛的应用，需要同学们很好地掌握。 （1） 离散型情形 定义：设二维离散型随机变量( ),YX0所有可能取的值是，其联合分布率为，记： ),(jiyx, =jijipyYxXP=jjyYyYXEIYX
7、Ej)()( 称 YXE为关于X Y的条件数学期望。 注1：定义中的)()(jyYI=是示性函数，即： =)(:,0)(:,1)()(jjyYyYyYIj 注2：条件数学期望 YXE是随机变量Y的函数，因此有关于它的分布，其分布为： 当)( kjyYXEyYXEkj=时， jjyYPyYXEYXEP = 否则，令：:jkjyYXEyYXEkD =，则 =jDkkjyYPyYXEYXEP 注3：由于条件数学期望 YXE是随机变量Y的函数，故可以求其数学期望，其数学期望为： XEyYPyYXEYXEEjjj=。 例9：离散型随机变量),( YX的联合分布率如下表所示，试求 YXE的分布率，, YX
8、EEXE。 中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 X Y 1 2 3 jp1 2/27 4/27 1/27 7/27 2 5/27 7/27 3/27 15/27 3 1/27 2/27 2/27 5/27 ip 8/27 13/27 6/27 1 （2） 连续型情形 定义：设二维随机变量具有联合分布密度函数),( yxf，Y的边缘分布为，若随机变量)(yfY YXE满足： （a） YXE是随机变量Y的函数，当yY =时，它的取值为 yYXE =； （b）对于任意的事件，有： D DYXEDYYXEE = 则称随机变量 YXE为关于X Y的条件数学期望。 注1：由于条件
9、数学期望 YXE是随机变量Y的函数，故可以求其数学期望，其数学期望为： )()( XEdyyfyYXEYXEEY+= 例10：设：( ),(),222121NYX，则有： )(1122 += xxXYE )(1122 += XXYE 解：先求Y关于xX =的条件分布密度， =2111222222/122)()1(21exp)1(21)(),()(xyxfyxfxyfXxXY即 中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 )1(),()(22211122 +=xNxyfxXY)()(11122 +=+=xdyxyyfxXYExXY)(11122 +=XXYE （3） 条件数学期
10、望的性质 在各给定的随机变量的数学期望存在的条件下，我们有： （a） YXEEXE =； （b）=niiiniiiYXEYXE11 a.s. ；其中)1( nii为常数； （c）)()()()( YXgEYhYYhXgE = a.s. ； （d）)()()()( YXgEYhEYhXgE =； （e） 如果YX,独立，则有 XEYXE =； 证明：设),(), y( xfYX，则有： )()()()()()()()(),()(),()()()()(YXgEYhEdyyfyhyYXgEdyyfyhdxyfyxfxgdxdyyxfyhxgYhXgEYYY=+注1：常用的计算式子： += dyyfx
11、hyYXgEyhXgEY)()()()()( += dyyfyYAPAPY)( += dyyfyYxXPxXPY)( 6随机过程举例 例a：如果正弦波随机过程为 中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 )cos()( += tAtX 其中振幅 A取常数，角频率取常数，而相位是一个随机变量，它均匀分布于( ),之间，即： =其它,0,21)(xxf 求在t时刻)(tX的概率密度。 解：固定时刻t，则随机变量)cos()( += tAtX是随机变量的函数。由分布函数的定义： )cos()()()(ytAPytXPyFtX+= 当Ay =0022020350250202222)
12、(,0,2100121)()(1)(0AxAxxAAdAaxadadadfafxaxfAxAtX中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 例c：（一维随机游动）设有一质点在x轴上作随机游动，即在0=t时质点属于x轴的原点，在L,3,2,1=t时质点可以在x轴上正向或反向移动一个单位距离，作正向和作反向移动的概率分别为p和pq =1。经时间，质点偏离原点的距离为nk，问经时间步后，质点处于位置n k的概率如何？ 解：设质点第次移动时的距离为ii，则i是离散的随机变量，它可取1，也可取1。且,1 pP =+=i qpPi= 11 设：质点在nt =时，偏离原点的距离为，则也是一
13、随机变量，且有： nXnX001=XXniin 由题意，i与质点所处位置无关，且i与k（ki ）独立。 当nt =时，质点可取的值为: nnnnnn ),2(),4(,4,2, L 如果在n次游动中有次质点右向移动一个单位，即有m次m 1+=i发生，则有n次质点左向移动一个单位，即有m mn次1=i发生，此时有： knmmnmXniin=+=2)1()()1(1 由此得到 2knm+=。 因此，由题意，我们有： 22222)!2()!2(!knknknknknnmnmmnnqpknknnqpCqpCkXP+= 此式中是一正整数，则如果为奇数时，m n k也是奇数( )nk 时，有1 =CP 和
14、 0 =cCP （2） 当021Ttt 时，t可能处在同一脉冲内，也可能不处在同一脉冲内。假设21,t为所在的脉冲的起始时刻，由于脉冲的起始时刻相对于原点1t 0=t的时间差u是(内的均匀分布，而且该信号是等宽的脉冲信号，因此),00T 可以看作均匀分布于(的随机变量。 ),101tTt 如果t，则： 21t=+0210211201TttdTtPCPtTtc= 因此有： 0210211TttCPTttCPc= 由全概率公式： ),(),(),(212121212121ccCXXCXXXXCPCxxfCPCxxfxxfctttttt+=根据不同周期内脉冲幅度是相互独立的随机变量，我们有： = 2
15、,1,1,222,1,1,2121)(41)(41),(21kiCXXkxixCxxftt如果t处在同一周期内，则21,t21ttXX =，此时有： = 2,1,1,22121)()(41),(21icCXXixixCxxfctt 由此最终得到的二维联合概率密度如下： )(),(21tXtX当021Ttt 时： +=0212,1,1,2210212,1,1,222,1,1,21211)()(41)(41)(41),(21TttixixTttkxixxxfikiXXtt当021Ttt 时：= 2,1,1,222,1,1,2121)(41)(41),(21kiXXkxixxxttf f() t1t
16、1-T0 0 中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 例e：设有某通信系统，它传送的信号是脉宽为T的脉冲信号，脉冲信号的周期为T。如果脉冲幅度00)(tX是随机的，幅度服从正态分布),0(2N2,t，不同周期内的的幅度是相互统计独立的。脉冲沿的位置也是随机的，脉冲的起始时间相对于原点的时间差u为均匀分布在内的随机变量。u和脉冲幅度间也是相互统计独立的（脉冲幅度调制信号），试求在两个时刻t时，该随机过程),0(0T1)(tX所取值(的二维联合概率密度。 )2(X,)(1ttX解：在时间轴上任意固定两个时刻，讨论同例d。 21,tt特别注意此时的状态空间！ （a） 当021T
17、tt 时，t位于不同的周期内，此时我们有： 21,t +=222212212exp21),(21xxxxfttXX（b） 当021Ttt 时，t位于两个不同的周期内的概率为： 21,t021TttCP= 21,tt位于相同的周期内的概率为： 0211TttCPc= 根据全概率公式，我们有： + +=02121221021222212211)(2exp212exp21),(21TttxxxTttxxxxfttXX因为当t处在同一脉冲周期时，取相同的值，所以上式的第二项出现了21,t(x)(),(21tXtX)21x函数。 此例中看出，的二维联合概率密度不再是二维正态分布，虽然)(),(21tXt
18、X中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 )(1tX和都是正态分布。 )(2tXA2, t02T例f：考察一随机过程，它在t00nT+时刻具有宽度为b的矩形脉冲波，脉冲幅度为一等概率取值的随机变量，且a0Tb时，t位于不同的周期内，此时有： 21,t0)()()()(2121= tXEtXEtXtXE 当1tt ，且t位于两个不同的周期内时，我们有： 21,t0)()()()(2121= tXEtXEtXtXE 当021Ttt ，且位于同一的周期内时，假设21,tt 为所在的脉冲的起始时刻，只有当t1tb+021221)()()(TttbatXtXE= 因此，最终得到：
19、1202,)()( ttTbaRX= ， 02)0()(TbaRtDXX= 中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 例g：随机电报信号定义如下： （1）在任何时刻t，)(tX取值为0或1，只有两种可能状态。并设 2/11)(,2/10)( = tXPtXP （2）每个状态的持续时间是随机的，设在T时间内波形变化的次数服从Poission分布即： )0,0(!)( =TekTkPTk（3）)(tX取何值（即所处的状态）与随机变量是相互统计独立的。 求随机电报信号)(tX的均值函数和自相关函数。 解：由均值函数和自相关函数的定义，有： （1） 均值函数：21210211)(
20、=+=tXE，即均值函数是常数。 （2） 相关函数：在时间轴上任意固定两个时刻t，如果t，则 21,t12t0)(,0)(000)(,1)(011)(,0)(101)(,1)(11)()(),(212121212121=+=+=+=tXtXPtXtXPtXtXPtXtXPtXtXEttRXX下面求1)(,1)(21= tXtXP。由于事件： 1)(,1)(21= tXtX变化等价于事件：，即等价于事件：,1)(121在ttt =,偶数时间内波形发生偶数次X1)(1=tX，故： 14141!)(!)(2121!)(21211)(,1)(),()(2)()()(0)(120)(12)(121121
21、12121212121212ttttttttkttkkttkkttkXXeeeeekttekttekttPPtXPtXPttR=+=+=+=偶数偶数偶数偶数中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 同理，如果t，则有 12t,)0(0=+ nnniniXSiiii LL XiXP，有： )()1()(,)1(,)0()1(1101nnnninXinXPinXiXiXinXP=+=+L(A) 则称为Markov链。 0);( nnX注1：随机序列也可记为。 0);( nnX 0; nXn注2： 等式（A）刻画了Markov链的特性，称此特性为Markov性或无后效性（即随机过
22、程将来的状态只与现在的状态有关，而与过去无关），简称为马氏性。Markov链也称为马氏链。 定义：设为马氏链，状态空间为0);( nnX S，对于Sji ,，称 )()()1( npinXjnXPji=+ 为马氏链在时刻的一步转移概率。若对于0);( nnX n Sji ,，有 jijipnpinXjnXP =+ )()()1( 即上面式子的右边与时刻无关，则称此马氏链为齐次（或时齐的）马氏链。 n对于齐次马氏链，我们记)(jipP=，称矩阵P为齐次马氏链的一步转移概中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 率矩阵，简称为转移矩阵。 注3：对于马氏链，我们有： 0);( n
23、nX)0()0()2()1()0()0()1()2()1()1()()1(,)1(,)0()1()()1(,)1(,)0()1(,)1(,)0()()(,)1(,)0(000121111011101101010111iXPpnpnpiXPiXiXPinXinXPinXinXPinXiXiXPinXinXPinXiXiXPinXiXiXinXPinXiXiXPiiiiiinnnnnnnnnnnnnnn=LLLLLLL因此，只要得到了马氏链的一步转移概率及初始分布，就可以求得马氏链的任意前n维的联合分布。特别地，若马氏链是齐次的，则由转移矩阵及初始分布，就可以得到齐次马氏链的任意前1+1+n维的联
24、合分布。 注4：一步转移概率满足： =SjjijiSinpSjinp1)(),(0)(注5：若状态空间是有限的，设状态数为则一步转移矩阵是n阶方阵，若状态是无限可列的情形，则一步转移矩阵只是形式上的矩阵。 n2 切普曼柯尔莫哥洛夫（CK）方程 （一）m步转移概率的定义 定义：称)()()()(inXjmnXPnpmji=+=)()(npmji为马氏链的步转移概率。在齐次马氏链的情况下，与无关，我们记为，称 0;)( nnX)(mjipm n中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 )()()( mjimpP = 为齐次马氏链的步转移（概率）矩阵。 m显然有： )(1)(),
25、(0)()()(SinpSjinpSjmjimji=1=m时，即为一步转移矩阵。 规定： =jijinpjiji01)()0( （二）切普曼柯尔莫哥洛夫（CK）方程 定理：对于步转移概率有如下的CK方程： m),()()()()()()(SjimnpnpnpSkrjkmkirmji+=+对于齐次马氏链，此方程为： ),()()()(SjipppSkrjkmkirmji=+（CK方程） 证明：由步转移概率的定义、全概率公式及马氏性，有： m+=+=+=+=+=+=+=+=+=+=SkrjkmkiSkSkSkrmijmnpnpinXkmnXPkmnXjrmnXPinXkmnXPinXkmnXjrm
26、nXPinXkmnXjrmnXPinXjrmnXPnp)()()()()()()()()(,)()()()(,)()()()()()()(对于齐次马氏链的情形：我们可以写成矩阵的形式即有： )()()( rmrmPPP =+中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 由此推出： mmmmPPPPP =)()1()1()(L 其中： PP =)1(由此可知：对于齐次马氏链，如果知道了它的初始分布)0(和一步转移矩阵P，就可以求得的所有有限维概率分布。即有： )(nX=SjnjinniinniinniikkjXPppppinXinXinXPkkkkkkkk)0()(,)(,)()
27、()()()(2211111221211211LL上式中各m步转移概率均可由CK方程求出，利用一步转移矩阵及初始分布就可以完全确定齐次马氏链的统计性质。 3 马氏链的例子 null 随机游动： （1） 无限制的随机游动： 以表示时刻时质点所处的位置，则)(nX n 2,1,0),( L=nnX是一齐次马氏链，其状态空间为,2,1,0,1,2, LL =S，一步转移概率为： +=+ijipijiapjapjapjiijjijjjj中科院研究生院20092010第一学期 随机过程讲稿 孙应飞 易见：当时，则当充分大后，等待顾客的队伍将无限增大；若，则等待服务的顾客队伍长度趋近某种平衡。 10=kknkaE10nXnXnX +=+L211其中i是第代中第i个个体产生下一代的个数。 n由此可知，只要给定，那么的分布就完全决定了，且与以前的无关，故是一马氏链。把这一类马氏链称为离散的分支过程。由母函数的性质，可以证明一步转移概率为： nX,Xn1+nXL,21 nnXX 1n0021211!=+=+=+=xjikkkjinXnnjixjxajPiXjPiXjXPpnLL注 1：母函数的定义：设)(sF是随机变量的母函数，则； =0)(kkksasF注2：母函数的性质：（1）的母函数与其分布率是一一对应的，且有X!)0()(kgpkk=；（2）设非负整值随机变量相互独立，而nXXX ,21L
