1、随机过程与排队论,计算机科学与工程学院 顾小丰 Email： 2018年10月16日星期二,2018/10/16,计算机科学与工程学院 顾小丰,492,上一讲内容回顾,随机变量的数字特征 数学期望 方差 k阶矩 协方差 条件数学期望 随机变量的特征函数,2018/10/16,计算机科学与工程学院 顾小丰,493,本讲主要内容,随机过程的基本概念 随机过程的定义 随机过程的分布 随机过程的数字特征 重要随机过程 独立过程 独立增量过程,2018/10/16,计算机科学与工程学院 顾小丰,494,第二章 随机过程的基本概念,随机过程的引入随机过程的定义随机过程的分布随机过程的数字特征几种重要的随机
2、过程,2018/10/16,计算机科学与工程学院 顾小丰,495,一、随机过程的引入,随机过程产生于二十世纪初，起源于统计物理学领域，布朗运动和热噪声是随机过程的最早例子。随机过程理论社会科学、自然科学和工程技术的各个领域中都有着广泛的应用。例如：现代电子技术、现代通信、自动控制、系统工程的可靠性工程、市场经济的预测和控制、随机服务系统的排队论、储存论、生物医学工程、人口的预测和控制等等。只要研究随时间变化的动态系统的随机现象的统计规律，就要用到随机过程的理论。,2018/10/16,计算机科学与工程学院 顾小丰,496,设有一个生物群体，由于繁殖而产生后代，对于固定的n(n1)，令X(n,)
3、表示第n代生物群体的个数，X(n,)是随机变量，可取非负整数值0,1,2,，而X(n,),n=0,1,2,是一族随机变量，即一个随机过程。,例,电话问题,设X(t,)表示某电话台在0,t)时间内收到用户的呼唤次数。对某个固定的t(0t)，X(t,)是一个随机变量，它可以是任意非负整数，随着时间t的变化，就得到一族随机变量X(t,)，0t，即一个随机过程。,悬浮在液体中的微粒由于分子的随机碰撞而作布朗运动。设X(t,)表示时刻t微粒所处位置的横座标，当t变化时，X(t,)，0t，是一族随机变量，即一个随机过程。,电子元件或器件由于内部电子的随机热运动所引起的端电压X(t,)称为热噪声电压。对于固
4、定的t0，X(t,)是一个随机变量，随着t的变化得到一族随机变量X(t,)，t0，是一个随机过程。,布朗运动,热噪声,生物群体,2018/10/16,计算机科学与工程学院 顾小丰,497,二、随机过程的定义,设(,F,P)是一个概率空间，T是一个参数集(TR)，X(t,)，tT，是T上的二元函数，如果对于每一个tT，X(t,)是(,F,P)上的随机变量，则称随机变量族X(t,)，tT为定义在(,F,P)上的随机过程(或随机函数)。简记为X(t)，tT，其中t称为参数，T称为参数集。,2018/10/16,计算机科学与工程学院 顾小丰,498,样本函数与状态空间,随机过程X(t,)是定义在T上的
5、二元函数：一方面，当tT固定时，X(t,)是定义在上的随机变量；另一方面，当固定时，X(t,)是定义在T上的函数，称为随机过程的样本函数。 随机过程在时刻t所取的值X(t)=x称为时刻t时随机过程X(t),tT处于状态x，随机过程X(t),tT所有状态构成的集合称为状态空间，记为E，即： Ex：X(t)=x,tT,2018/10/16,计算机科学与工程学院 顾小丰,499,随机过程的分类,按状态空间和参数集分类,按状态空间和参数集分类,独立过程 独立增量过程 正态过程 泊松过程,维纳过程 平稳过程 马尔可夫过程 ,2018/10/16,计算机科学与工程学院 顾小丰,4910,三、随机过程的分布
6、,设X(t),tT是一个随机过程，对于每一个tT，X(t)是一个随机变量，它的分布函数 F(t,x)PX(t)x，tT，xR=(-,+)称为随机过程X(t),tT的一维分布函数。,如果对于每一个tT，随机变量X(t)是连续型随机变量，存在非负可积函数f(t,x)，使得,则称f(t,x)，tT,xR为随机过程X(t),tT的一维概率密度(函数)。此时 f(t,x)Fx(t,x)，tT，xR,2018/10/16,计算机科学与工程学院 顾小丰,4911,二维分布函数,设X(t),tT是一个随机过程，对任意s,tT，(X(s),X(t)是一个二维随机变量，它的联合分布函数 F(s,t;x,y)PX(
7、s)x,X(t)y， tT，xR称为随机过程X(t),tT的二维分布函数。,2018/10/16,计算机科学与工程学院 顾小丰,4912,二维概率密度,如果(X(s),X(t)是连续型二维随机变量，存在非负可积函数f(s,t;x,y)，使得,成立，则称f(s,t;x,y)，s,tT，x,yR为随机过程X(t),tT的二维概率密度(函数)。此时,2018/10/16,计算机科学与工程学院 顾小丰,4913,n维分布函数,设X(t),tT是一个随机过程，对任意t1,t2,tnT，n维随机变量(X(t1),X(t2),X(tn)的联合分布函数F(t1,t2,tn;x1,x2,xn) PX(t1)x1
8、,X(t2)x2,X(tn)xn， t1,t2,tnT，x1,x2,xnR称为随机过程X(t),tT的n维分布函数。,2018/10/16,计算机科学与工程学院 顾小丰,4914,n维概率密度,如果(X(t1),X(t2),X(tn)是连续型n维随机变量，存在非负可积函数f(t1,t2,tn;x1,x2,xn)，使得,t1,t2,tnT；x1,x2,xnR 成立，则称f(t1,t2,tnT；x1,x2,xn)为随机过程X(t),tT的n维概率密度(函数)。此时,2018/10/16,计算机科学与工程学院 顾小丰,4915,n+m维联合分布函数,设X(t),tT和Y(t),tT是两个随机过程，对
9、任 意s1,s2,sn,t1,t2,tmT，把n+m维随机变量(X(s1), X(s2),X(sn),Y(t1),Y(t2),Y(tm)的联合分布函数FXY(s1,s2,sn,t1,t2,tm;x1,x2,xn,y1,y2,yn) PX(s1)x1,X(s2)x2,X(sn)xn,Y(t1)y1,Y(t2)y2,Y(tm)ym， t1,t2,tnT，x1,x2,xnR 称为随机过程X(t),tT和Y(t),tT的n+m维联合分布 函数。,2018/10/16,计算机科学与工程学院 顾小丰,4916,n+m维联合概率密度,成立，则称 fXY(s1,s2,sn,t1,t2,tm;x1,x2,xn,
10、y1,y2,ym) 为随机过程X(t),tT和Y(t),tT的n+m维联合概率密度(函数)。,如果(X(s1),X(s2),X(sn),Y(t1),Y(t2),Y(tm)是 连续型n+m维随机变量，存在非负可积函数 fXY(s1,s2,sn,t1,t2,tm;x1,x2,xn,y1,y2,ym)， 使得,2018/10/16,计算机科学与工程学院 顾小丰,4917,相互独立的随机过程,设X(t),tT和Y(t),tT是两个随机过程，如果对 任意n,m1，其n+m维联合分布满足 FXY(s1,s2,sn,t1,t2,tm;x1,x2,xn,y1,y2,yn) FX(s1,s2,sn;x1,x2,
11、xn)FY(t1,t2,tm;y1,y2,yn) 或者其n+m维联合概率密度满足 fXY(s1,s2,sn,t1,t2,tm;x1,x2,xn,y1,y2,yn) fX(s1,s2,sn;x1,x2,xn)fY(t1,t2,tm;y1,y2,yn) 则称随机过程X(t),tT和Y(t),tT的相互独立。,2018/10/16,计算机科学与工程学院 顾小丰,4918,n维特征函数,随机过程X(t),tT的n维特征函数定义为 (t1,t2,tn;u1,u2,un),称 (t1,t2,tn;u1,u2,un)， t1,t2,tnT，n1 为随机过程X(t),tT的有限维特征函数族。,2018/10/
12、16,计算机科学与工程学院 顾小丰,4919,例1,利用投掷一枚硬币的试验，定义随机过程,假定“出现正面”和“出现反面”的概率 各为0.5，试求： X(t)的一维分布函数F(0.5,x)和F(1,x)； X(t)的二维分布函数F(0.5,1;x,y)。,2018/10/16,计算机科学与工程学院 顾小丰,4920,例1(续1),解：1. 由X(t)的定义求得概率分布为：,所以一维分布函数为：,2018/10/16,计算机科学与工程学院 顾小丰,4921,例1(续2),2. 由于掷硬币试验是相互独立的，故(X(0.5),X(1)的联合概率密度为：,所以二维分布函数为：,2018/10/16,计算
13、机科学与工程学院 顾小丰,4922,四、随机过程的数字特征,给定随机过程X(t),tT，称 m(t)EX(t)，tT 为随机过程X(t),tT的均值函数(数学期望)。,若X(t),tT的状态空间是离散的，则X(t),tT是离散型随机变量，X(t)的概率分布为pk(t)PX(t)=Xk，k=1,2,，则,若X(t),tT的状态空间是连续的，则X(t),tT是连续型随机变量，X(t)的一维概率密度为f(t,x)为，则,2018/10/16,计算机科学与工程学院 顾小丰,4923,方差函数,给定随机过程X(t),tT，称 D(t)DX(t)EX(t)m(t)2，tT 为随机过程X(t),tT的方差函
14、数。显然， D(t)EX(t)m(t)2EX2(t)m2(t)。 称 为随机过程X(t),tT的均方差函数(标准方差函数)。,若X(t),tT是离散型随机变量，X(t)的概率分布为pk(t)PX(t)=Xk，k=1,2,，则,若X(t),tT是连续型随机变量，X(t)的一维概率密度为f(t,x)为，则,2018/10/16,计算机科学与工程学院 顾小丰,4924,协方差函数和相关函数,给定随机过程X(t),tT，称 C(s,t)cov(X(s),X(t)EX(s)m(s)X(t)m(t) 为随机过程X(t),tT的协方差函数。显然， C(s,t)EX(s)X(t)m(s)m(t)， C(t,t
15、)D(t)EX(t)m(t)2。,给定随机过程X(t),tT，称 R(s,t)EX(s)X(t) 为随机过程X(t),tT的相关函数。显然， C(s,t)R(s,t)m(s)m(t)，R(s,t)C(s,t)m(s)m(t),给定随机过程X(t),tT，称,为随机过程X(t),tT的相关系数。,2018/10/16,计算机科学与工程学院 顾小丰,4925,互协方差函数和互相关函数,给定两个随机过程X(t),tT和Y(t),tT，称 CXY(s,t)EX(s)mX(s)Y(t)mY(t)，s,tT 为随机过程X(t),tT和Y(t),tT的互协方差函数。 其中：mX(s)EX(s)，mY(t)E
16、Y(t)。称 RXY(s,t)EX(s)Y(t) 为随机过程X(t),tT和Y(t),tT的互相关函数。 显然， CXY(s,t)RXY(s,t)mX(s)mY(t)。,如果CXY(s,t)0，等价地RXY(s,t)mX(s)mY(t)，即EX(s)Y(t)EX(s)EY(t)，则称X(t),tT和Y(t),tT互不相关。,如果随机过程X(t),tT和Y(t),tT相互独立，则它们一定互不相关；反之，如果随机过程X(t),tT和Y(t),tT互不相关，一般不能推出它们相互独立。,2018/10/16,计算机科学与工程学院 顾小丰,4926,例1,给定随机过程X(t),t0， X(t)X0Vt，
17、t0 其中X0与V是相互独立的随机变量，它们都服从N(0,1)。求 其数字特征和一、二维概率密度。,解 1. 均值函数m(t)EX(t)=E(X0)tE(V)0；,2. 方差函数D(t)EX2(t)-m2(t)=E(X0Vt)2-0E(X02)2tE(X0V)+t2E(V2)1+t2；,3. 一维概率密度 因为X0与V相互独立且都服从N(0,1)，故X(t)X0Vt服从正态分布N(0,1+t2)，所以X(t),t0的一维概率密度为：,2018/10/16,计算机科学与工程学院 顾小丰,4927,例1(续1),4. 协方差函数与相关函数因为m(t)=0，所以C(s,t)R(s,t)EX(s)X(
18、t)EX0VsX0VtEX02+(s+t)EX0V+stEV21+st因为X0与V相互独立且服从N(0,1)，记,从而(X(s),X(t)N(,C)，其中 均值=(m(s),m(t)T=(0,0)T，,协方差矩阵C,2018/10/16,计算机科学与工程学院 顾小丰,4928,例1(续2),5.二维概率密度,2018/10/16,计算机科学与工程学院 顾小丰,4929,例2,随机相位正弦波 X(t)cos(t)，-t+ 其中,为常数，是在0,2上均匀分布的随机 变量。求X(t),-t+的均值函数、方差函 数、相关函数、协方差函数。,解 的概率密度为,1. 均值函数m(t)EX(t),2018/
19、10/16,计算机科学与工程学院 顾小丰,4930,例2(续1),2. 相关函数,2018/10/16,计算机科学与工程学院 顾小丰,4931,例2(续2),3. 协方差函数,4. 方差函数,2018/10/16,计算机科学与工程学院 顾小丰,4932,五、重要随机过程,1.独立过程,给定随机过程X(t),tT，如果对任意正整数n及任意t1,t2,tnT，随机变量X(t1),X(t2),X(tn)相互独立，则称随机过程X(t),tT为独立过程。特别，如果X(n),n=1,2,3,是相互独立的随机变量，则称X(n),n=1,2,3,为独立随机序列。独立过程的n维概率分布由一维概率分布确定：,20
20、18/10/16,计算机科学与工程学院 顾小丰,4933,例,如果X(n),n=1,2,3,是相互独立的伯努利随机 变量，它们的概率分布律为,则称X(n),n=1,2,3,为伯努利随机序列。伯努利随机随机序列是一个独立随机序列。其 均值 EX(n) = p， 方差 DX(n) = pq， 相关函数 协方差函数,2018/10/16,计算机科学与工程学院 顾小丰,4934,2.独立增量过程,设随机过程 X(t),tT，T0,+)，如果对任意正整数n2，t1,t2,tnT且t1t2tn，随机过程的增量X(t2)-X(t1),X(t3)-X(t2),X(tn)-X(tn-1)是相互独立的随机变量，则
21、称X(t),tT为独立增量过程。,2018/10/16,计算机科学与工程学院 顾小丰,4935,平稳独立增量过程,如果独立增量过程 X(t),tT，T0,+)，对所有的s,tT及h0,s+h,t+hT X(t+h)-X(s+h)与X(t)-X(s)有相同的概率分布，则称X(t),tT为平稳独立增量过程。,平稳独立增量过程X(t),tT的增量 X(t+)-X(t)，tT,t+T 的概率分布仅依赖于而与t无关，即仅与时间区间的长度有关，而与起点无关，具有平稳性，即增量具有平稳性。,2018/10/16,计算机科学与工程学院 顾小丰,4936,例,设X(n),n=1,2,3, 是独立随机序列，,则Y
22、(n),n=0,1,2,是独立增量过程。若X(n),n=1,2,3,是相互独立且同分布的随机变量，且,则Y(n),n=0,1,2,是平稳独立增量过程。,2018/10/16,计算机科学与工程学院 顾小丰,4937,例,设X(n),n=1,2,3, 是相互独立同分布的伯努利随机 变量序列,则称Y(n),n=0,1,2,为二项计数过程(随机游动)。二项计数过程是一个独立增量过程。其 一维概率分布 Y(n) B(n,p)， 均值函数 EY(n) = np， 方差函数 DY(N) = pq，,2018/10/16,计算机科学与工程学院 顾小丰,4938,例,二维概率分布,协方差函数,一般,2018/1
23、0/16,计算机科学与工程学院 顾小丰,4939,独立增量过程的性质,如果X(t),t0是平稳独立增量过程，X(0)0，则 均值函数 m(t)at，a为常数； 方差函数 D(t)2t，为正常数； 协方差函数C(s,t)2min(s,t)。 独立增量过程的有限维分布由一维分布和增量分布决定。,2018/10/16,计算机科学与工程学院 顾小丰,4940,证明,1）设m(t)EX(t)，则m(t+s)EX(t+s)EX(t+s)-X(s)+X(s)-X(0)EX(t+s)-X(s)+EX(s)-X(0)EX(t)+EX(s)m(t)+m(s)由数学分析知识知：m(t)at，其中常数am(1)。,f
24、(x)连续，若f(x+y) = f(x)+f(y)，则f(x) = kx。,2018/10/16,计算机科学与工程学院 顾小丰,4941,证明(续1),2）设D(t)DX(t)，则D(t+s)DX(t+s)DX(t+s)-X(s)+X(s)-X(0)DX(t+s)-X(s)+DX(s)-X(0)DX(t)+DX(s)D(t)+D(s)由数学分析知识：D(t)2t，其中2D(1)为正常数。,f(x)连续，若f(x+y) = f(x)+f(y)，则f(x) = kx。,2018/10/16,计算机科学与工程学院 顾小丰,4942,证明(续2),3）C(s,t)EX(t)-m(t)X(s)-m(s)
25、,EX(t)X(s)-m(s)m(t) EX(t)-X(s)+X(s)X(s)-m(s)m(t),一般地，C(s,t)2min(s,t)。,假设t s，否则变形为 EX(s)-X(t)+X(t)X(t)-m(s)m(t),EX(t)-X(s)EX(s)+EX2(s)-m(s)m(t) m(t-s)m(s)+D(s)-m2(s)-m(s)m(t) a(t-s)as+2s-a2s2-a2st ts 2s,2018/10/16,计算机科学与工程学院 顾小丰,4943,证明(续3),2. 任取t1t2tnT，令,Y1X(t1)，Y2X(t2)-X(t1)， ，YnX(tn)-X(tn-1) 由增量的独
26、立性知，Y1,Y2,Yn为相互独立的随机变量，且 X(t1)Y1，X(t2)Y1+Y2， ，X(tn)Y1+Y2+Yn 记(t1,u1)为X(t1)的特征函数；(tk-tk-1,u)为X(tk)-X(tk1)的特征函数；(t1,t2,tn;u1,u2,un)为X(t1),X(t2), ,X(tn)的联合特征函数。,2018/10/16,计算机科学与工程学院 顾小丰,4944,证明(续4),由特征函数的定义及Y1,Y2,Yn的独立性，有(t1,t2,tn;u1,u2,un),2018/10/16,计算机科学与工程学院 顾小丰,4945,证明(续5),因此，只要由一维分布和增量分布就可以完全确定独
27、立增量过程的有限维分布。,2018/10/16,计算机科学与工程学院 顾小丰,4946,说明,特别地，对a-，PX(a)=01的情况下，因为X(t1)X(t1)-X(a)，所以只要知道增量分布就可以完全确定独立增量过程的有限维分布。对于平稳独立增量过程X(t),ta,b，若a-，PX(a)=01。因为增量X(t2)-X(t1)的分布与X(t2-t1+a)-X(a)与X(t2-t1)的分布相同，所以实际上只要知道X(t)的一维分布就可以推出它的有限维分布。,2018/10/16,计算机科学与工程学院 顾小丰,4947,本讲主要内容,随机过程的基本概念 随机过程的定义 随机过程的分布 随机过程的数字特征 重要随机过程 独立过程 独立增量过程,2018/10/16,计算机科学与工程学院 顾小丰,4948,下一讲内容预告,正态过程 维纳过程,2018/10/16,计算机科学与工程学院 顾小丰,4949,P6669 1. 9. 15. 19.,习 题 二,
