1、第二章 随机过程的 概念与基本类型,2.1 随机过程的一般概念,设(, F,P)为概率空间，T是参数集。若对任意 t T ，有随机变量X(t, e)与之对应，则称随机变量族X(t, e)， t T 是(, F,P)上的随机过程，简记为X(t)，t T 或Xt，t T 。X(t)的所有可能的取值的集合称为状态空间或相空间，记为I。,随机过程的例子,以X(t)表示某电话交换台在时间段0,t内接到的呼叫次数，则X(t)，t0,)是随机过程； 以X(t)表示某地区第t天的最高气温，则X(t)，t=0,1, 是随机过程； 以X(t)表示某固定点处在时刻t的海面相对于平均海平面的高度，则X(t)，t0,)
2、是随机过程； X(t)=acos(t+)， t（- ,)，其中a，是常数，是随机变量。则X(t)，t （- ,)是随机过程,2.1 随机过程的基本概念,从数学上看，随机过程X(t, e)， t T 是定义在T上的二元函数。对固定的t，X(t, e) 是(, F,P)上的随机变量；对固定的e，X(t, e) 是定义在T上的普通函数，称为随机过程的一个样本函数或样本轨道。,2.1 随机过程的基本概念,按参数T和状态空间I分类（1）T和I都是离散的（2）T是连续的，I是离散的（3）T是离散的，I是连续的（4）T和I都是连续的按Xt 的概率特性分类正交增量过程独立增量过程马尔可夫过程平稳随机过程,2.
3、2 随机过程的分布和数字特征,随机过程XT=X(t)，t T 的有限维分布函数族其中 是n维随机变量 (X(t1), X (t2), , X (tn)的联合分布函数,例：X(t)=tV,-t ,其中V为随机变量。P(V=1)=0.6,P(V=-1)=0.4, 求F1.5 (x), F2 (x), F1.5,2 (x1,x2),2.2 随机过程的分布律和数字特征,有限维分布函数族的性质(1)对称性其中 是 的任意排列(2)相容性m n,2.2 随机过程的分布律和数字特征,定理（柯尔莫哥洛夫，Kolmogorov)：设已给参数集T及满足对称、相容的有限维分布函数族F则必存在概率空间(, F,P)及
4、定义在其上的随机过程X(t)，t T ，它的有限维分布函数族就是F 有限维特征函数族,2.2 随机过程的分布和数字特征,定义2.3 设X(t)，t T 是随机过程，定义 均值函数 若对 ,EX2(t)存在，则称该过程为二阶矩过程。 方差函数协方差函数,2.2 随机过程的分布律和数字特征,相关函数显然有关系式,随机过程数字特征之间的关系,均值函数,自相关函数,最主要的数字特征,2.2 随机过程的分布律和数字特征,例 设X(t)=Ycos(t)+Zsin(t), t0，Y, Z相互独立，EY=EZ=0，DY=DZ=2。求X(t), t0的均值函数和协方差函数。 解,2.2 随机过程的分布律和数字特
5、征,2.2 随机过程的分布律和数字特征,例 设X(t)=Y+Zt, t0，Y, Z N(0, 1)求X(t), t0的一、二维概率密度族。 解 因Y, Z为正态随机变量，则其线性组合X(t)也是正态随机变量，,X(t)N(0, 1+t2),2.2 随机过程的分布律和数字特征,随机过程X(t), t 0的一维概率密度,2.2 随机过程的分布律和数字特征,随机过程X(t), t0的二维概率密度,2.2 随机过程的分布律和数字特征,设X(t)，t T ，Y(t)，t T 是两个随机过程，二阶矩函数存在，定义 二阶矩过程 一、二阶矩函数存在 定义2.4 互协方差函数互相关函数显然有关系式,2.2 随机
6、过程的分布律和数字特征,例 设X(t)为信号过程，Y(t)为噪声过程，W(t)=X(t)+Y(t)，求W(t)的均值函数和相关函数。解,2.2 随机过程的分布律和数字特征,2.3 复随机过程,定义2.5设Xt，t T ，Yt，t T 是取实值的两个随机过程，对t T ，Zt = Xt + iYt，则称Zt，t T 是复随机过程。 均值函数方差函数,2.3 复随机过程,相关函数协方差函数显然有关系式,2.3 复随机过程,设Xt，t T ，Yt，t T 是两个复随机过程，定义 互相关函数互协方差函数显然有关系式,2.3 复随机过程,复随机过程的协方差函数具有性质 (1)共轭对称性 (2)非负定性,
7、2.3 复随机过程,例 设复随机过程X1, X2, , Xn独立，w1, w2, , wn为参数， 求Zt, t0的均值函数m(t)和相关函数R(s, t)解,2.3 复随机过程,2.4 几种重要的随机过程,定义2.6设X(t)，t T 是随机过程，且EX(t)=0, EX2(t) +，若对任意的t1 t2 t3 t4T,有E(X(t2)-X(t1)(X(t4)-X(t3)=0，则称X(t)，t T 为正交增量过程。 不相关t1 t2 t3 t4 定理：设T=a,b , 规定X(a)=0, 若Xt，t T 是正交增量过程，则,2.4 几种重要的随机过程,证:对于astb 同理对于a t s b
8、 , 有 于是,2.4 几种重要的随机过程,定义2.7设X(t)，t T 是随机过程，对任意正整数n和t1t2tnT, 随机变量X(t2)-X(t1)，X(t3)-X(t2), , X(tn)-X(tn-1)是相互独立的，则称X(t)，t T 是独立增量过程或可加过程。定理：若Xt，t T 是独立增量过程，且EX(t)=0，EX2(t)+，则Xt，t T 是正交增量过程。,2.4 几种重要的随机过程,事实上，对t1t2t3t4T,由独立增量性，有 E(X(t2)-X(t1)(X(t4)-X(t3) = EX(t2)-X(t1)EX(t4)-X(t3) =0,2.4 几种重要的随机过程,定义2.
9、8设X(t), tT是独立增量过程，若任意st, 随机变量X(t)-X(s)的分布仅依赖于 t-s，则称X(t), tT是平稳独立增量过程。维纳过程和泊松过程是平稳独立增量过程,定义2.9 设 X(t)，t T 为随机过程，若对任意正整数n及t10，且条件分布 PX(tn)xn|X(t1)=x1, X(tn-1)=xn-1 = PX(tn) xn|X(tn-1)=xn-1， 则称X(t)，t T 为马尔可夫过程。 若t1,t2,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。,定义2.12 设X(t)，t T 是随机过程
10、，对任意常数和正整数n，t1,t2, tnT, t1+, t2+,tn+ T，若(X(t1), X(t2), , X(tn)与(X(t1+), X(t2+), X(tn+)有相同的联合分布，则称X(t)，t T 为严平稳过程，也称狭义平稳过程。,6.1 平稳随机过程的概念,定义2. 13 设X(t)，t T 是随机过程，并满足： (1)X(t)，t T 是二阶矩过程； (2)对任意t T ，mX(t)=EX(t)=常数； (3)对任意s, t T ，RX(s, t)=EX(s)X(t)=RX(t-s)，则称X(t)，t T 为宽平稳过程，也称广义平稳过程，简称平稳过程。若T为离散集，称平稳过程
11、Xn，nT 为平稳序列。,2.4 几种重要的随机过程,定义2.10设X(t)，t T 是随机过程，对任意正整数n和t1t2tnT, (X(t1),X(t2), , X(tn)是n维正态分布随机变量，则称X(t)，t T 是正态过程或高斯过程。,2.4 几种重要的随机过程,定义2.11设W(t), - 0则称W(t), - t +为维纳过程，或布朗运动。,2.4 几种重要的随机过程,定理：设W(t), - t +是参数为2的维纳过程，则 (1)对任意t(-, +), W(t) N(0, 2|t|) (2)对任意- a s, t +, E(W(s)-W(a) (W(t)-W(a)=2min(s-a
12、, t-a) RW(s, t)=2min(s, t)证 (1)由定义，显然成立。,2.4 几种重要的随机过程,(2)不妨设s t，则 E(W(s)-W(a) (W(t)-W(a) =E(W(s)-W(a) (W(t)-W(s)+W(s)-W(a) =E(W(s)-W(a) (W(t)-W(s)+E(W(s)-W(a)2 =EW(s)-W(a)EW(t)-W(s)+DW(s)-W(a) =2(s-a),2.4 几种重要的随机过程,若 t s ，则 E(W(s)-W(a) (W(t)-W(a)=2(t-a)，所以 E(W(s)-W(a) (W(t)-W(a)=2min(s-a,t-a)若取a =
13、0，则 RW(s, t)=EW(s)W(t) =E(W(s)-W(0)(W(t)-W(0) =2min(s, t) 注：维纳过程也是正交增量过程 (EX(t)=0, EX2(t)=2|t|+)，还是马尔可夫过程,6.2 联合平稳随机过程,一维随机变量 e X(e) 二维随机变量 e （X(e)， Y(e)） 。 n维随机变量 e （X1(e)， X2(e)，,Xn(e)） 随机序列 e （X1(e)， X2(e)，, ） 随机过程 e （X(t,e)， tT ）,随机变量族 (t ,e) xt(e)=x(t, e),xx (ti,e)t1 t2 t3,随机变量的数字特征,数学期望的重要性质:(
14、1)设a,b,c是常数,则有E(c)=c, E(aX+bY)=aEX+bEY;(2)设X,Y是相互独立的随机变量,则有E(XY)=E(X)E(Y);(3)(单调收敛定理)若0XnX,则 EXn=EX;(4)(Fatou引理)若Xn0,则E( Xn) E(Xn) E(Xn)E( Xn).,注: 设R是实数集,若存在一个实数,对任意的正数有(1) R中的元素x满足-x的只有有限个(+,);(2) R中的元素x满足+x的有无穷多个(-,), 则称是R的下(上)极限.,定义1.8. 设X是随机变量, 若EX2,则称E(X-EX)2为X的方差,记为D(X)或Var(X).,随机变量的数字特征,方差及二阶
15、矩的重要性质:(1)设c是常数,则D(c)=0, D(cX)=c2D(X);(2)设a,b是常数,随机变量X,Y独立,则D(aX+bY)=a2D(X)+b2D(Y);(3)D(X)=0 X以概率1取常数c(=E(X),即PX=c=1;(4)(Schwarz不等式)若EX2,EY2,则E(XY)2EX2EY2. 随机变量的方差反映随机变量取值的离散程度. 定义1.9. 设X,Y是随机变量,EX2,EY2,则称 EX-E(X)Y-E(Y)为X与Y的协方差, 记为BXY或Cov(X,Y). 称XY=BXY/( )为X、Y的相关系数. 若XY=0,则称X,Y不相关.XY反映X,Y之间的线性相关,随机变
16、量的数字特征,程度的大小. XY是一个无量纲的量; |XY|1. 对任意两个随机变量X和Y,成立等式:D(X+Y)=D(X)+D(Y)+2Cov(X,Y). 将Cov(X,Y)的定义式:Cov(X,Y)=EX-E(X)Y-E(Y)展开,有Cov(X,Y)=E(XY)-E(X)E(Y)(协方差的计算式). 协方差具有性质:(1) Cov(X,Y)=Cov(Y,X);(2) 设a,b是常数,则Cov(aX,bY)=abCov(X,Y);(3) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y). k阶矩. 设X和Y是随机变量.若E(Xk),k=1,2,存在,则称之为X的k阶原点矩(简
17、称k阶矩);若EX-E(X)k,k=1,2,存在,则称之为X的k阶中心矩.,分布函数,概率密度函数的函数曲线,均匀分布的分布函数与概率密度:F(x)=正态分布的分布函数及其概率密度:设连续型随机变量X的概率密度为f(x)= ,-x,其中,(0)为常数,则称X服从参数为,的正态(或高斯Gaoss)分布,记为XN(,).特别,当=0,=1时,称X服从标准正态分布.F(x)= .,f(x),x,a,b,xa,axb,xb,F(x),x,a,b,1,F(x),x,o,0.5,f(x),x,o,-,+,特征函数和母函数,1.4 特征函数和母函数 特征函数是研究随机变量分布律的一个重要工具.由于分布律与特
18、征函数之间存在一一对应关系,因此在得知随机变量的特征函数之后,就可以知道它的分布律. 用特征函数求分布律比直接求分布律容易得多,而且特征函数具有良好的分析性质. 定义1.10 设随机变量X的分布函数为F(x),则称g(t)=E(eitX)= , -x+为X的特征函数. 特征函数g(t)是实变量t的复值函数,由于|eitX|=1, 故随机变量的特征函数总存在.当X是离散型随机变量,分布列pk=P(X=xk),k=1,2,时,特征函数,g(t)= ;当X是连续型随机变量,概率密度为f(x)时,g(t)= . 随机变量的特征函数具有性质:(1)(有界性).设g(t)是特征函数,则g(0)=1;|g(
19、t)|1;g(-t)=g(t).(2)(一致连续性).特征函数g(t)在(-,+)上一致连续.(3)(非负定性).g(t)是非负定函数. 即对任意的正整数n及任意实数t1,t2,tn和复数z1,z2,zn有0.,特征函数,证明: =E=E0.(4) 若X1,X2,Xn是相互独立的随机变量,则X=X1+X2+Xn的特征函数g(t)=g1(t)g2(t)gn(t).其中gi(t),i=1,2,n是随机变量Xi的特征函数. 证明: 因为X1,X2,Xn相互独立,所以也相互独立. 因而g(t)=EeitX=E =E( ),特征函数,=E E E =g1(t)g2(t)gn(t).(5) 若随机变量X的
20、n阶原点矩EXn存在,则X的特征函数g(t)的n阶导数存在,且当kn时,有g(k)(0)=ikEXk.(6)(惟一性). 随机变量的分布函数由其特征函数惟一确定(相互).当 X为连续型随机变量,且有F(x)=f(x)及 ,则如何求指数分布的g(t)?设f(x)= ,求g(t).,e-x,x0,0, x0,(Laplace变换),特征函数,因为,g(t)=EeitX= eitxf(x)dx= eitxe-xdx= e-x(costx+isintx)dx= e-xcostxdx+i e-xsintxdx= +i =(1- )-1. 对n维随机变量也可定义特征函数, 且有类似于一维随机变量的特征函数
21、的性质. 定义1.11 设X=(X1,X2,Xn)是n维随机量,t=(t1,t2,tn)Rn,则称g(t)=g(t1,t2,tn)=E( )为n维随机变量X的特征函数.,特征函数,例1.1 设X服从B(n,p),求X的特征函数g(t)及EX,EX2和DX. 解: X的分布列为:P(X=k)= pkqn-k,q=1-p,k=0,1,2,n.g(t)= eitk pkqn-k= (peit)kqn-k=(peit+q)n.由性质(5)知EX=-ig(0)=-i (peit+q)n|t=0=np ;EX2=(-i)2g(0)=(-i)2 (peit+q)n|t=0=npq+n2p2.DX=EX2-(
22、EX)2=npq. 例1.2 设XN(0,1),求X的特征函数g(t). 解: g(t)= .由| |=|x| ,知, 对g(t)的表出式可在积分号下求导. 求导得:,特征函数,g(t)= =- - =-tg(t).于是得微分方程: g(t)+tg(t)=0.这是一个可分离变量的方程,故有: =-tdt.两边积分得:lng(t)=-t2/2+c,因而通解g(t)= .由于g(0)=1,所以c=0. 于是X的特征函数:g(t)= . 例1.3 (特征函数具有线性性)设随机变量X的特征函数为gX(t),Y=aX+b,其中a、b为任意实数.证明随机变量Y的特征函数gY(t)=eitbgX(at).,
23、特征函数,证明: gY(t)=Eeit(aX+b)=Eei(at)Xeibt=eibtEei(at)X=eitbgX(at). 例1.4 设随机变量XN(a,2),求Y=X+a的特征函数. 解: 设XN(0,1),则由例1.2知X的特征函数gX(t)= .令Y=X+a,则YN(a,2).由例1.3知,Y的特征函数为gY(t)=eiatgX(t)=eiat = . 例1.5 设随机变量X服从参数为的泊松分布,求X的特征函数. 解: 因为PX=k= ,k=0,1,2,故g(t)= eitk=e- = .,特征函数,例1.6 证若随机变量X的n阶原点矩EXn存在,则X的特征函数g(t)的n阶导数存在
24、,且当kn时有g(k)(0)=ikEXk.(5) 证明: X的n阶矩存在, , X的特征函数gX(t)= ,由于 =|x|k, 所以有 = = .于是得 即g(k)(0)=ikEXk. 在常见随机变量分布表右栏中,给出了相应的特征函数. 例1.7 求X2分布的特征函数,数学期望和方差. 解:首先:设随机变量XN(0,1),求X2的特征函数.由定义,特征函数,有: = = = . 接着:求X2分布的特征函数,数学期望和方差.设X1,X2,Xn相互独立且同服从标准正态分布N(0,1), 则X2= 服从自由度为n的卡方分布.由上证已知 的特征函数为 ,j=1,2,n. X1,X2,Xn相互独立, 也
25、相互独立. 由特征函数性质4得X2的特征函数:,特征函数,由 的表达式,易知:, ;, . 再由特征函数的性质5,便得XE(X2)=g(0)/i=in/i=n;E(X2)2=g(0)/i2=i2n(n+2)/i2=n(n+2), 从而有D(X2)=E(X2)2-E(X2)2=n(n+2)-n2=2n.,.,(t),概率母函数,母函数是研究非负整数值随机变量非常方便的工具. 定义1.12 设X是非负整数值随机变量,分布列pk=P(X=k), k=0,1,2, 当|s|1时,则称P(s)=E(sX)= pksk为X的概率母函数,简称母函数. 母函数具有以下性质:(1)非负整数值随机变量的分布列由其
26、母函数唯一确定.(2)设P(s)是X的母函数. 若EX存在,则EX=P(1);若DX存在,则DX=P(1)+P(1)-P(1)2.(3)独立随机变量之和的母函数等于母函数之积.(4)若X1,X2,是相互独立且同分布的非负整数值随机变量, N是与X1,X2,独立的非负整数值随机变量, 则Y= Xk的母函数H(s)=G(P(s),其中G(s),P(s)分别,概率母函数,是N,X1的母函数. 证明: (1)P(s)= pksk= pksk+ pksk,n=0,1,.上式两边对s求n阶导数,得P(n)(s)=n!pn+ k(k-1)(k-n+1)pksk-n.令s=0,则P(n)(0)=n!pn ,故
27、pn=P(n)(0)/n!, n=0,1,2,.(2)由P(s)= pksk知,P(s)= kpksk-1.令s1,得EX= kpk=P(1).又由P(s)= k(k-1)pksk-2= k2pksk-2-kpksk-2知, 当s1时,P(1)=EX2-EX .但DX=EX2-(EX)2,所以有DX=P(1)+EX-(EX)2=P(1)+P(1)-P(1)2.,概率母函数,(3)设随机变量X=X1+X2+Xn, 且X1,X2,Xn相互独立.因而 也相互独立. 由数学期望重要性质(2)即知PX(s)=E(sX)=E( )=E( )=E( )E( )E( )= (s) (s) (s).(4)H(s
28、)= P(Y=k)sk= P(Y=K, N=t)sk= P(N=t)P(Y=k)sk= P(N=t) P(Y=k)sk,概率母函数,= P(N=t) P( Xj=k)sk= P(N=t)P(s)t=GP(s). 由EX1=P(1),EY=H(1),EN=G(1)及H(s)=GP(s)知 H(s)=GP(s)P(s)=P(s)GP(s)令s1, 得H(1)=P(1)GP(1),但P(1)=E( )=E(1)=1, 故有 EY=ENEX1(). 例1.8 设商店在一天的顾客数N服从参数=1000人的泊松分布,而每位顾客所花的钱Xi服从N(100,502).求商店的日销售额Y的平均值. 解: 由题设
29、知EN=1000, EX1=100, 再由()式得EY=ENEX1=1000100=100000(元).,概率母函数,概率母函数的例概率母函数的概念在19世纪初由拉普拉斯引入,是概率 论中第一个被系统应用的变换方法.运用于处理整值随机 变量的场合,既简单也方便.从 pk=1及|s|1知,概率母函数对任何整值随机变 量都存在. 二项分布的概率母函数P(s)= C(n,k)pkqn-ksk=(q+ps)n. 泊松分布的概率母函数P(s)= =e-es=e(s-1). 几何分布的概率母函数P(s)= qk-1psk=ps (qs)k-1=ps/(1-qs).,概率母函数,对概率母函数性质的简释1.惟
30、一性由概率分布及P(s)= pksk所确定的母函数显然是惟一 的.反过来,由概率母函数也能惟一确定随机变量的概率分 布.事实上,如果pk与qk分别具有概率母函数G(s),H(s) 且若G(s)=H(s),因G(s)和H(s)均为幂级数,在|s|1的条 件下绝对收敛,故G(s)与H(s)的k次导数存在,于是有:k!pk=G(k)(0)=H(k)(0)=k!qk 所以,对k=0,1,2,成立pk=qk,即pk=qk.2.概率母函数与数字特征间成立P(s)|s=1=E(X); P(s)|s=1=E(X2)-E(X). 由此式及二 项分布,泊松分布等的概率母函数很容易求其期望和方差.,概率母函数,3.
31、求取二项分布的概率母函数.解:设在贝努利试验中,A事件出现的概率为p.用Xi=1表示事件A出现,Xi=0表示事件A不出现,其概率q=1-p.于是得到一相互独立的随机序列X1,X2,Xn.设Y=X1+X2+Xn,则Y服从二项分布. Xi的概率母函数P(s)=q+sp,所以Y的母函数为P(s)=(q+ps)n. 从中可以看出,利用概率母函数解决一些古典概型问题往往是很便捷的.设X1,X2,Xn是列非负整值随机变量, PXi=k=fk,其母函数F(s)= fksk.又若是正整数的随机变量,P=n=gn,其母函数G(s)= gnsn且与X1,X2,Xn,相互独立.,概率母函数,定义=X1+X2+X,是
32、随机个独立同分布非负整值 随机变量之和. 求的概率母函数及其数字特征. 解: 记P=r=hr,由条件概率公式及与Xi相互独立,有hr=P=r= P=nP=r|=n= P=nPX1+X2+X=r|=n= P=nPX1+X2+Xn=r由于X1+X2+Xn是n个相互独立同分布非负整值随机变量之和,故其母函数为 PX1+X2+Xn=rsr=F(s)n. 记的母函数为H(s)= hrsr,则,概率母函数,H(s)= P=nPX1+X2+Xn=rsr= P=n PX1+X2+Xn=rsr= P=nF(s)n=GF(s). 可见,随机个相互独立同分布非负整值随机变量之和的概 率母函数是原来两个母函数的复合.
33、于是从 H(s)=GF(s)F(s)知: 当EXi和E存在时,在上式中令s1,即有E=EEXi.而 从 H(s)=GF(s)F(s)2+GF(s)F(s)及令s=1,得D=E2-(E)2=H(1)+H(1)-H(1)2=(EXi)2(D)+(E)(DXi).,概率母函数,其具体的运算过程是:D=H(1)+H(1)-H(1)2 =G(1)F(1)2+G(1)F(1)+G(1)F(1)-G(1)2F(1)2 =F(1)2G(1)+G(1)-G(1)2+ G(1)F(1)+F(1)-F(1)2=(EXi)2(D)+(E)(DXi). 考虑若服从参数为的泊松分布,Xi的母函数为F(s),则 如何求 =
34、X1+X2+X 的母函数的表示式呢? 由的母函数G(s)=e(s-1)知的 母函数 H(s)=eF(s)-1. 在正文的讨论中,将用到此结果,即H(s)为复合泊松分布的 母函数,亦即服从复合泊松分布. 特别,F(s)=q+ps时,H(s)=ep(s-1),仍服从泊松分布.,矩母函数,定义1.13 设X是随机变量,则称随机变量函数(t)=E(etX)为X的矩母函数. 由定义1.13知(1)若X有任意阶原点矩k(k=1,2,),则X的矩母函数(t)=1+ tk; k=(k)(0). (2)若X是离散型随机变量,其可能的取值为 x1,x2,PX=xk=pk,则(t)= pk.(3)若X是连续型随机变量,其分布密度函数为f(x),则(t)= etxf(x)dx. 概率母函数,矩母函数和特征函数之间的关系:P(et)=(t); P(eit)=g(t); (it)=g(t).,
