1、随机过程导论,18/01/2007,参考书目,随机信号分析 朱华 黄辉宁 北京理工大学出版社 随机数学萧树铁 主编 高等教育出版社 随机过程导论 周荫清 编著 北京航空航天大学 随机过程与排队论 王维一 编 上海交通大学电子工程系,授课主要内容,第一章、概率论 第二章、随机过程 第三章、平稳随机过程的谱分析 第四章、随机信号通过线性系统分析 第五章、几种常用的随机过程,第一章 概率论,主要内容：论及概率论的基础知识，具体介绍概率空间、条件概率空间、随机变量及其概率分布、随机变量函数的分布、随机变量的数字特征、特征函数等概念，它们是学习以后各章的理论工具。,第一章 概率论,重点及其要求： （1）
2、随机变量函数的分布，关键是在各种函数变换条件下求出相应的雅可比因子J。 （2）随机变量的数字特征，例如：数学期望、方差、各阶矩的定义和运算性质要熟练掌握；对于随机变量之间的统计独立、不相关、正交应各满足的条件，三者的差别与联系要有明确的认识。 （3）随机变量特征函数的定义和性质，它们与矩的关系，应该能灵活应用。,1.1 概率简述,（一）概率的定义 1.概率的古典定义 事件A的概率的古典定义式中S为样本空间，子集2.概率的几何定义 事件A的概率的几何定义,1.1 概率简述,3.概率的统计定义 事件A的概率的统计定义我们用事件A的频率近似表示事件A的概率，这就是概率的统计定义。,1.1 概率简述,
3、概率空间的定义 规定一个试验，所有样本点之集合构成样本空间S,在样本空间中一个样本点或若干个样本点之适当集合F称为事件域，F中的每一集合称为事件。若A F，则P(A)就是事件A的概率，并称这三个实体的结合（S, F,P)为一个概率空间。,1.1 概率简述,（二）条件概率与概率的基本定理 1.条件概率的定义 在事件B已出现的条件下，事件A出现的条件概率为或记 称(S, F, PB)为给定事件B的条件概率空间，简称条件概率空间。,1.1 概率简述,2.全概率公式 设有N个互斥事件BN (n=1,2,N),它们的和为整个S，即满足则 此式称为全概率公式。,1.1 概率简述,3.贝叶斯公式 将条件概率
4、公式推广到N个事件中去，可得这就是贝叶斯公式。,4.统计独立 如果事件A、B满足,或者,则称这两个事件是统计独立的。并有,1.1 概率简述,例1 某一基本的二元通信系统，由一步发射机和一部接收机组成，如图1.1所示。发射机经过信道向接收机发送两个符号0或1中的一个符号。,若发送符号1和0的概率分别为0.6和0.4，且条件概率为,求,1.1 概率简述,解： 由全概率公式得,1.1 概率简述,根据贝叶斯公式有,习 题,1. 写出下列随机试验的样本空间S：a. 同时掷两枚骰子，记录两枚骰子点数之和；b. 10件产品中有3件是次品，每次从中取1件，取出后不再放回，直到3件次品全部取出为止，记录抽取的次
5、数；c. 生产某种产品直到得到10件正品，记录生产产品的总件数。d. 将一尺之捶折成3段，观察各段的长度。,习 题,2. 设有一个二进制的数字通信系统，主要由1和0两种符号组成，如下图所示，且求条件概率。,1.2 随机变量及其分布函数,（一） 随机变量的定义设(S, F,P)是一概率空间。对于sS，X(s)是一个取实数值的单值函数。若对于任意实数x，s:X(s)x是一随机事件，亦即 s:X(s)x F，则称X(s)为随机变量，并将它简记为X。,1.2 随机变量及其分布函数,（二） 离散型随机变量及其分布律随机变量的全部可能取值是有限个或可列无限多个，称之为离散型随机变量。离散型随机变量X的概率
6、分布或分布律定义为,显然有,1.2 随机变量及其分布函数,（三） 连续型随机变量及其密度函数对于随机变量X,若存在非负函数 ,且有，使X取值于任意区间(a,b)的概率为,称X为连续型随机变量； 为X的概率密度，且有如 下性质,1.2 随机变量及其分布函数,（四） 分布函数及其基本性质1. 分布函数 设X是定义在概率空间(S, F,P)上的一个随机变量，若 对于任意的 ，则X的分布函数定义为,对于任意实数a、b(ab)，有,1.2 随机变量及其分布函数,离散型随机变量的分布函数为,式中U(x)为单位阶跃函数；,离散型随机变量的概率密度为,式中,1.2 随机变量及其分布函数,连续型随机变量的分布函
7、数为,若F(x)连续可微，则其概率密度为,混合型随机变量的概率密度为,1.2 随机变量及其分布函数,2.分布函数F(x)的基本性质,（1）,（2） F(x)为x的单调非降函数,（3） F(x)是右连续的，即,（4） 若X的取值全部在区间(a,b)内，则当 时，,当 时，,1.2 随机变量及其分布函数,例2 设随机变量X的分布函数为,求：（1）系数A;(2)X落在区间（0.3,0.7)内的概率；（3）X的概率密度。,解：（1）由于分布函数是右连续的，所以A=1,（2）,（3）,习 题,3. 随机变量X服从柯西分布,求： （1）系数A和B;(2)落在区间(1,1)内的概率；（3）X的概率密度。,1
8、.3 多维随机变量及其概率分布,（一） 二维概率分布及其基本性质设X,Y为定义在同一概率空间(S, F,P)上的两个随机变量，则(X,Y)称为二维随机变量，其联合分布函数为,其基本性质如下：,（1）,（2）FXY(x,y)为变量x或y的单调非降函数,（3）FXY(x,y)对变量x或y为右连续,1.3 多维随机变量及其概率分布,若二维随机变量(X,Y)的所有可能取值为有限或可列无限对时，则称(X,Y)为二维离散随机变量，其概率分布或分布律定义为,显然其有如下性质：,二维离散随机变量(X,Y)的联合分布函数为,1.3 多维随机变量及其概率分布,对于(X,Y)的联合分布函数FXY(x,y)，若存在非
9、负的函数fXY(x,y)，使对任意的x,yR1,有,则称(X,Y)为连续型的二维随机变量，称fXY(x,y)为该(X,Y)的联合概率密度。,1.3 多维随机变量及其概率分布,fXY(x,y)有如下性质：,（1）,（2）,（3）若fXY(x,y)在点(x,y)处连续，则有,（4）设G是xoy平面上一个区域，点(X,Y)落在G内的概率为,1.3 多维随机变量及其概率分布,例3. 给定的通信系统通过某一线路传送二元（如0与1）数码。为方便起见，数码流被分成段（成为字），每个字由相连接的4个数码组成。实践证明：此线路传送的各个数码皆互相独立的，且每个数码是等可能地取0和1。现在，线路接收机记下每个字头
10、两位数码出现1的个数及每个字中出现1的总数。设头两位数码中1的个数用随机变量N2表示，每个字中1的总数用随机变量N4示之。（1）描述一个能定义N2与N4的基本样本空间S。（2）确定区域样本空间 与 ，并求出这些空间上的概率分布。设N为向量 其中s是S的任一样本点。（3）确定向量N的范围RN。（4）确定由N在RN上导出的概率分布，并列表示之。,1.3 多维随机变量及其概率分布,解 （1）对于基本样本空间S，我们列出所有可能出现的四码“字”，如下表。,因为每个数码是等可能地取0和1,故所有16个可能的字皆为等概率的，即：其中某一字出现的概率为1/16。,1.3 多维随机变量及其概率分布,续解 （2
11、）对于N2,有,同理,因为16个字中4个具有N2=0的属性，故,对于N4,有,1.3 多维随机变量及其概率分布,续解 （3）现定义,于是,（4）通过计算S上具有所要求属性的样本点的数目，很容易得到其概率分布，故,1.3 多维随机变量及其概率分布,例4 设(X,Y)的联合概率密度函数,记,求,解：,1.3 多维随机变量及其概率分布,（二） 边沿分布二维随机变量(X,Y)具有联合概率分布函数FXY(x,y),而随机变量X、Y各自具有分布函数FX(x)、FY(y)，称FX(x)、FY(y)为该(X,Y)关于X、Y的边沿分布函数。边沿分布函数可由联合分布函数来确定,1.3 多维随机变量及其概率分布,对
12、于连续型随机变量(X,Y)，可分别得到X,Y的边沿概率密度,对于概率函数 的二维离散随机变量(X,Y),有,分别称 为(X,Y)关X,Y的边沿概率函数。,1.3 多维随机变量及其概率分布,例5 设X,Y是一个二维随机变量，其联合概率密度为,其中,求,解,1.3 多维随机变量及其概率分布,令,故,1.3 多维随机变量及其概率分布,现定义一般二维正态概率密度表示式为,这是一个具有,五个参数的密度函数。,分别是两个边沿密度函数的均值和方差,称X,Y之间的相关系数。,1.3 多维随机变量及其概率分布,（三） 相互独立的随机变量与条件分布1. 相互独立随机变量 设(X,Y)为两个随机变量，若有,则称(X
13、,Y)为相互独立的随机变量。,当(X,Y)为为离散型或连续型随机变量时，X与Y相互独 立的条件等价为,或,1.3 多维随机变量及其概率分布,2. 条件分布 在条件B下，随机变量X的条件分布函数定义为,对于连续型随机变量，其条件概率密度为,若事件,则有,1.3 多维随机变量及其概率分布,若X,Y为连续型随机变量，且y0，则有,同理可得,1.3 多维随机变量及其概率分布,例6 设随机变量(X,Y)服从二维正态分布 求：条件概率密度,解： 已知二维正态概率密度为,前面已求得边沿概率密度为,1.3 多维随机变量及其概率分布,则有,同理有,这两式说明在X=x条件下，Y的条件概率密度函数为正态分布和在Y=
14、y的条件下，X的条件概率密度函数也为正态分布,1.3 多维随机变量及其概率分布,（四） 多维正态概率密度的矩阵表示法二维正态随机变量(X1,X2)的概率密度为,则其矩阵表示式为,式中,为协方差阵,1.3 多维随机变量及其概率分布,在n维正态随机变量的情况下，定义,于是概率密度矩阵表达式为,习 题,4. 设二维随机变量(X,Y)的联合概率密度为,（1）求随机变量X和Y的边沿概率密度；,（2）随机变量X和Y是否统计独立？为什么？,习 题,5 甲乙两列火车在0,60分钟内的某个时刻到达火车站，并分别停留3、6分钟。在此时间间隔内的任易时刻，两列火车是等可能到达的，且它们到达的时刻互不相关。设随机变量
15、X,Y分别为甲乙列火车的到达时刻，则它们的二维概率密度函数为,试求 （1）联合分布函数FXY(x,y);（2）边沿分布函数FX(x),FY(y)及边沿概率密度fX(x),fY(y);（3）甲列火车在30分钟之前到站的概率；（4）乙列火车在3945分钟到站的概率；（5）甲列火车在乙列火车之前达到的概率。,1.4 随机变量函数的分布,定义在(S, F,P)上的随机变量X,其函数Y=g(X)可看成是从样本空间SX到值域空间的映射，那么g(X)也是(S, F,P) 上的随机变量，并称g(X)为随机变量X的函数。此时随机变量Y的分布函数可写成,若上式对y处处连续可微，则Y的概率密度微,1.4 随机变量函
16、数的分布,（一） 单个随机变量函数的分布若Y=g(X)是离散型随机变量X的函数，即：不同的X值对应着不同的Y值，那么，X与Y取对应值的概率是相同的：,如果X为连续型随机变量，其概率密度为fX(x)；而有y=g(x)可微且为单调函数，其反函数x=h(y)也是单调的。这时，Y=g(X)的概率密度为,如果y=g(x)不是单调函数，它的反函数x=h(y)也非单调的，并设一个Y值对应着两个X值（x1=h1(y),x2=h2(y)，则Y=g(X)的概率密度为,1.4 随机变量函数的分布,例7 设一简单的电路，如图1.4所示，电流源发出恒定电流I=2A，电阻值R1为准确值20，电阻R2设计为50 ，但实际值
17、为一均匀分布于4555 之间的随机变量。求FV(v),fV(v)。,1.4 随机变量函数的分布,解：电压值为,电阻R2概率密度,即,1.4 随机变量函数的分布,例8 设随机变量服从均匀分布,求Y=sinX的概率密度函数,解：SinX的函数一个Y值对应两个X值。 在0,区间,在,0区间,因此是一个非单调函数变换,1.4 随机变量函数的分布,（二） 二维随机变量函数的分布设二维随机变量(X1,X2)具有联合概率密度现需求新的随机变量 若反变换函数,是唯一的确定，即(X1,X2)与(Y1,Y2)为单值变换，则有,式中雅可比因子,1.4 随机变量函数的分布,借助于二维随机变量的变换，可以给出两个随机变
18、量的和、差、积、商的分布密度,1. 令U=X+Y，则,2. 令U=X-Y，则,3. 令U=XY，则,4. 令U=Y/X，则,1.4 随机变量函数的分布,若X与Y统计独立时，以上四式可独立表示。即,1.4 随机变量函数的分布,（三）n维随机变量函数的分布设n维随机变量 具有联合概率密度令g(.)为一一对应的连续可微的向量变换，它将映射为一新的n维随机向量Y=g(X)，若其逆变换X=h(Y)，则有,式中雅可比因子,1.4 随机变量函数的分布,例9 设X是一个二维随机向量，其分量X1,X2是两个独立的随机变量 。通过旋转变换，得到两个新的随机变量Y1,Y2,其坐标变换关系如下：,求Y1,Y2的联合概
19、率密度。,解：它们的逆变换关系为,1.4 随机变量函数的分布,由这些变换关系求出雅可比变换为,X1,X2的联合概率密度为,Y1,Y2的联合概率密度为,习 题,1.6 设随机变量X服从均匀分布,求Y=cosX的概率密度函数。,1.7 设X是一个二维随机向量，其分量X1,X2是两个独立的随机变量 ，变化到极坐标以后，分量的变换关系如下：,求随机向量的模Z和相位的联合概率密度以及随机变量Z和 各自的概率密度,1.5 随机变量的数字特征,（一）随机变量的数学期望（或均值）离散随机变量X的数学期望定义为,连续随机变量X的数学期望定义为,当使用函数表示离散或混合随机变量的概率密度时，上式的定义便适用于所有
20、的随机变量。,1.5 随机变量的数字特征,（二）随机变量函数的期望值设随机变量X的函数Y=g(X),若X为离散或连续随机变量，则Y的数学期望为,或,同样引用用函数表示离散或混合随机变量的概率密度后，后式的定义便适用于所有的随机变量。,1.5 随机变量的数字特征,数学期望有如下重要性质：,推广之有,（1）若Y=aX1+bX2(a,b皆为常数），则有,（2）若Y=g1(X1)g2(X2)，且X1与X2统计独立，则有,（3）一般而言,1.5 随机变量的数字特征,（三）条件数学期望对于二维离散随机向量 (X,Y),定义,为随机变量Y在X=xi条件下的数学期望。因此，Y的非条件均值为,对于二维连续随机向
21、量 (X,Y),定义,为Y在X=x条件下的数学期望。并有,1.5 随机变量的数字特征,若X为离散随机变量，Y为连续随机变量，则我们定义,由此可得,条件期望有如下性质：,（1）当随机变量X与Y相互独立，有,（2）,1.5 随机变量的数字特征,证：,1.5 随机变量的数字特征,（3）,只需验证对于任意固定的y有,（4）,（5）,（6）,（7）,（a,b皆为常数）,1.5 随机变量的数字特征,（四）随机变量的各阶矩离散和连续随机变量X的k皆原点矩分别为,它们的k阶中心矩分别为,1.5 随机变量的数字特征,中心矩与原点矩有下述关系,故可得,1.5 随机变量的数字特征,离散和连续二维随机变量(X,Y)的
22、(j+k)阶联合原点矩mjk(j、k皆为正整数）分别定义为,它们的(j+k)阶中心矩分别为,1.5 随机变量的数字特征,而二阶混合中心矩,称为随机变量X和Y的协方差。X与Y的相关系数（或归一化协方差）定义为,rXY=1时，表示随机变量X,Y强烈相关；rXY=0时，表明X,Y之间不相关。,1.5 随机变量的数字特征,1. 统计独立与不相关若两个随机变量可分解为,则X,Y统计独立。 如果X,Y统计独立，则有KXY=0,也就是X,Y不相关。反之 则不然。但是对于两个正态随机变量，不相关与统计独 立是等价的。,1.5 随机变量的数字特征,例10. 设Z是一随机变量，具有均匀概率密度,在设X=sinZ
23、Y=cosZ,所以X,Y是不相关的随机变量。但是，经计算,故存在,所以X,Y是不独立的随机变量。,1.5 随机变量的数字特征,2. 正交随机变量若两个随机变量X与Y的二阶矩 EXY=0 或则称X与Y正交。如果两个随机变量正交，且至少有一个随机变量的均值为零，这时正交与不相关是一致的。,1.5 随机变量的数字特征,例11. 设随机变量X服从二项分布求数学期望和方差。解:,1.5 随机变量的数字特征,1.5 随机变量的数字特征,例12. (二项分布的数学期望与方差的简单求法）设X1,X2,Xn是独立同分布的随机变量序列，而且P(Xk=1)=p,P(Xk=0)=q=1-p (k=1,2,n)，X=X
24、1+X2+Xn就遵从二项分布。于是有,1.5 随机变量的数字特征,例13. 一只小猫不幸陷进一个有三扇门洞的大山中，第一个门洞通到一条通道，沿此通道走2小时后它可到达地面。第二个门洞通到另一个通道，沿它走3小时会使小猫重新回到这大山洞中。第三个门洞通到第三个通道，沿它走5小时后，也会使小猫又回到这大山洞中。假定这只小猫总是等可能地在三个门洞中任意选择一个，请计算这只小猫到达地面的时间的数学期望。 解: 设Y表示这只小猫最初选择的门洞（编号为1，2，3），故它只取这三个值1，2，3，则,1.5 随机变量的数字特征,同理,故,得,Y=1时， 则 。Y=2时，可得X=3+X,其中X这只小猫重新回到大
25、山洞后再找到地面所需的附加事件。但一旦小猫回到大山洞后，问题与以前完全相同，故X和X有相同分布。所以,1.5 随机变量的数字特征,例14. 设两个随机变量X,Y的联合概率密度为。,试求： （1）X与Y不相关时的所有A值；（2）X与Y统计独立时所有A值。,解： （1）X与Y不相关时应满足,现计算上式各个期望,故A为2.5或1时， X与Y不相关。,1.5 随机变量的数字特征,续解： （2）因为在X与Y统计独立时，它们必定不相关，故只需检验A=2.5和A=1这两个值即可。1）在A=2.5时，因为,故,即： A=2.5时，X与Y不统计独立,1.5 随机变量的数字特征,续解： 2）在A=1时，因为对所有
26、的j,k，皆有,故,即： A=1时，X与Y统计独立的。,例如：j=k=2时，由于,习 题,1.8 设离散型随机变量X的可能取值-1,0,1,2，每个取值的概率均为0.25。有设随机变量Y为Y=g(X)=X3-X（1）确定随机变量Y的可能取值；（2）确定做Y的概率分布；（3）求EY。,1.10 设随机变量X的均值为3，方差为2，现定义新的随机变量Y=-6X+22，试问随机变量X与Y是否正交、不相关？为什么？,1.9 假设物种在第0代只有一个个体，它所繁衍的第1代子女数为一随机变量，其可能取值为0,1,2，分布为P(N=n),n=0,1。假设每个第1代子女又可独立再繁衍子孙，其繁衍的子孙数也服从同
27、一分布P(N=n),n=0,1假设随机变量N的期望为a，求第2代子孙的总数的期望值。,1.6 随机变量的特征函数,（一）特征函数的定义设X是定义在概率空间(S，F，P)上的随机变量，它的分布函数为FX(x)，称 的数学期望 为X的特征函数。,离散和连续随机变量X的特征函数分别定义为,特征函数和概率密度函数一一对应。,1.6 随机变量的特征函数,例15. 设随机变量X服从正态分布N(mX,2)，求其特征函数。解 ： 作变换 则注：最后这个等式利用了这样一个事实：对任意实数c，有,1.6 随机变量的特征函数,（二）特征函数的性质 （1）,证明：,1.6 随机变量的特征函数,2. （线性性），设a,
28、b为常数，Y=aX+b，则证明：3. 若随机变量X和Y相互独立，则推广到n个相互独立到随机变量之和到情况。,1.6 随机变量的特征函数,证明：,1.6 随机变量的特征函数,4. 若随机变量X的n阶矩存在，则它的特征函数n次可导，且对 有证明 由于,进一步n次微分，则有,1.6 随机变量的特征函数,例16. 随机变量X服从正态分布N(a,2) ，求X的数学期望EX和方差DX。 解：由前面的例子可知，随机变量X到特征函数为故 令u=0，则有 由此得故X的方差为,1.6 随机变量的特征函数,例17. 相互独立的正态随机变量的线性组合仍服从正态分布。证明 若随机变量X1,X2,Xn相互独立，且XiN(
29、mi,I), i=1,2,n,考虑它们的线性组合其中a1,a2,an（不全为0）与b均为常数，由前例可知Xi的特征函数为则而这恰好为正态分布 特征函数。,1.6 随机变量的特征函数,例18 设随机变量服从均匀分布,求Y=sinX的概率密度函数,解：按照特征函数的定义,代入CY(u),故,1.6 随机变量的特征函数,（三）联合特征函数 n维随机变量X1,X2,Xn的联合特征函数定义为,应用矩阵或向量运算方法，可简写为,式中,1.6 随机变量的特征函数,若二维正态随机变量X1,X2的均值皆为零，方差分别为，它们的相关系数为r，则可求得二维特征函数,若其均值不为零，分别为 ，则上式修正为,1.6 随
30、机变量的特征函数,联合特征函数的性质如下：,（1）当且仅当n个随机变量Xi独立时，有,（2）边沿特征函数,（3）若 ，则有,（4）联合矩公式,习 题,1.11 设X服从参数为的Poisson分布，求其特征函数。,1.13 设随机变量X1,X2的联合特征函数为,1.12 设随机变量X为均匀分布，其概率密度,（1）求X的特征函数 （2）由所得的特征函数，求X的均值,（1）求X1与X2的均值； （2） X1与X2是否正交、不相关？为什么？,1.7 中心极限定理,中心极限定理是研究大量随机变量和的分布的一组定理。中心极限定理指出，若有大量相互独立的随机变量的和,其中每个随机变量对总的变量Y的影响足够小，则在一定条件下，当 时，随机变量Y是服从正态分布的，而与每个随机变量的分布律无关。,
