1、第三章 平稳随机过程,3.2平稳过程相关函数的性质,3.4 随机过程统计特性的实验研究方法,3.5 相关函数的计算举例,3.7 高斯随机过程,小结,3.3 平稳随机序列的自相关阵与协方差阵,3.1 平稳随机过程及其数字特征, 3.1 平稳随机过程及其数字特征,平稳随机过程在通信等应用领域中占有重要地位。其重要性来自两个方面： 1.在实际应用中，特别在通信中所遇到的过程大多属于或很接近平稳随机过程； 2.平稳随机过程可以用它的一维、二维统计特征很好地描述。, 3.1 平稳随机过程及其数字特征,一、平稳随机过程的基本概念,1严平稳随机过程,一个随机过程X(t), 如果它的n维概率密度(或n维分布函
2、数)不随时间起点选择的不同而改变，则称X(t)是严平稳随机过程。,该式说明，平稳随机过程的统计特性与所选取的时间起点无关。或者说，整个过程的统计特性不随时间的推移而变化。,严平稳随机过程,平稳随机过程的n维概率密度不随时间平移而变化的特性，反映在其一，二维概率密度及数字特征上具有以下性质：,(1)若X(t)为平稳过程, 则它的一维概率密度与时间无关。,所以与一维分布有关的数字特征均为常数。,(2)平稳过程X（t）的二维概率密度只与t1、t2的时间间隔有关，而与时间起点t1无关。,所以与二维分布有关的数字特征仅是的函数，而与t1,t2的本身取值无关,当=0 时，有,2宽平稳随机过程,若随机过程
3、满足,则称X(t)为宽平稳过程(或称广义平稳过程),严平稳过程只要均方值有界， 就是广义平稳的，但反之则不一定。,两个随机过程平稳相依,当我们同时考虑两个平稳过程X(t)和Y(t)时，若它们的互相关函数仅是单变量 的函数，即,则称X(t)和Y(t)宽平稳相依，或称这两个随机过程是联合宽平稳的。,两个随机过程的联合概率分布不随时间平移而变化、与时间起点无关，则称这两个随机过程是（严）联合平稳的，或（严）平稳相依的。,例3.1 设随机过程 式中a，0为常数，是在区间(0，2)上均匀分布的随机变量, 这种信号通常称为随相正弦波。求证X(t)是宽平稳的。,证：,可见，X(t)的均值为“0”。自相关函数
4、仅与有关，故X(t)是宽平稳过程。,随相正弦波,可见，该随机过程的均值与时间有关，自相关函数也与时间t1,t2的值均有关，所以不是平稳过程。,例32 设随机过程 式中Y是随机变量。讨论X(t)的平稳性。,解:,例33 设有状态连续，时间离散的随机过程X(t)=sin2At,式中t只能取整数值，即t=1，2，式中的A是在（0，1）上均匀分布的随机变量。试讨论X(t)的平稳性。,解：(1)可以证明X(t)是宽平稳的.,(2)讨论X(t)是否是严平稳的?,令t=t1过程的状态为：,这表明，过程的一维变量x与a是双值关系，于是可求得过程的一维概率密度为,可见，X(t)的一维概率密度与时间t有关，因此X
5、(t)只是宽平稳的，不是严平稳过程。,二、各态历经（遍历）随机过程,在上面的讨论中，每当谈到随机过程时，就意味着所涉及的是大量的样本函数的集合。要得到随机过程的统计特性，就需要观察大量的样本函数。能否找到更简单的方法代替上述方法呢?,各态历经性过程的各样本函数都同样的经历了随机过程的各种可能状态,因此从随机过程的任何一个样本函数都可以得到随机过程的全部统计信息，任何一个样本函数的特性都可以充分地代表整个随机过程的特性。,时间平均,样本函数x(t)的时间平均用 表示，定义为：,能否用典型“样本函数”的时间平均代替集平均？,例：,此随机过程的样本函数为不随时间变化的常量，且,显然,该过程的时间平均
6、不等于集平均,例,各态历经性过程的各样本函数都同样的经历了随机过程的各种可能状态,任何一个样本函数的特性都可以充分地代表整个随机过程的特性,因此从随机过程的任何一个样本函数都可以得到随机过程的全部统计信息。,该过程的时间平均等于集平均,各态历经过程,定义 设X(t)是一个平稳过程,(1)若,以概率1成立，则称随机过程X(t)的均值具有各态历经性。,(2)若,以概率1成立，则称X(t) 的自相关函数具有各态历经性。,式中,分别称作X(t) 的时间均值和时间自相关函数。,各态历经过程,若X(t)的均值和自相关函数都具有各态历经性，则称X(t)是宽各态历经过程。,对于遍历过程,只要根据其一个样函数,
7、便可得到其数字特征。,若X(t)的所有统计平均特性和其样函数所有相应的时间平均特性以概率为一相等, 则称X(t)为严遍历过程或窄义遍历过程. 本章仅限于研究宽遍历过程.如果不加特别说明,遍历过程即指宽遍历过程. 不难看出,遍历过程必定是平稳过程,但平稳过程不一定是遍历过程。,各态历经过程,(3)若,以概率1成立，则称X(t)的分布函数具有各态历经性。式中,是否各态历经过程。,例3.4 讨论本节例3.1所给出的随机过程,解:由例3.1知X(t)是平稳过程,对照例3.1的 结果可得,所以X(t)是宽各态历经的。,各态历经过程,例35 讨论随机过程X(t)=Y的各态历经性(图3.3)，式中Y是方差不
8、为零的随机变量。,解: 首先X(t)是平稳的，因为,但X(t)不具备各态历经条件，因为,是个随机变量，则 ，故X(t)不是各态历经过程。可见并不是任何平稳过程都是各态历经的。,(a),(b),(c),(d),各态历经过程,在电子工程中，若各态历经过程X(t)代表的噪声电压或电流，则其一、二阶矩函数有着明确的物理意义。,噪声电压(或电流)的均值实际就是它的直流分量,RX(0)代表噪声电压(或电流)消耗在1欧姆电阻上的总平均功率,方差代表噪声电压(或电流)消耗在1欧姆电阻上的交流平均功率，, 3.2平稳过程相关函数的性质,性质1：RX()是偶函数，即满足,性质2：,证：任何正的随机函数的数学期望恒
9、为非负值，即,证：,同理协方差函数：,平稳过程相关函数的性质,对于平稳过程，有,对于中心化自相关函数(或协方差函数)，不难得到同样的结论：,平稳过程相关函数的性质,性质3：周期平稳过程的自相关函数必是周期函数，且与过程的周期相同。,若平稳过程X(t)满足条件X(t)=X(t+T)，则称它为周期平稳过程，其中T为过程周期。,应用：提取信号周期,语音基音提取,一种基于线性预测与自相关函数法的语音基音周期检测新算法,平稳过程相关函数的性质,性质3扩展：如果随机过程含有周期分量，那么平稳过程的自相关函数也含有周期分量，且周期相同。,例：,为（0，2）上均匀分布，N（t)与 统计独立,可见自相关函数中也
10、含有周期分量。,应用：淹没在加性噪声中的某个周期信号可从自相关函数曲线中“发现”。,如潜艇探测:发动机(周期性)+海浪(随机),平稳过程相关函数的性质,性质4：平稳过程的均方值可以由自相关函数令=0得到。RX(0)代表了平稳过程的“总平均功率”。,性质5：不包含任何周期分量的非周期平稳过程满足,这是因为，从物理意义上讲，当增大时X(t)与X(t+)之间相关性会减弱，在的极限情况下，两者相互独立，于是有,平稳过程相关函数的性质,对于中心化自相关函数，则有,平稳过程相关函数的性质,性质6：若平稳过程含有平均分量(均值)为mX，则自相关函数将含有固定分量mX2。即,当考虑到非周期平稳过程有 ，并=0
11、时，得,性质7：自相关函数必须满足,这一条件限制了自相关函数曲线图形不能有任意形状，不能出现平顶，垂直边或在幅度上的任何不连续。,平稳过程相关函数的性质,性质8:一个函数能成为自相关函数的充要条件是，必须满足半正定性，即对任意函数f(t)有,平稳过程的自相关函数RX()及CX()的典型曲线如图3.5(a)及图3.5(b)所示。,题3.11,指出题3.11图中函数曲线能否是正确的自相关函数曲线，为什么？,例3.7 平稳过程X(t)的自相关函数为求X(t)的均值、均方值和方差。,解：,式中 对应为一平稳周期过程的相关函数（随相正弦波的相关函数）,该分量的均值为零。,对于非周期分量的 有：,均方值为
12、：,方差为：,例38 已知平稳过程X(t)的相关函数为,求X(t)的均值和方差。,解:,相关系数和相关时间,(1)相关系数,定义为：,实际上X()是对平稳随机过程的协方差函数作归一化处理，可称作归一化自相关函数。显然，X()具有与CX()相同的特点，并且X(0)=1.,相关系数值的大小可直观地说明随机过程的相关性大小或随机过程起伏快慢。,（2）相关时间,定义1：取对应于X()=005的那个时间为相关时间0,定义2：用图3.6中的矩形(高为X(0)=1，底为0的矩形)面积等于阴影面(X()积分的一半)来定义0，即,相关时间0愈小，就意味着相关系数X()随的增加降落得愈快，也就说明随机过程随时间变
13、化得愈剧烈。反之，0大则说明随机过程随时间变化缓慢。,相关时间,二、平稳相依过程互相关函数的性质,性质1：,性质2：,可见互相关函数既不是奇函数也不是偶函数。,性质3：,平稳相依过程互相关函数的性质,性质4：,互相关系数, 3.3 平稳随机序列的自相关阵与协方差阵,随机序列的自相关阵与协方差阵具有对称性与半正定性。若随机序列是平稳的，则可以证明上述两个矩阵还是Toeplitz矩阵，即矩阵的每一条对角线上的元素是相同的。, 3.4 随机过程统计特性的实验研究方法,从一个样本函数的有限个样本数据：出发找出总体的统计特性，在统计学中称为估值问题。这是一个内容十分广泛的课题，作为基础课程这里我们仅研究
14、其基本统计特性，均值、方差、 相关函数、功率谱密度留待下章)及密度函数的估计问题。,注意：前提是基于该随机过程是各态历经过程的假设,一、均值估计,设X0,X1,XN-1是统计独立的高斯随机变量，这种情况称Xj为独立高斯随机序列。设其未知均值为mX，则以mX为条件的多维密度函数(称为似然函数)为,由于对数函数的单调性，用似然函数的对数更简单,均值估计,让对数似然函数取最大值,得到均值的最大似然估值,此式说明，可用N个观测值的算术平均作为均值mX的估值。,MATLAB的均值函数:m=mean(x),估计量的性质（工程）,1有偏估计与无偏估计,由于估计量依赖于观测结果，因此估计量本身是随机变量，于是
15、它也存在其均值和方差。,若估计量的数学期望等于真值 ，则称该估计量为无偏估计量，反之则称为有偏估计量。,例如，上面介绍的均值估计量是一个无偏估计量。,当估计量为有偏估计量时，一般称偏差值 为偏倚。显然，无偏估计量的偏倚为零。,另若,，但,则称为渐近无偏估计量,2估计量的方差,估计量的方差，反映了该估计量围绕均值的分散程度的大小。一般来讲当样本数N一定时，方差小的无偏估计量就是比较好的估计量。若N时，估计量的方差趋于零，则称该估计量为一致估计量。,一般情况下，认为偏倚与方差两者均小的估计量为好估计量。为方便起见，可以定义均方误差，即估计量与真值的均方差，定义为,则可以认为，均方误差小的估计量为好
16、估计量。,可以证明上面的均值估计量为一致估计量，即,二、方差估计,可以证明，方差的最大似然估值为,若均值方差均为待估计量，则可将均值估计值代入,1 是有偏估计量， 但当N时, ，则为渐进无偏的。,2 为一致估计量,MATLAB的方差估计函数:sigma2=var(x,1),三、自相关函数的估计,性质 1 是渐近无偏的.,性质2 是一致估计量。,自相关函数的定义为：,自相关函数的有偏估计：,互相关函数估计,MATLAB函数用法:,c=xcorr(x,y) c=xcorr(x) c=xcorr(x,y,option) c=xcorr(x,option),Option 选项是:biased有偏估计u
17、nbiased无偏估计coeff m=0的相关函数值归一化为1none不做归一化处理,四、密度函数估计,最简单的一维密度函数的估计方法，这种方法称为直方图法。,i等距直方图，,.等概直方图,MATLAB直方图函数: hist(y,x),PhotoShop中的直方图,仿真实验,随机过程的模拟与特征估计: 模拟一个正态分布随机序列的N个样本,然后估计其各数字特征.,N=1000; subplot(3,1,2); x=randn(N,1); plot(r); m=mean(x); title(自相关函数); sigma2=var(x); grid r=xcorr(x,biased);figure s
18、ubplot(3,1,3); subplot(3,1,1); i=-2.9:0.1:2.9; plot(x); hist(x,i); title(样本曲线); title(随机序列的直方图); grid grid,MATLAB仿真程序如下:,运行结果:,m = 0.0011sigma2 =1.0374, 3.5 相关函数的计算举例,二元随机过程的相关函数计算,二元随机信号的样本函数如图3.10所示，它是离散、平稳、零均值的，并且幅度仅有a两个值的随机过程，幅度变化只在等时间间隔T上产生，并且变号与不变号是等概发生的。跳变时间t0是在时间间隔T上均匀分布的随机变量，此外，还假设x(t)落在不同时
19、间间隔内的值是相互独立的。,相关函数的计算举例,(1)当 时，t1和t1+必定落在两个不同的时间间隔上，故x1和x2是独立的，于是有,(2)当 时，t1和t1+是否能落在同一个时间间隔内有两种可能性,(i)0时，要落入同一间隔必须满足,Pt1与t1+在同间隔内=P(t1+-T)t0t1) 由于t0在间隔T上均匀分布，故p(t0)=1/T, 于是 Pt1与t1+在同间隔内,相关函数的计算举例,相关函数的计算举例,()0时，要落入同一间隔必须满足即,Pt1与t1+在同间隔内,归纳上面两种情况，可得Pt1与t1+在同间隔内,相关函数的计算举例,故有,由此可计算当 时的自相关函数：,3.6 复随机过程
20、,一、复随机变量,定义复随机变量Z为：Z=X+jY,式中的X和Y都是我们已经熟悉的实随机变量。,下面我们把普通实随机变量的数学期望、方差和相关矩等概念推广到复随机变量的情况。首先我们指出这种推广必须遵循的原则是：在特殊情况下，即当Y=0时(此时，Z成为实随机变量)，它们应等于实随机变量的数学期望、方差和相关矩。,复随机变量,复随机变量Z的数学期望定义为：,复随机变量Z的方差定义为：,式中,即复随机变量的方差等于它的实部和虚部的方差之和，复随机变量的方差是非负的实数。,复随机变量,对于两个复随机变量Z1和Z2 ：,它们的相关矩 定义为：,式中*表示复共扼，即,复随机变量 协方差定义为：,可见两个
21、复随机变量涉及四个实随机变量 。,复随机变量,两个复随机变量的独立，不相关、正交等概念,Z1和Z2相互统计独立需满足：,Z1与Z2不相关 只需满足：,或,若满足,则称Z1与Z2正交.,二、复随机过程,定义复随机过程Z(t)为,式中，X(t)，Y(t)皆为实随机过程。,复过程Z(t)的统计特性可由X(t)和Y(t)的2n维联合概率分布(密度)完整地描述，其概率密度为：,定义复随机过程的数学期望为：,定义复随机过程的方差为：,复随机过程,定义复随机过程的自相关函数为,协方差函数定义为 :,当=0时，中心化自相关函数就是方差,复随机过程,如果复随机过程Z(t)满足：,称Z(t)是宽平稳的复随机过程,
22、注：平稳复随机过程的自相关函数不具有对称性。,复随机过程,同理，对于两个复随机过程Z1(t),Z2(t), 定义它们的互相关函数和互协方差为：,若Z1(t),Z2(t)联合平稳，则,若,则称Z1(t)与Z2(t)互不相关。,若,则称Z1(t)与Z2(t)为正交过程。,复随机过程,例3.8随机过程X(t)由N个复数信号之和构成，即,式中0为角频率(常数)，Ak为第k个信号的幅度、是随机变量，k是在(0，2)上均匀分布的随机相位。现假设对所有变量Ak和k (k=1,2,N)，都是统计独立的。求X(t)的自相关函数。,解：,因为Ak和k统计独立，所以,由于,于是, 3.7 高斯随机过程,高斯过程定义
23、：如果对于任意时刻 ，随机过程的任意n维随机变量 的n维密度函数服从高斯分布，则X(t)就是高斯过程。,高斯过程的n维概率密度函数为：,式中m,x为n维向量,C为协方差矩阵：,由此可见，正态随机过程的n维概率分布仅取决于其一、二阶矩函数。,高斯随机过程,另高斯过程的n维概率密度函数的展开式：,高斯过程的多维特征函数,高斯随机过程有许多特殊性质：,正态随机过程的n维概率分布仅取决于其一、二阶矩函数。所以当它满足宽平稳条件时，其一、二阶矩与时间起点无关，故其n维概率密度函数也与时间起点无关，必然是严平稳的 。,性质1：宽平稳高斯过程一定是严平稳过程。,如平稳高斯过程的一、二维概率密度函数为：,高斯
24、随机过程的性质,性质2：若平稳高斯过程在任意两个不同时刻是不相关的，那么也一定是互相独立的。,所以，高斯过程的不相关性和独立性也是等价的。,由不相关性知，对任意两个不同时刻ti,tk，有,由式(3.7.7)：,性质2：,由此当随机过程不相关时，可得平稳高斯过程的二维概率密度函数为,n维分布为,综上所述，高斯过程的宽平稳性和严平稳性是等价的；不相关性和独立性也是等价的。,高斯过程性质,性质3：平稳高斯过程与确定时间信号之和仍是高斯过程。,设混合信号Z(t)=Y(t)+S(t) ，其中S(t)为确定信号 ， Y(t)为平稳高斯过程，前面讨论过的两独立随机变量之和的概率密度为两随机变量概率密度的卷积
25、在这也适用。,由于S(t)为确定信号，故其概率密度可表示为s-S(t),混合信号的一维概率密度为：,当Y为高斯分布，则混合信号的一维分布也是高斯的。,高斯过程性质,同理可得混合信号Z(t)的二维概率密度为,依此类推可得混合信号Z(t)的n维概率密度:,当Y(t)为一个高斯过程时，只要将式(3.7.1)的指数项中每一对(yi-mY)用(zi-s(ti)-mY)代替，即可得到混合信号的n维概率密度。,还须指出，对于平稳高斯过程与确定信号之和的分布而言，仍可得到高斯分布，但是一般情况下混合信号不再是平稳的了。,高斯过程性质,性质4：若正态随机过程 在T上是均方可积的，则,也是正态过程。,性质5：若正
26、态随机过程 在T上是均方可微的，则其导数也是正态过程。,一个高斯随机过程经任意线性变换（如线性相加、线性放大、微分、积分等），其输出仍是高斯随机过程,小结,1、宽平稳随机过程,2、宽各态历经过程,X(t)的均值和自相关函数都具有各态历经性,小结,3、平稳过程自相关函数的性质,RX()是偶函数,周期平稳过程的自相关函数必是周期函数,不包含任何周期分量的非周期平稳过程满足,相关系数、相关时间,小结,4、随机过程统计特性的实验研究方法,估计量的性质,无偏估计量、有偏估计量、渐近无偏估计量、一致估计量,均值的最大似然估值,方差的最大似然估值,自相关函数的估计,小结,5、高斯随机过程的性质,性质1：宽平稳和严平稳等价,性质2：不相关性和独立性也是等价的,性质3：平稳高斯过程与确定时间信号之和仍是高斯过程,性质4：一个高斯随机过程经任意线性变换（如线性相加、线性放大、微分、积分等），其输出仍是高斯随机过程,习 题,3，4，5，10，12，13，14，16，*25,
