1、随机信号处理教程,献给进入信息领域学习的你！,随机信号处理教程,第1章 概率论基础 第2章 随机过程 第3章 随机过程的功率谱密度 第4章 随机信号通过线性系统 第5章 窄带系统和窄带随机信号 第6章 随机信号通过非线性系统 第7章 马尔可夫过程,第1章 概率论基础,1,2,3,4,随机事件及其概率,条件概率与统计独立,随机变量及其概率分布,随机变量的数字特征,随机变量的特征函数,极限定理,多维正态分布,1.1随机事件及其概率,随机现象是指在相同条件下重复试验，所得结果不一定相同的现象，即试验结果是不确定的现象。 随机试验具有以下三个特点： 试验有多种可能结果，并且事先明确知道该试验的所有可能
2、的结果； 每次试验出现哪个结果，事先是不可预测的； 试验可以在相同条件下重复进行。 在随机试验的结果中，可能发生，也可能不发生，但在大量重复试验中，却具有某种规律性的事件，叫做此随机试验的随机事件，简称事件。 为了便于研究随机试验，我们将随机试验的所有基本事件所组成的集合称作随机试验E的样本空间,1.1随机事件及其概率,1）子事件,2）两事件相等,3）和事件,4）积事件,5）差事件,6）互不相容事件,7）逆事件,事件之间的 关系与运算,1.1随机事件及其概率,8）事件的 运算规律,结合律,交换律,分配律,对偶律,差化积,差化积,1.1随机事件及其概率,一般地，在同样条件下，大量进行重复试验来观
3、察事件A发生或不发生(如抛硬币，出现正面H的事件为A)。若在n次独立试验中，随机事件A出现nA次，比值称为事件A在这n次试验中出现的频率。 设E是随机试验，S是它的样本空间，对于E的每一事件赋予一实数，记为 ，称之为事件A的概率一般地，设试验E的样本空间为，如果每一个基本事件的概率相等，即，则称这类试验为等可能概型，又称为古典概型。,1.1随机事件及其概率,非负性：对于任意给定 的事件A，,规范性：,可列可加性：对于任 意给定的事件 ，且任意事件两两,，即不可能事件的概率为0； 有限可加性，若事件 两两互不相容，则 对任意事件A，有 对于任意事件A、B，有,概率的性质,互不相容，则有,1.2条
4、件概率与统计独立,设A、B为随机试验的两个事件，且 ，则称 为事件B发生的条件下事件A发生的条件概率。 乘法定理：设任意事件A、B，如果 ，则有如果 则有 全概率公式：设构成随机试验E的一个完备事件组 ，且 ，则对随机试验E的任一事件B，贝叶斯公式：若设 是一列互不相容的事件，且 则对任一事件B，有,当 ， 时，事A与事件B相互独立的充分必要条件是 或,1.2条件概率与统计独立,若事件A与B相互独立，则下列三对事件：A与 、B与 、 与 也相互独立。,不可能事件 及必然事件 S与任何事件 A相互独立。,定理l,定理2,定理3,对任意的两个事件A、B，若,成立，则称事件A与B是相互独立，简称独立
5、。,1.3 随机变量及其概率分布,设随机试验E的样本空间为S，如果对于每个样本点 ，有一个实数 和它对应，这样就得到一个定义在S上的单值实函数 ，称 为随机变量，简写为X。,随机性 随机变量的取值依赖于随机试验的结果，具有随机性。,变量随机变量是 一个随试验结 果不同可取不 同值的变量。,1.3 随机变量及其概率分布,如果随机变量X只能取有限个或可列不同的数值，则称X为离散型随机变量。 两点分布二项分布泊松（poisson）分布,1.3 随机变量及其概率分布,设X是一随机变量，x是任意实数，称函数为随机变量X的分布函数。 如果对于连续型随机变量X的分布函数 ，存在非负的函数 ，使对于任意实数，
6、有称 为X的概率密度函数。,1.3 随机变量及其概率分布,TEXT,TEXT,TEXT,均匀分布,正态分布（高斯分布）,瑞利分布,1.3 随机变量及其概率分布,1,2,3,4,分布曲线在x轴的上方，以 为对称轴，且当 时， 有最大值 ；,为正态分布两参数， 确定分布的位置， 确定分布的形状， 越大，分布曲线越扁平； 越小，分布曲线越陡峭；,分布曲线在 处有拐点，即 ；在 与之间，曲线上凸，而其它部分下凹，曲线向两侧延伸，永不和x轴相交；,的取值范围是整个x轴。,正态分布的性质,1.3 随机变量及其概率分布,如果X、Y均为某样本空间上的随机变量，则称(X，Y)为二维随机变量或二维随机向量。 设(
7、X，Y)为二维随机变量，对于任意实数x和y，令则称为 二维随机变量 的联合分布函数。其中事件 是使 和 同时成立的所有样本点组成的集合。 1）2）对于每个变元， 单调不减。即当 时，有当时 ，有3），4），,1.3 随机变量及其概率分布,设为二维随机变量(X，Y)的联合分布函数，如果存在非负函数，使对于任意实数x，y，有 则称函数为二维随机变量(X，Y)的联合概率密度函数，简称(X，Y)的概率密度函数。1） 2）3） 在 的连续点 处，有4）设G是xoy平面上的一个区域，随机点(X，Y)落入该平面区域G的概率为,1.3 随机变量及其概率分布,设 为二维随机变量(X，Y)的分布函数，令则称 、
8、分别为(X，Y)关于X和Y的边缘分布函数，分别简称为X和Y的边缘分布。 设二维随机变量(X，Y)的分布函数为 ，概率密度函数为 ，则有令 则分别称 和 为X和Y的边缘概率密度函数。,边缘分布,1.3 随机变量及其概率分布,设X、Y为两个随机变量，如果对任意实数x和y，事件 和事件 均相互独立，即则称随机变量X和Y相互独立。,随机变量X、Y相互独立的充要条件是：这等价于,1.3 随机变量及其概率分布,n维随机变量 的n维(联合)分布函数为上式表示 ， ， ，诸事件同时出现的概率。 设 为n维随机变量 的n维(联合)分布函数，如果存在非负函数 ，使对任意实数 ，有则称函数 为n维随机变量 的n维(
9、联合)概率密度函数。,1.3 随机变量及其概率分布,设 为任意正数，如果极限存在，则称此极限为条件 下，X的条件分布函数， 记为 或 。 条件概率分布的概念可以推广到多维随机变量的情况。n维随机变量 在条件 ， ， ，下的条件概率密度 为,1.3 随机变量及其概率分布,（1）一维随机变量函数的分布,图1.18 随机变量X和Y的单调函数关系,1.3 随机变量及其概率分布,设二维随机变量 和 ，当二维随机变量 取值为 时，二维随机变量 取值为 ，则称二维随机变量 是二维随机变量 的函数。记为,1.4随机变量的数字特征,（1）离散型随机变量的数学期望,二项分布,泊松分布,1.4随机变量的数字特征,设
10、连续型随机变量 的概率密度为 ，若积分绝对收敛，则称它为连续型随机变量 的数学期望，记为 ，即 设随机变量 是随机变量 的函数(g是连续实函数)若 是连续型随机变量，它的概率密度为 ，若积分 绝对收敛，则随机变量 的数学期望为,1.4随机变量的数字特征,数学期望的性质,1.4随机变量的数字特征,设 为随机变量，如果 存在，则称它为随机变量 的方差，记为 ，即并称 为 的标准差。,即,1.4随机变量的数字特征,若C为常数，则,若是X一随机变量、C是常数，则有,若X、Y是两个相互独立的随机变 量，则有,方差的性质,1.4随机变量的数字特征,设X和Y是随机变量，k、n均正整数，如果 存在，称它为随机
11、变量X的k阶原点矩；如果 存在，称它为随机变量X的k阶中心矩；如果 存在，称它为随机变量X和Y的k+n阶混合矩；如果 存在，称它为随机变量X和Y的k+n阶中心混合矩。 显然，随机变量的数学期望是它的一阶原点矩，方差是它的二阶中心矩，而均方值则是它的二阶原点矩。,1.4随机变量的数字特征,设为 二维随机变量，如果X和Y的二阶中心混合矩存在，则称它为X与Y之间的协方差，记为 ，即如果D(X)和D(Y)均存在，且D(X)0，D(Y)0，则称为与之间的相关系数。如果 ，则称X与Y不（线性）相关；如果 ，则称X与Y相关。,1.4随机变量的数字特征,协方差和相关 系数的性质,1.5随机变量的特征函数,设随
12、机变量X的概率密度函数为 ,称 的数学期望 为随机变量的特征函数，记为 ，即当为离散型随机变量时，其特征函数为当为连续型随机变量时，其特征函数为我们定义二维随机变量 的联合特征函数为对于连续型二维随机变量而言，其特征函数为,1.5随机变量的特征函数,特征函数的性质,1.5随机变量的特征函数,设随机变量X的特征函数为将上式两端对u微分，得令 ，得同理得所以,1.6极限定理,当n很大时，随机变量 的算术平均值 接近于数学期望 ，这种接近是概率意义的接近，通俗地说，在定理的条件下，n个随机变量的算术平均，当n无限增加时将几乎变成一个常数了。,设 为相互独立的随机变量序列，每个 的方差存在，且存在常数
13、C，使得对一切正整数k，有 ，则对于任意正数 ，有,定理表明,切比雪夫定理,1.6极限定理,当n很大时，事件发生的频率与概率有较大的偏差的可能性很小。在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率。,设 是n重贝努里试验中事件A发生的次数，P是事件A在每次试验中发生的概率，则对于任意正数 ，有,定理表明,贝努里定理,1.6极限定理,中心极限定理,中心极限定理是研究大量随机变量和的分布的一组定理。中心极 限定理指出：若有大量相互独立的随机变量的和其中每个随机变量 对总和的随机变量 的影响足够小，则在一定条件下，当 时，随机变量 是服从正态分布的而与每个随机变量 的分布无关。,1.7多维正态分布,设X是具有均值为、方差为的正态随机变量，Y是具有均值为、方差为的正态随机变量，且X、Y的相关系数为，则二维随机变量(X,Y)为一个二维正态随机变量，其联合概率密度函数为 如果X、Y是两个互不相关的正态随机变量，也就是说，则有,1.7多维正态分布,二维正态随机变量的特征函数为设 为均值 、方差 为的正态随机变量(i=1,2,n)，则 为一个n维正态随机变量，它的n维联合概率密度函数为其中,Thank You !,
