1、第一章 概率论基础,引例 在相同条件下相互独立地进行 5 次射击,每次射击时击中目标的概率为 0.6 , 求击中3次的概率. X表示击中目标的次数.,一维随机变量,随 机 变 量,离 散 型 随机变量,连 续 型随机变量,分 布 函 数,分 布 律,密 度 函 数,均 匀 分 布,指 数 分 布,正 态 分 布,两 点 分 布,二 项 分 布,泊 松 分 布,随机变量 的数字特征,定义,数学期望,差方,一维随机变量,随 机 变 量,离 散 型 随机变量,连 续 型随机变量,分 布 函 数,分 布 律,密 度 函 数,均 匀 分 布,指 数 分 布,正 态 分 布,两 点 分 布,二 项 分 布
2、,泊 松 分 布,随机变量 的函数的分 布,定义,定 义,联 合 分 布 函 数,联 合 分 布 律,联 合 概 率 密 度,边 缘 分 布,条 件 分 布,两 个 随 机 变 量 的 函 数 的 分 布,随 机 变 量的 相 互 独 立 性,定 义,性 质,二 维 随 机 变 量,推 广,二维随机变量,随机变量的数字特征,数学期望,方 差,离散型,连续型,性 质,协方差与相关系数,随机变量函数的数学期望,定 义,计 算,性 质,二维随机变量的数学期望,定 义,协方差的性质,相关系数定理,1.1 概率空间,随机试验：可重复、可预见、不确定 样本空间：随机试验所有可能结果的集合 样本点：基本事件
3、 e 事件：A 必然事件： 不可能事件： 事件运算：并、交、差、（上、下）极限,都为随机事件.,骰子“出现1点”, “出现2点”, ,“出现6点”,“点数不大于6”, “点数为偶数” 等都为随机事件., =0,1,2,；,记 A至少有10人候车10,11,12, ， A为随机事件，A可能发生，也可能不发生。,例：观察某路公交车某站候车人数，,B至少有0人候车= ,为必然事件 C有1.5人候车 = ,为不可能事件，不包含任何样本点。,1.1 概率空间,定义1.1 -代数(事件域) 集合的某些子集组成集合族F （1）F （必然事件） （2）若AF, 则AF （对立事件） （3）若AiF,i=1,2
4、，则 F （可列并事件）称F为-代数，（， F ）为可测空间,例 投掷一次骰子试验，ei表示出现i点， =e1,e2,e3,e4,e5,e6 F =，e1,e2,e3，e4,e5,e6， ,F为-代数，（， F ）为可测空间,1.1 概率空间,例：连续投掷两次硬币试验 =正正，正反，反正，反反,1.1 概率空间,F1 =，正正， 正反，反正，反反， F2 =，正正，正反，正正，正反， 反正，反反，正反，反正，反反， 正正，反正，反反 ，正正，正反，反正，反反 F3 =，反正，反反， 反正，反反， 正正，正反，正正，正反，反反， 正正，正反，反正 ，正正，正反，反正，反反 F4 =，正反， 正正
5、，反正，反反 ， Fi为-代数，（，Fi）为可测空间,F=，正正，正反，反正，反反， 正正，正反，正正，反正，正正，反反，正反，反正，正反，反反，反正，反反，正正，正反，反正，正正，正反，反反，正正，反正，反反，正反，反正，反反，正正，正反，反正，反反 为可测空间，（ ， F ）为-代数,1.1 概率空间,可测空间的性质设（，F ）为可测空间,则 （4）F （不可能事件） （5）若A,B F,则AB F （差事件） （6）若Ai F,则 F（有限并，有限交，可列交事件）,1.1 概率空间,定义1.2概率空间：设（，F）为可测空间,映射P：F R，A|P（A）满足 (1)任意AF， 0 P（A）
6、 1 (2) P（）= 1 (3)称P是(, F)上的概率， (, F,P)为概率空间， P(A)为事件A的概率。,1.1 概率空间,概率空间的性质 设(, F,P)为概率空间，则 （4） P（）= 0 （5）P（BA）= P(B) -P(A) , (AB) （6）,乘法公式和全概率公式,乘法公式:P(AB)=P(B|A) P(A) 全概率公式：P(B)= P(BA1)+ P(BA2)+=P(B|A1) P(A1)+ P(B|A2) P(A2)+ 其中A1，A2为完备事件族,练习：袋中有2个红球，3个白球，从中不放回的接连取出两个球。求第二次取出红球的概率。 解：设A1表示第一次取出红球，A2
7、表示第一次取出白球，B表示第二次取出红球。那么 P（B）=P（BA1）+ P（BA2）= P（B|A1）P(A1)+ P（B|A2）P(A2)=1/4*2/5+2/4*3/5=2/5,2/5,1/4,2/4,3/5,1.1 概率空间,设(, F,P)为概率空间，F1 F，若对任意A1, A2, , An F1 ，n=2 ,3,，有则称F1为独立事件族,或称F1中的事件相互独立。事件A, B独立，有P(AB)=P(A)P(B),独立事件,1.1 概率空间,事件A, B, C相互独立，有 P(AB)=P(A)P(B) P(AC)=P(A)P(C) P(BC)=P(B)P(C) P(ABC)=P(A
8、)P(B)P(C),1.2 随机变量及其分布,定义1.4 设(, F,P)为概率空间， 映射X： R，e X（e）满足任意xR，e:X(e)x F， 则称X(e)是F上的随机变量，简记X。对xR，称F(x)=Pe:X(e)x为随机变量X的分布函数。,1.2 随机变量及其分布,例 投掷两枚硬币试验，=正正，正反，反正，反反 F=，正正，正反，反正，反反， 正正，正反，正正，反正，正正，反反，正反，反正，正反，反反，反正，反反，正正，正反，反正，正正，正反，反反，正正，反正，反反，正反，反正，反反，正正，正反，反正，反反 为可测空间，（ ， F ）为-代数 P=0，P正正=P正反= P反正=P反反
9、= 1/4，P=1， (, F,P)为概率空间,映射X： R，X(正正)=2， X(正反)= X(反正)= 1，X(反反)=0 （1）x0，e: X(e)x= F （2）0 x1，e: X(e)x= 反反 F （3）1 x2 ，e: X(e)x= 正反,反正,反反 F （4）x 2，e: X(e)x= 正正，正反,反正,反反 F X为随机变量,1.2 随机变量及其分布,分布函数为即,1.2 随机变量及其分布,分布函数的性质： （1）单调性：若x1x2，则F(x1)F(x2) （2） ， （3）F(x)右连续， F(x+0) = F(x)这三个性质完全刻划了分布函数,1.2 随机变量及其分布,随
10、机变量：离散型，连续型 离散型随机变量X的概率分布用分布律（列）描述：P(X=xk)=pk，k=1,2, 分布函数常见离散型随机变量X及其分布律 (1)0-1分布 P(X=1)=p，P(X=0)=q，0p1，p+q=1,1.2 随机变量及其分布,(2)二项分布P(X=k)= ， 0 0，k=0,1,2, (4)几何分布P(X=k)= ， 0 p1, p+q=1, k=1,2,1.2 随机变量及其分布,连续型随机变量X的概率分布用概率密度函数f(x)描述分布函数 常见连续型随机变量X及其概率密度 (1)均匀分布,1.2 随机变量及其分布,(2)正态分布(3)指数分布,1.2 随机变量及其分布,(
11、1) n维随机变量及其分布的定义 (2) n维离散型随机变量和连续性随机变量-联合分布列和联合分布密度 (3) 边缘分布 -边缘分布函数，边缘分布列，边缘分布密度 (4) 独立性,n维随机变量及其概率分布,n维随机变量及其概率分布 定义1.5 设(, F,P)为概率空间，X=X(e)=(X1(e), X2(e), Xn(e)是定义在上的n维空间Rn中取值的向量函数,如果对任意的x=(x1, x2, , xn)Rn， e:X1(e)x1, X2(e)x2, ,Xn(e)xn F， 则称X(e)是F上的n维随机变量，简记为 X =(X1, X2, Xn)。,1.2 随机变量及其分布,1.2 随机变
12、量及其分布,例 投掷两枚硬币试验，=正正，正反，反正，反反 F=，正正，正反，反正，反反， 正正，正反，正正，反正，正正，反反，正反，反正，正反，反反，反正，反反，正正，正反，反正，正正，正反，反反，正正，反正，反反，正反，反正，反反，正正，正反，反正，反反 为可测空间，（ ， F ）为-代数 P=0，P正正=P正反= P反正=P反反= 1/4，P=1， (, F,P)为概率空间,映射X： R，X(正正)=2， X(正反)= X(反正)= 1，X(反反)=0 （1）x0，e: X(e)x= F （2）0 x1，e: X(e)x= 反反 F （3）1 x2 ，e: X(e)x= 正反,反正,反反
13、 F （4）x 2，e: X(e)x= 正正，正反,反正,反反 F X为随机变量,1.2 随机变量及其分布,对x =(x1, x2, , xn) Rn，称 F(x)= F(x1, x2, , xn)=Pe:X1(e) x1, X2(e) x2, , Xn(e)xn 为n维随机变量X=(X1, X2, , Xn)的联合分布函数,1.2 随机变量及其分布,n维联合分布函数F(x1, x2, , xn)的性质对于每个变元xi (i=1, 2, , n) ， F(x1, x2, , xn)是非降函数(2)对于每个变元xi (i=1, 2, , n) ， F(x1, x2, , xn)是右连续的,1.2
14、 随机变量及其分布,(3)对于Rn的区域(a1,b1;a2,b2;an,bn)，其中ai bi (i = 1, 2, , n) , F(b1, b2 , , bn)-+(-1)n F(a1, a2 , , an)0,1.2 随机变量及其分布,对于n=2 F(b1, b2) - F(a1, b2) - F(b1, a2) + F(a1, a2) 0yb2a2x a1 b1,1.2 随机变量及其分布,对于n=3 F(b1, b2, b3) - F(a1, b2, b3) - F(b1, a2, b3) - F(b1, b2, a3) + F(a1, a2, b3) +F(a1, b2, a3) +
15、 F(b1, a2, a3) -F(a1, a2, a3) 0,1.2 随机变量及其分布,(4),1.2 随机变量及其分布,(1) n维随机变量及其分布的定义 (2) n维离散型随机变量和连续性随机变量-联合分布列和联合分布密度 (3) 边缘分布 -边缘分布函数，边缘分布列，边缘分布密度 (4) 独立性,n维随机变量及其概率分布,1.2 随机变量及其分布,n维离散型随机变量X=(X1, X2, , Xn) Xi都是离散型随机变量 (i=1, 2, , n) X=(X1, X2, , Xn)的联合分布律为P(X1=x1, X2=x2, , Xn=xn)=其中xi Ii是离散集，i= 1, 2,
16、, n X=(X1, X2, , Xn)的联合分布函数为(y1, y2, , yn) Rn,二维随机变量 ( X,Y ) 的分布律也可表示为:,二维离散型随机变量的分布律,离散型随机变量 ( X,Y ) 的分布函数为,1.2 随机变量及其分布,n维连续型随机变量X=(X1, X2, , Xn) 联合概率密度f(x1, x2, , xn) X=(X1, X2, , Xn)的联合分布函数为(y1, y2, , yn) Rn,二维连续型随机变量的分布函数,1.2 随机变量及其分布,(1) n维随机变量及其分布的定义 (2) n维离散型随机变量和连续性随机变量-联合分布列和联合分布密度 (3) 边缘分
17、布 -边缘分布函数，边缘分布列，边缘分布密度 (4) 独立性,n维随机变量及其概率分布,二维随机变量的边缘分布函数,为随机变量 ( X,Y )关于Y 的边缘分布函数.,离散型随机变量的边缘分布律,因此得离散型随机变量关于X 和Y 的边缘分布函数分别为,例1 已知下列分布律求其边缘分布律.,注意,联合分布,边缘分布,解,连续型随机变量的边缘分布,同理可得 Y 的边缘分布函数,Y 的边缘概率密度.,1.2 随机变量及其分布,(1) n维随机变量及其分布的定义 (2) n维离散型随机变量和连续性随机变量-联合分布列和联合分布密度 (3) 边缘分布 -边缘分布函数，边缘分布列，边缘分布密度 (4) 独
18、立性,n维随机变量及其概率分布,1.2 随机变量及其分布,随机变量的独立性 定义1.6 设Xt , tT 是一族随机变量，若对任意n2和t1, t2, tn T ，x1, x2, , xn R ，有则称Xt , tT是独立的。,1.2 随机变量及其分布,若Xt , tT是一族离散型随机变量，则 独立性等价于其中xi是Xti的任意可能值(I =1, 2, , n),例如，二维随机变量独立性等价于pij=pi.p.j 其中pij=p(X=xi,Y=yj), pi.=p(X=xi), p.j=p(Y=yj),1.2 随机变量及其分布,若Xt , tT是一族连续型随机变量，则 独立性等价于其中 是n维
19、随机变量 的联合概率密度,是随机变量 的概率密度(i=1,2, ,n),2.说明,(1) 若离散型随机变量 ( X,Y )的联合分布律为,例1：X和Y 是否相互独立？(X,Y)具有概率密度,连续型随机变量X,Y相互独立，其密度函数有如下特征：,X和Y的边缘概率密度分别为：,1.3 随机变量的数字特征,数学期望 定义1.7 设随机变量X的分布函数为F(x)，若则称为X的数学期望（均值）,1.3 随机变量的数字特征,对离散型随机变量X，分布律P(X=xk)=pk，k=1,2, 数学期望对连续型随机变量X，概率密度f(x)的 数学期望,1.3 随机变量的数字特征,方差 定义1.8 设X是随机变量，若
20、EX2，则称 DX=E(X-EX)2为X的方差协方差 定义1.9 设X,Y是随机变量，若EX2, EY2 ，则称BXY=E(X-EX)(Y-EY)为X,Y的协方差,BXY=EXY -EXEY,1.3 随机变量的数字特征,相关系数称 为X, Y的相关系数 若XY=0，则称X, Y不相关。 相关系数表示X, Y之间的线性相关程度的大小,1.3 随机变量的数字特征,随机变量的数学期望和方差的性质 (1)E(aX+bY)= aE(X) + bE(Y),(2) 若X,Y独立，则E(XY)=E(X)E(Y) (3)若X,Y独立，则D(aX+bY)= a2D(X) + b2D(Y) (4)(Schwarz不
21、等式) 若EX2, EY2 ，则( E XY)2 E(X2) E(Y2),随机变量的函数的期望,若n维随机变量X=(X1,X2,Xn)的联合分布函数为F(x1,x2,xn)，g(X)= g(X1,X2,Xn), g(x1,x2,xn)是n维连续函数，则,例如一维离散型,一维连续型,1.4 特征函数、母函数,常见随机变量的数学期望、方差、特征函数和母函数,1.4 特征函数、母函数,常见随机变量的数学期望、方差、特征函数和矩母函数,1.4 特征函数、母函数,特征函数 定义1.10 设随机变量X的分布函数为F(x)，称为X的特征函数。 分布律为P(X=xk)=pk，k=1,2,的离散型随机变量X，特
22、征函数为,1.4 特征函数、母函数,概率密度为f(x)的连续型随机变量X，特征函数为,1.4 特征函数、母函数,例 设X服从二项分布B(n, p)，求X的特征函数g(t) 。解 X的分布律为P(X=k)= ，q=1-p，k=0,1,2,n,1.4 特征函数、母函数,例 设XN(0,1)，求X的特征函数。 解,1.4 特征函数、母函数,常见随机变量的数学期望、方差、特征函数和母函数,1.4 特征函数、母函数,常见随机变量的数学期望、方差、特征函数和矩母函数,1.4 特征函数、母函数,随机变量的特征函数的性质(1)(2) g(t)在（-， ）上一致连续,1.4 特征函数、母函数,(3)若随机变量X
23、的n阶矩EXn存在，则g(k)(0)=ikEXk，kn当k=1时，EX = g(1)(0) /i；当k=2时，DX = - g(2)(0)- （ g(1)(0) /i）2。,1.4 特征函数、母函数,例 设X服从二项分布B(n, p)，求X的特征函数g(t)及EX、EX2、DX。解 X的分布律为P(X=k)= ，q=1-p，k=0,1,2,n,1.4 特征函数、母函数,(4)g(t)是非负定函数 (5)若X1, X2, , Xn是相互独立的随机变量，则X=X1+X2+Xn的特征函数g(t)= g1(t) g2(t) gn(t) (6)随机变量的分布函数由特征函数唯一确定,1.4 特征函数、母函
24、数,例 设随机变量X的特征函数为gX(t) ， Y=aX+b，其中a, b为任意实数，证明Y的特征函数gY(t)为证,1.4 特征函数、母函数,n维随机变量的特征函数 定义1.11 设X=(X1, X2, , Xn)是n维随机变量， t= (t1, t2, , tn) Rn，则称为X的特征函数。,1.4 特征函数、母函数,矩母函数 定义1.12 设随机变量X的分布函数为F(x)，称为X的矩母函数m(k)(0)=Exk ，m(it)=g(t) 母函数 设X是非负整数值随机变量，分布律PX=k=pk，k=0,1, 则称为X的母函数,1.4 特征函数、母函数,母函数的性质 (1)非负整数值随机变量的
25、分布律pk由其母函数P(s)唯一确定,1.4 特征函数、母函数,(1)证,(2)设P(s)是X的母函数， 若EX存在，则EX=P(1) 若DX存在，则DX= P(1) +P(1)- P(1)2,1.4 特征函数、母函数,(2)证,1.4 特征函数、母函数,(3)独立随机变量之和的母函数等于母函数之积 (4)若X1,X2,是相互独立同分布的非负整数值随机变量，N是与X1,X2,独立的非负整数值随机变量，则的母函数H(s)=G(P(s) , EY=ENEX1 其中G(s),P(s)分别是N,X1的母函数,例：某商店一天到达的顾客总数N服从均值的泊松分布，用X1,X2,XN表示各顾客购买商品的情况，
26、 Xi=1表示第i个顾客购买了商品， Xi=0表示第i个顾客没有购买商品， P(Xi=1)=p, P(Xi=0)=1-p=q, i=1,2,N。 X1,X2,XN相互独立且和N独立。用Y表示购买商品的顾客数，求Y的分布，及EY。,1.4 特征函数、母函数,1.4 特征函数、母函数,1.4 特征函数、母函数,设相互独立离散型非负整数随机变量X,Y的分布律 分别为PX=k=pk，PY=k=qk，k=0,1, ， 则Z=X+Y的分布律为PZ=k=ck,其中ck= p0 qk +p1qk-1 + + pk q0 设X,Y,Z的母函数分别为PX(s), PY(s), PZ(s)，即有,卷积的母函数：,1
27、.4 特征函数、母函数,1.5 n维正态分布,若n维随机变量X=(X1,X2,Xn)的联合概率密度函数为式中， 是常向量是对称矩阵 则称X为n维正态随机变量，XN(, ) 特征函数g(t)=,t=(t1,t2,tn),1.5 n维正态分布,二维正态分布X=(X1, X2)N(, )X1N(1 , 1), X2N(2 , 2), X1与X2相关系数为,1.5 n维正态分布,二维正态分布联合概率密度,1.5 n维正态分布,特别地，当=0时，,多维正态分布的性质,设XN(,),Y=XA+b，若A A正定，则，YN(A+b, A A),即正态分布随机变量的线性变换仍是正态随机变量。 特别的，对于一维正
28、态随机变量XN(,2), Y=aX+b,则YN(a+b, a22),1.4 特征函数、母函数,例 XN(,2),Y=aX+b,则 YN(a+b, a22)证：,1.6 条件期望,设X, Y是离散型随机变量，对一切使PY=y0的y，定义 Y=y时X的条件概率Y=y时X的条件分布Y=y时X的条件期望,例：,袋中有2个红球，3个白球，从中不放回的接连取出两个球。设X表示第一次取到的红球数，Y表示第二次取到的红球数。求E（Y|X=1）和E（Y|X=0）,1.6 条件期望,条件期望的性质： 若随机变量X,Y的期望存在，则如果Y是离散型随机变量，则如果Y是连续型随机变量，则,1.6 条件期望,证明：设X,
29、Y都是离散型随机变量,1.6 条件期望,若X,Y是连续型随机变量，其联合概率密度为f（x，y），则对一切使fY(y)0的y， 给定Y=y时，X的条件概率密度为给定Y=y时，X的条件分布为给定Y=y时，X的条件期望为,1.6 条件期望,应用条件期望求事件的概率 事件A的示性函数IA： R，是二值随机变量 PIA =1= P(A) ， PIA =0= 1-P(A) EIA =1 P(A) + 0 1-P(A)= P(A),1.6 条件期望,例 设X,Y为随机变量，证明公式证,1.6 条件期望,证,1.6 条件期望,E(X|Y=y)是y的函数，y是Y的一个可能值,在已知Y的条件下，考虑X的均值，需要以Y代替y， E(X|Y)是随机变量Y的函数，也是随机变量，称为X在Y下的条件期望,1.6 条件期望,P(A) = EIA=EE(IA |Y)= 若Y为离散型随机变量，则若Y为连续型随机变量，则,E(IA |Y=y)= 1 P(A|Y=y) + 0 1-P(A|Y=y)= P(A|Y=y),1.6 条件期望,例 设X与Y是相互独立的随机变量，其分布函数分别为FX(x)和FY(y)，记(X+Y)的分布函数为FX*FY，则,1.6 条件期望, X与Y是相互独立的随机变量，分别服从状态分布N（1，12）， N（2，22） 则X+YN（ 1 +2 ，12 +22 ）,其中,
