高等数理统计预备知识.doc

1、预备知识1.事件域定义 设 为一基本事件空间， 为 的某些子集所组成的集合类。如果 满足：FF（1） ；F（2）若 ，则对立事件 ；AA（3）若 ，则可列并 .,=12n =1n则 是一个 代数（或称 域） ，称为事件域。 中的元素称为事件。F2.可测空间定义 在概率论中，二元组 称为概率可测空间，这里“可测”是指 是一个事,F件域，即 中的元素都是有概率可言的事件。F3. 有限维乘积可测空间定义 设 是 个可测空间，像通常一样，,1iin=,:,1iin称为 乘积空间，记为 。对 ， ，集合1,n =1ni iiA1n1A,:,niiA称为乘积空间 中的矩形集，记为 。特别地，当每个 时，1

2、=nin iiF1=nin称为可测矩形。 表示 中的可测矩形全体，即Ci，1A:,i=1,ni F则 是一个半域， （由 生成的 域，即包含 的最小 域）称为乘积 域，=FC记为 ，又称 为可测空间 的乘积可测空1=nin ,F1,nF间，记为 1=1,i niF4. 无限维乘积可测空间定义 设 是一族可测空间，则,J:,J称为 乘积空间，记为 。若 是 的有限子集，对,J=JJIJ，集合,AIFB=,J:,JiAI称为乘积空间 中的有限维基底可测矩形柱集， 称为 的底。 表示 中的有=IABC限维基底可测矩形柱集全体，则 是一个半域， （由 生成的 域，即包含CF的最小 域）称为 的乘积 域

3、，记为 。又称 为CJ不FJJF,的乘积可测空间，记为 。,J,=,J 在统计中，主要用到 的情形,此时,记为=12, 1=1iini ,1=1iin FF。1=11,ii nii F5.概率空间定义 设 为一基本事件空间， 为 的某些子集组成的一个 代数（ 域） ，称为事件域。如果定义在 上的一个实值集函数 满足：FPA（1）非负性，即若 ，则 ；A0（2）正则性，即 ；=1P（3）可列可加性（ 可加性） ，即若 ，且互不相容，则有,=12nAF+=11nn则称集函数 为可测空间 上的一个概率测度，简称为概率。对任一事件PA,，概率测度值 称为事件 的概率。称三元组 为概率空间（或称概FA,

4、PF率场） 。（在一般测度论中，若将（2）改成 ，则称 为测度， 称为测度空间；0P,若 是测度，且 ，则称 为有限测度；若 是测度，且存在 ， ，PPPnAF1使 ， ，则称 为 有限测度）1nA,1n下面举几个例子说明如何建立概率空间。例 1 抛掷一枚硬币，观察正反面出现的情况。 表示“出现正面”这一基本结果（事0件） ， 表示“ 出现反面”这一基本结果（事件） ，则基本事件空间 ，令 01=,， 则 是一个事件域。对给定的实数 （ ） ，在0=A1=,AFp0率称为泊松（Poisson）概率） ，于是我们建立了一个概率空间 （称为泊松,PF（Poisson）概率空间） 。例 4 设 ，

5、，在有限区间 上任取一点观测其坐标。属于 中的点,abR0P上满足非负性、正规性、 可加性的集函数，因而是概率（这个概率称为正态概率，RB或高斯（Gaussian）概率） ，于是我们建立了一个概率空间 （称为正态概率空间，,PRB或高斯（Gaussian）概率空间） 。在这个概率空间中，若 ，且 ，则ab0,=1,sp 1+=rp11, ,nssnsAP F则 是 上的概率（称为多项概率） 。 是一个概率空间（称为多项概率空间） 。F,P若 是基本事件，则 ，且 。1=,nssA 1=nsAp 1=1=nnrssp 在此例中，如果考虑的是一个 次独立重复试验，每次试验中可能出现 个结果nr，用

6、 在第 次试验中出现结果 ， ，则是此例1,r ks ks,;,rk 的一个特殊，可建立相同的概率空间。6.有限维（独立）乘积概率空间定义 设 是 n 个概率空间，则在乘积可测空间,1iiPF上存在唯一概率测度 ，满足11,nn F,1 11=,ni niiPAAA F称 为概率测度 的（独立）乘积概率测度，记为 。称1,n 1=nP为 的（独立）乘积概 111,=,nnnPP FF,1iiPnF率空间，或直积概率空间。7.无限维（独立）乘积概率空间可数无限维（独立）乘积概率空间：定义 设 是一列概率空间，则在乘积可测空间,12,ii上存在唯一概率测度 ，满足:对任意正整数 n，有=1,iiF

7、P1 111=,1,nnii niiiPAAA F称 为概率测度 的（独立）乘积概率测度，记为 ，,2i 121=Pii称 为概率空间 的（独立）乘积概率空=11,PiiiPFF,2,iiPF间，或直积概率空间。不可数无限维（独立）乘积概率空间：定义 设 是一个不可数的参数集， 是一族概率空间，则在乘积J,J可测空间 上存在唯一概率测度 ，满足:对 的任意有限子集,=,JJFFP，有I。,IJIIPAPAIF称这个概率测度 为概率测度族 的（独立）乘积概率测度，记为,J，称 为概=JJ,JJJJPPFF率空间 , 的（独立）乘积概率空间，或直积概率空间。,iiP12,8. 转移概率定义 设 和

8、 是两个概率可测空间， 是定义于 取值1,F2, 12,PA12F于 的函数，若满足 i)对每个 ， 是 上的概率测度；ii)对每个0, 11,2F， 是 上的可测函数，则称 是 到 的转移概率测2A2,P1, 1,2,度，简称为 上的转移概率，记作 。1F12P例 1 设 和 是两个概率可测空间， 是 上的概率测度，1,F2, Q2,F212,PAQAF则 是 上的转移概率12例 2 设 和 是两个概率可测空间， 为 到 的可测映1,F2, f1,2,F照，212112,APIfAF则 是 上的转移概率12定理 设 和 是两个概率可测空间， 是 上的概率测度，1,F2, 1P1,F是 上的转

9、移概率，则在乘积可测空间 上存在唯一概率测度 ，12P2 12,P满足1122112,APdA系 在上述定理条件下，在 上存在唯一概率测度 ，满足2,FP12212,9.随机变量定义 由概率可测空间 到可测空间 （或 ）的可测映照 称为,RB,RX（有限）实值随机变量（或广义实值随机变量）也记为 。若 是 个（有XF1,n限）实值随机变量（或广义实值随机变量） ，则 称为 维（有限）实值随1=,n机变量（或 维广义实值随机变量） ，或称为 维（有限）实值随机向量（或 维广义实值nn随机向量） 。 是由概率可测空间 到可测空间 （或1=,nX ,nRB）的可测映照。,nRB10.概率分布定义 设

10、 是一个概率空间， 是 到 （或 ）的随机,PFX,F,R,nR变量，由（相应地， ）-1=,XRBBnRB规定 （相应地， ）上的概率测度。则 称为 在 （相应地，,R,nRXP,R）上的（诱）导出概率测度，又称导出概率分布（律）或简称分布（律） 。,nRB注：由上述定义，我们从概率空间 通过 （诱）导出了一个新的概率空间,PFX（或 ） ，在统计研究中，主要是从这个概率空间出发，并且称,RXP,nXRP为样本空间。定义 设 是由概率空间 到 的 维实值随机变量。1=,n ,P,nRB其分布律为 ，对任意正整数 （ ） ，及任意任意正整数 ，令Xk-1n1kin，则 的分布律 称为 的 维边

11、际（缘）分布律。1,kiiY YYPXk11.分布函数对一维随机变量：定义 设 是一个概率空间， 是 到 的随机变量，则称,PF,F,RB=,xXxR为随机变量 的概率分布函数，简称分布函数。因为 ，所以 也称为-1(,=(-,XPxFx概率分布 的分布函数。XP对多维随机变量：定义 若 是概率可测空间 到 的 维随机变量，则1=,n ,F,nRB 1 1,=nnFxPXxx 称为 的 维分布函数，简称分布函数。简记 。1,nX ,nxF 因为 ，-1 1=(,(-,nXxxPxR这里 ，所以 也称为概率分布 的分布函1(-,y:-=niin FXP数。定义 设 是由概率空间 到 的 维实值随

12、机变量。 ，1=,nX ,P,nRB对任意正整数 （ ） ，及任意任意正整数 ，令 ，k-1ki 1=,kiiY则 的分布函数 称为 的 维边际（缘）分布函数。YYFk12.概率分布与分布函数的关系对一维随机变量：定理 1 若 是某随机变量 的概率分布函数，则FxX（i） 在 是不减的（即 ） ；R,=-0,abFabRa（ii） 在 是右连续的；x（iii ） ， 。-=lim0xF+lim=1x定理 2 若 是 上的有限函数，且满足：R（i） 在 是不减的（即 ） ；x,=-0,abFabRa（ii） 在 是右连续的；F（iii ） ， 。-=lim0x+lim=1x则必存在唯一的概率空间

13、 及其上的随机变量 ，使,PFXXxxR对多维随机变量：为了方便讨论，在下面使用了多元函数的差分运算符号。对于函数，及 ， 令1,nFx 1=,na 1=,nb， （1）, -+1-1+,-,kabknknxxFxax ， （2）-1 11,k kk kl llkxababbabF 其中 是 中 个不同的数；1l n（3）1,=nxxabab由（1）（3）知 经过 阶差分运算后，可以用 在某些点的值的代数和具体表Fl F出。且在（2）中将 的次序任意调换后所得结果是一样的。而且还有1,lk。1 11,c,c,+=k k kk k kl l lxxxxxxaabcbabab 定理 1 若 是某

14、维随机变量 的概率分布函数，则 具nF 1nX F有下列性质：（1） ，其中 ,且 （即 ） ；,0ab,nabRb,=,ka（2） 对每个边缘 都是右连续的；1nx kx（3）对于任意 ，1(1)lkn， 。11-+-+,=0llkkkkFxx ,+=1F定理 2 若 是 上的有限函数，且满足：n R（1） ，其中 ,且 （即 ） ；,0ab,nabb,kan（2） 对每个边缘 都是右连续的；1nFx kx（3）对于任意 ，1(1)lkn， 。11-+-+,=0llkkkkxx ,+=1F则必存在唯一的概率空间 及其上的 维随机向量 ，使PF,nX 1 11,nnnPXxxxR 定理 1 和

15、定理 2 说明概率分布 和分布函数 相互唯一确定的。因此概率分布XXF可用分布函数 表示。在理论上，一般我们不去研究 ，而是通过研究分布函数来XXFP掌握随机变量 的概率特征。再者，分布函数是一种特殊的点函数，而点函数在古典分析中已有大量的研究，它便于计算，因此分布函数在概率统计中有着重要的理论意义和实际意义。例 10(续例 1) 在例 1 中令01,=ifX则 是定义在 上的函数，可验证 是 上的实值随机变量，其分布函数为X,PF0,=1-,XxFp由此分布函数表示的分布律称为贝努里（Bernoulli）分布律，或称为(0-1) 分布律，记为。1,bp例 20(续例 2) 在例 2 中令 =

16、,knXZ则 是定义在 上的函数，可验证 是 上的实值随机变量，其分布函数为X,PF，-=1,nkkXkxFpxR由此分布函数表示的分布称为二项分布律，记为 。,Xbnp例 30 (续例 3) 在例 3 中令 +=,kXZ则 是定义在 上的函数，可验证 是 上的实值随机变量，其分布函数为X,PF，-=,!kXkxtFexR由此分布函数表示的分布称为泊松（Poisson）分布律，记为 。XPt例 40 (续例 4) 在例 4 中令=,Xxab则 是定义在 上的函数，可验证 是 上的实值随机变量，其分布函数abX,PF为，0,-=1,XxaFxbb由此分布函数表示的分布律称为均匀分布律，记为 。U

17、,Xab例 50 (续例 5) 在例 5 中令=,XxR则 是定义在 上的函数，可验证 是 上的实值随机变量，其分布函数为,PF，2-1=,taxXFedxR由此分布函数表示的分布律称为正态（或高斯（Gaussian） ）分布律，记为 。2N,Xa例 60 (续例 6) 在例 6 中令1=,=,1,nsss sXmr 其中 是 中 的个数。则 是定义在 上的sm1,n sk 1=,rX 维实向量值函数，可验证 是 上的 维实值随机变量。令r1,rX ,PF1 1=,:=+rsnrmZmn X其中 ，则0,nZ 111 1,=,rssnsmr rXrPp X其上式中每个加项都是 ，而由组合公式知

18、上式共有 项，故1rmp 1!rn11 11!=,=,rmr rrnPXp X因此分布函数为 111 1,=,=,1+, ,=!,msrsrXr rxmrmxrnFPXpxR 13计数测度定义 设 是 的可数（有限或无穷可列）子集， 是 中的一切子集组成的XnRBX代数，在 上定义集函数B中包含 中元素的个数，=X则可证明 是 上的测度（若 为有限集，则 是有限测度；若 为无穷列集，则X 是 有限测度） ，称为计数测度。注：概率统计中用的较多的是 。1,2=14 Lebesgue-Stieltjes 测度直线上 L-S 测度：设 ， 是 上的实值、有限、不减、右连续函数，令=-,+RFxR=1

19、(,:-+, (=1, 1nii iiababn 不C则 是 上的半域（不是域） ，在半域 上定义集函数 ：RC，,=1=1=1(,(,innniabiiiiF其中 。可证明 是 上的 有限测度，再由测度拓展定理知 ,)-abF可唯一地拓展到一维 Borel 域 上去，再通过完备化定理可得 上的唯一RBCRB一个 有限完备测度，记为 ，称 为由 产生的 Lebesgue-Stieltjes 测度，简称为 L-SF测度。特别，当 （或 是常数）时，由此产生的 有限完备测度=x+,xc称为 Lebesgue 测度，简称为 L 测度。F上的 L-S 测度：nR设 是 上的有限函数，对每个变元 都是右

20、连续的，且对任意的1,nx Rix， ， ，有=a 1b=,n ,1iabn, 1-+1 11-,+, ,0nabniii nijnnijnFFFa 令 11=(,:,=,=-=+nniiiiababaRbR 或 ， 或C其中当 时， ，则 是 上的半域，在半域 上定义集函数 ：+i+ii（ CC若 ， ， ，令,nR(,A,=abF若 是 中的无限区间，令=(,Aabn，1(-,:-,=1,NniIxNxn ，+=lim(Iab则可证明 是 上的 有限测度，再由测度拓展定理知， 可唯一地拓展到 维 Borel Cn域 上去，再通过完备化定理可得 上的唯一一个 有限完备测度，nRB,nRB记为

21、 ，使在 上有FC=,FAC这个测度 称为由 在 上产生的 Lebesgue-Stieltjes 测度，简称为 L-S 测度。特F,nRB别当 112,=nnxx 时，相应的 有限完备化测度 就称为 维 Lebesgue 测度，简称为 L 测度。F15. 离散型随即变量与连续性随即变量定义 设 是由概率空间 到 的 维实值随机变量，1=,nX ,PF,nRB且每一个 只取有限个或无穷可列个值，则称 为 n 维离散型随即变量。若 只取i XiX为值，则12,ix1 1, ,21,nnjjjiPXxxpjin 称为 的分布列。定义 设 是由概率空间 到 的 维实值随机变量，1=,n ,PF,nRB它的分布函数为 ，若存在 上的非负可测函数 ，使得Fx nRB1,npx11111, ,nxnnnnptdt 则称 是 n 维连续型随机变量，而 称为 的概率分布密度1=,X 1,npx X（简称分布密度，或概率密度） 。上式右端的积分为 （勒贝格）积分，当 的L1,npx（黎曼）积分存在时也是 积分。RR