ch6.数理统计的基本概念.doc

1、第六章 数理统计的基本概念Chapter Six Basic Concept of Mathematical Statistics内容提要本章主要讲述样本，总体，参数与参数空间；直方图与经验分布函数；统计量， 分布， 分布和 分布；分位数；正态总体的抽样分布等内容2tF重点分析1、理解总体、个体、样本和统计量的概念。2、了解直方图的作法。3、掌握样本均值、样本方差的计算。4、了解 分布、 分布和 分布的定义，并会查表计算。2tF5、了解分位数的概念，并会查表计算。6、了解正态总体的某些常用统计量的分布。难点分析1、 统计量、分位数的概念2、 分布、 分布和 分布的定义与性质。tF3、 正态总体

2、的抽样分布。6.1 样本和总体(Sample and Collectivity)一、 样本(Sample)数理统计的研究对象是受随机性影响的数据，这些通过观察或试验得到的数据称为样本或子样(Sample)，这些观察或试验过程称为 抽样(Sample)。例如用同一架天平称某重物n次，得到一组 个数据nnX,21 （6.1）就称它们是一个样本，其中 称为样本容量。每个容量为 的样本都可称为 维空间的一nnn个点，样本所有可能的取值构成了 维空间的一个子集，称为样本空间(Sample space)，记作 X注意“数据”一词在这里是广义的。它可以是实数值，例如 表示称得某重物iX的重量；也可以是事物的

3、属性，例如 =“正品”，（或“废品”）等等，通常为了方便iX研究，也常将这些属性数量化，例如用“”表示“废品”，“”表示“正品”，当然这不是本质的问题。有时数据也可以是一组向量，例如武器试验中给出一组弹着点的坐标 ),(),(),21nYY即为二维向量的一组样本，在多元统计分析中，将专门研究这种情形。对于样本需要强调两点：）样本并非一堆杂乱无章无规律可循的数据，它是受随机性影响的一组数据，因此，用概率论的话说，就是每个样本既可以视为一组数据，又可视为一组随机变量，这就是所谓样本的二重性。当通过一次具体的试验，得到一组观测值，这时样本表现为一组数据；但这组数据的出现并非是必然的，它只能以一定的概

4、率（或概率密度）出现，这就是说，当考察一个统计方法是否具有某种普遍意义下的效果时，又需要将其样本视为随机变量，而一次具体试验得到的数据，则可视为随机变量的一个实现值。今后为行文方便，我们常交替使用上述两种观点来看待样本，而不去每次声明此处样本是指随机变量还是其实现值，同时一律采用记号（6.1）来表示它。）样本（6.1）也不是任意一组随机变量，我们要求它是一组独立同分布的随机变量。同分布就是要求样本具有代表性，独立是要求样本中各数据的出现互不影响，就是说，抽取样本时应该是在相同条件下独立重复地进行。如Example 6.1 设一组抽奖券共 10000 张，其中有 5 张有奖。问连续抽取 3 张均

5、有奖的概率为多少？为了讨论这个问题，不妨设 次 未 抽 到 奖， 第 次 抽 到 奖第 iXi0,1要求该事件的概率，实际上即是求联合概率分布 )10(,321 或ixxP在 处的值。但题中没有说明“连续抽取”是“有放回的”还是“无放回的”1321x，我们不妨都计算一下：（）无放回时： 9834105,132XP（）有放回时： 3321 105, X显然（）中的抽样方式不是独立的，每次抽样的结果都将影响下一次抽样的分布，这种抽样不是我们通常研究的抽样。而（）中的抽样，则是多次独立的抽样，它们是同分布的，即我们通常称为的随机抽样(Random sample)。这样得到的数据，即是我们常研究的简单

6、随机样本(Simple random sample)，或就直接称为样本。由此可以看出，对于样本（6.1），如果每个 的共同分布为 ，则样本（6.1）的分布为iXF)()(21nXF （6.2）相应地，若 有共同概率密度 ，则（6.1）的概率密度为i f )()(21nfXf（6.3）二、 总体(Collectivity)总体(Collectivity)或母体在许多教科书上通常被定义为研究对象全体的集合。其含义是，我们观察到的样本总是由某个具体事物产生，并反映该事物的特征，这时，可以把样本视为一些被抽取的该事物的个体，而将该事物本身视为所有个体的集合即总体。但这样说多少有点模糊。如在例 6.1

7、中，我们自然可以将 10000 张抽奖券视为总体，但如果是用一架天平去重复称同一重物，得到重物的重量，在这种事中，什么是研究对象的全体呢？因此，我们宁愿采用另一种说法，即总体是一个随机变量，它的分布即为（6.1）中每个的共同分布，或者可以看作样本容量 时的样本 的分布 。用这个观点叙述一iX1niXF些问题就显得很方便，例如样本（6.1）就可视为由总体 独立“拷贝”出来的同分布的个随机变量。又如nExample 6.2 用两台车床车同一批产品，分别车 m及 n件，尺寸为 ，。，1X2及 这时，我们得到的样本是nXnY,.21 mX,21， nY,21 （6.4）它们显然通常不会是同分布的，但这

8、种样本在我们的研究中经常出现。为此我们用总体的观点，可以很方便地视它为出自两个总体 的样本。有了总体这个概念，我们就可以将,统计推断的基本任务概括为由样本推断总体。如在例 6.2 中，我们就可以从样本（6.4）中推断出总体 与 是否有显著差别。关于这一基本任务，我们今后可以慢慢体会到。由于XY推断总体实质上是推断总体的分布，即解决一个实际统计问题，往往归结为总体分布的确定，所以我们也常称总体的分布是该问题的统计模型(Statistics model)。三、 参数与参数空间(Parameter and parameter space)如前所述，数理统计问题的分布一般来说是未知的，需要通过样本来推

9、断。但如果对总体绝对地一无所知，那么，所能做出的推断的可信度一般也极为有限。在很多情况下，往往是知道总体所具有的分布形式，而不知道的仅仅是分布中的参数。这在实际中是大量能见到的，因为，分布的总体形式我们往往可以通过具体的应用背景或以往的经验加以确定。Example 6.3 考虑如何由样本 ，。， 的实际背景确定统计模型，即总体1X2n的分布：X() 样本记录随机抽取的 件产品的正品、废品情况。n() 样本表示同一批 个电子元件的寿命（小时）。() 样本表示同一批 件产品某一尺寸（mm）。通过分析或经验，我们容易知道：() 服从两点分布，其概率分布为 所需确定的是参数X 1,0)1(xpx.1,

10、0p() 通常服从指数分布，其密度函数 ,0()xefx中所需确定的是参数 0() 通常服从正态分布 ，其密度函数X),(2NRxexf ,12)(2中所需确定的是参数 ，其中 对于每个总体，我们称其分布中参数的一),(2,0,R切可能取值的集合为参数空间(Parameter space)，记为 ，如在例 6.3 中，()，() ，() 。,10今后对于统计推断，如果总体的分布为形式已知，仅对参数进行推断，我们就称之为参数推断(Parameter deduce)（估计，检验）；否则，称为非参数推断(Non-parameter deduce)6.2 直方图与经验分布函数(Vertical Gra

11、py and Empirical Distribution Function)一、 直方图(Vertical Grapy)设 是总体 的一个样本，又设总体具有概率密度 ，如何用样本来推nX,.21 f断 ？注意到现在的样本是一组实数，因此，一个直观的办法是将实轴划分为若干小区间，f记下诸观察值 落在每个小区间中的个数，根据大数定律中频率近似概率的原理，从这i些个数来推断总体在每一小区间上的密度。具体做法如下：1找出 ， 。取 略小于 ， 略大于 ；ini1)(miniX1)(ax)(ib)(nX2将 分成 个小区间， ，小区间长度可以不等，设分点为,babttam10在分小区间时，注意每个小区

12、间中都要有若干观察值，而且观察值不要落在分点上。3 记 落在小区间 中观察值的个数（频数），计算频率 ，列表jn,(1jt nfjj分别记下各小区间的频数、频率。4 在直角坐标系的横轴上，标出 各点，分别以 为底边，作高为mt,.10 ,(1jt的矩形， 即得直方图 6-1jjtf/ jttij ,.2,图 6-1实际上，我们就是用直方图对应的分段函数来近似总体的密度函数 这样做为什么合理？我们引进“唱票随机变量”，对每个)(xf小区间 ，定义,(1jt则 是独立同分布于两点分布：i 10,)1(或xpxPi其中 ，由柯尔莫哥洛夫强大数定律，我们有),(1jtXPp )(),(111 ndxf

13、tXPpEnfjjttjjiijj 以概率为成立，于是当 充分大时，就可用 来近似代替上式右边以njf为曲边的曲边梯形的面积，而且若 充分大， 较小时，我们就可),()1jtxfmjt用小矩形的高度 来近似取代 .jjtfx/( ),()1jtx二、 经验分布函数(Empirical distribution function)nitXjiji ,21,(,011若若mjtxtfjijn ,21,(,)(1对于总体 的分布函数 （未知），设有它的样本 ，我们同样可以从XFnX,.21样本出发，找到一个已知量来近似它，这就是经验分布函数 .它的构造方法是这样的，)(xFn设 诸观察值按从小到大可

14、排成n,.21（6.5）X.21定义 )()1()1(, 1,2,0)(nkknXxnF只在 ， 处有跃度为 的间断点，若有 个观察值相同，则)(xFn)(kX,.21/l在此观察值处的跃度为 对于固定的 ， 即表示事件 在 次试/x)(FnxXn验中出现的频率，即 落在 中 的个数 。用与直方图分析相同的方nxFn)(),(iX法可以论证 ， ，以概率为成立。经验分布函数的图形如图 6-2n图 6-2实际上， 还一致地收敛于 ，所谓格里文科定理指出了这一更深刻的结论，)(xFn )(xF即 其中 。10limnDP|supnRxn6.3 统计量及其分布(Statistic and Distr

15、ibution)一、 统计量(Statistic)在利用样本推断总体时，往往不能直接利用样本，而需要对它进行一定的加工，这样才能有效地利用其中的信息，否则,样本只是呈现为一堆“杂乱无章”的数据。Example 6.4 从某地区随机抽取 50 户农民,调查其年收入情况，得到下列数据（每户人均元）：924 800 916 704 870 1040 824 690 574 490972 988 1266 684 764 940 408 804 610 852602 754 788 962 704 712 854 888 768 848882 1192 820 878 614 846 746 828

16、792 872696 644 926 808 1010 728 742 850 864 738试对该地区农民收入的水平和贫富悬殊程度做个大致分析。显然,如果不进行加工，面对这大堆大小参差不齐的数据，你很难得出什么印象。但是只要对这些数据稍事加工，便能作出大致分析：如记各农户的年收入数为 ，则考虑5021,.X.89501ii2.54)(5012iiXS这样，我们可以从 得出该地区农民平均人均收人水平属中等，从 可以得出该地区XS农民贫富悬殊不大的结论。（当然还需要一些参照资料）由此可见对样本的加工是十分重要的。对样本加工，主要就是构造统计量。用数学的语言说，所谓统计量(Statistic)是一

17、个不含未知参数的样本的已知函数。设样本为 ，则统计量通常记为nX,.21),(TExample 6.5 设 为总体 的样本，则下列各量均是统计量，它们今后nX,.21要经常被用到。（） , 称为样本均值(Sample Average)。niiX1（ii） 称为样本方差(Sample Variance)。212,)(SnSii（iii） 称为样本标准差(Sample standard variance )。,2（iv） 称为样本 阶原点矩(Sample order origin moment)。kniikAX,1 k（v） 称为样本 阶中心矩(Sample order central momen

18、t)。kniikBB,)(1Example 6.6 设 为二维总体 的样本，则下列各量),(),.(,21nYXYX),(YX为统计量：() 称为样本协方差(Sample covariance)。12112 ),(SnSiii() 称为样本相关系数(Sample correlation coefficient)，其中,12YXS类似。niiXS,)(122Example 6.7 设 是出自总体 的样本，其中 为未知参nX,.21 ),(2N),(2数，则 是统计量，但诸如 等均不是统计量，因它含有未知参数 或1 112,)(ii。Example 6.8 将 中观察值按式（6.5）排列,则 为一

19、nX,.21 )()2(1(,.nX组统计量，它们称为一组顺序统计量(Order Statistic)， 称为第 个顺序统计量( No. )(kXOrder Statistic)，其中特别地称k为最小顺序统计量(Minimum order Statistic)；(1)mini为最大顺序统计量(Maximum order Statistic)；()axiinX为样本中位数 (Sample median)。1()2*)1)2,nM（ （ 为 奇 数为 偶 数为了研究统计量的分布，我们先研究三种重要概率分布。二、 分布( distribution)2Definition 6.1 设 为相互独立的随机

20、变量，它们都服从标准正态nX,.21分布，则称随机变量(0,1)NniiY12服从自由度为 的 分布( distribution)，记作 n22 2():下面的定理称为 分布的可加性定理Theorem 6.1 设 是 个相互独立的随机变量，12,kY, ，则2()jYn:1,kkjkjnY112)(Proof: 不妨设 ,其余情况易由归纳法推得。考虑一组独立同分布于 的随2k (0,1)N机变量 ,则 与 同分布， 与 同分布，而11212,nnXX 1Y2njjX2Y12njjX与 独立， 与 独立，故它们各自的和相应同分布，即 与1Y212jj1njj 12Y同分布，而后者服从 证毕。12

21、121nnnjjjjXX21()n分布有下列基本性质。2Theorem 6.2 设 ,则2()n:（） ， .()EXD（） 的密度函数为 0,)(21)(21xexpxnn(6.6)其中 称为伽马函数，定义为 。()10(),0xedProof: （）设 为独立同分布于 的随机变量，则 与nX,.21 (,1)NX同分布，且21njjXniniiinii XDEXE11212 )()()()又由 独立并注意到 的四阶矩为，可得iX(0,N nini ni iiiD111242 2)3()()()（）证明略。图 6-3 描绘了 分布密度函数在 时的图形。可以看出，随着 的增2()n,0nn大，

22、 的图形趋于“平缓”，其图形下面积的重心亦逐步往右下移动。()px另外，费歇（R.A.Fisher）曾证明，当 较大时， 近似服从 .n2()n(21,)Nn图 6-3三、 分布和 分布( distribution and distribution)tFtFDefinition 6.2 设 ， ， 与 独立，则称随机变量(0,1)XN:2(Yn:XYT服从自由度为 的 分布( distribution)，又称学生氏 分布,记成 nt ()Studen()Ttn:利用独立随机变量商的密度公式，不难由已知的 ， 的密度公式得到01N2(的密度：()t xnxnxp,)1(2)(21显然它是 的偶函

23、数，图 6-4 描绘了 时 的概率密度曲线，作为比较,还描,5()t绘了 的密度曲线。(0,1)N图 6-4利用伽马函数的斯特林 公式可以证明()Stirlngnexpx,212从图形我们也可看出,随着 的增大, 的密度曲线与 的密度曲线越来越接近，n()t(0,1)N一般若 ,就可认为它基本与 相差无几了。30n0,1NDefinition 6.3 设 与 独立，则称随机变量22()(),XYn:XY21F服从自由度为 的 分布( distribution)，记成 12(,)nF12(,)Fn:类似可得， 的密度函数为 0, 0,)()2()( 2112112xxnnxpn图 6-5 描绘了

24、几种 分布的密度曲线。F由 分布的定义容易看出，若 ，则 12(,)Fn:21(,)F:图 6-5四、 分位数设 为一随机变量， 为其分布函数，我们知道对于给定的实数 ，XFx给出了事件 的概率。在统计中，我们常常需要考虑上述问题()FxPxXx的逆问题：就是若已给定分布函数 的值，亦即已给定事件 的概率，要确定()X取什么值。易知,对通常连续型随机变量，实际上就是求 的反函数，准确地说,有如下F定义：Definition 6.4 设 的分布函数为 ， 满足XFx10,)( xXPxF则称 为 的 分位数（点）。xF若 有密度 ，则分位数 表示 以左的一块阴影面积（如图 6-6）为 X()px

25、x 图 6-6几种常用分布 的分位点都在书后附表中可以查到。其中212(0,1)(,)(,)NntFn是分布函数表 反过来查，而其它几个分布,则是分别对给出的几个 的常用(0,1)Nx值，如 =0,0.25,0.05,0.1,0.9,0.95,0.975 等等，列出相应分布对应 值的分位点。图6-7 给出了四种常用分布的分位点表示方法，其中 的 分位点通常记成 .(0,1)Nu图 6-7这里要注意到如下几个有用的事实。） 若 ，要求 的分位数 可化成求 的分位数：2(,)XN:Xx(0,1)NP此时 ，故 ，即 (0,1):xuxu） 对于 ，由密度函数的对称性可知Ttn 1)(1)()( n

26、tTPtPP即 .1ttc) 对于 ， 12(,)Fn:21(,)Fn:1),(,),( 1212 nFPP即 1221(,)(,)Fnn） 对于较大的 ，由 , 的渐近性质，可得t2()12)(2nut或 (6.7)21()n利用这些事实可以扩展分位数表。Example 6.9 求下列分位数：(i) ，其中 为 的 分位点；0.9u(0,1)N(ii) ；.25(4)t(iii) ；0.1,F(iv) .2.5()Solution ()从 表中，查不到 ，取表中接近的数应在 0.8997 与()x0.90.9015 之间，从表头查出相应的 为 1.28 与 1.29，故取 u0.91285u

27、（） 分布表没有 但利用对称性，可查出 ,故t0.25.7(4).t0.25(4).7t（）从 分布表中，查不到 ，可查出 ,故F0.1(4,)F0.9(1,)2.0F76.10.2),4(1.0（）表上查不到 ，需利用式（6.7）查出 ,2.05()0.25.96u31)96.1(2. 五、 正态总体的抽样分布(Sample distribution of normal collectivity)在概率统计问题中，正态分布占据着十分重要的位置，这是基于一则在应用中，许多量的概率分布或者是正态分布，或者接近于正态分布；再则，正态分布有许多优良性质，便于进行较深入的理论研究。因此，我们着重来讨论

28、一下正态总体下的抽样分布，其中最重要的统计量自然是样本均值 和样本方差 X2STheorem 6.3 设总体 ， 为总体的样本，则(,)N:nX,.21(i) 样本均值 ，2,n(ii) ，其中 为样本方差，2(1)nS:2S(iii) 与 相互独立。X2Proof: （） 令 ， ，则 为一组独立同分布的标iiY1,2in 12,.nY准正态变量，由多元正态分布的定义知， ，因此(.)(0,)NI :1,11 nnInXniii ),(,)1( 2NIn中中(ii)、(iii) 证明略。利用这一基本的抽样分布定理，可以得出一些常用统计量的分布，下面的结果以后经常要用到。Example 6.1

29、0 设 为出自 的子样，则nX,.21 2(,)N:1ntST这是因为由定理 6.3， ，则 ，又 及 与2(,)XNn:(0,):2(1)Sn:X独立知2S)1(1ntTnSXExample 6.11 设 , 分别为出自 和 的样12,.mX12.,nY21(,)N2(,)本，且它们相互独立，则(i) 2()(,)XYnSFm:(ii) 122()(2)XYtmnSn:其中 分别为相应样本的样本均值和样本方差。事实上，对于（）2,XYS )1(),1(22nmYX又已知出自两个总体的样本是独立的，因而 )1,()1(22 nmFnSnSYXYX对于（），由于 , ,又 与 独立，故21(,)

30、Nm:2(,)N:Y,21nYX又 ， 与 独立，由 的可加性（定理 6.1）知22(1),()XYmSnS:2XSY2,再类似地利用定理 6.3 及两总体样本的独立性知, 与22()XY XY独立，因而2XYSn )2()()(2()2(1)()( 2122 nmtnSYXnmnmS YYX 第六章小结 (Summary of Chapter Six)本章中介绍了数理统计的基本概念。总体、个体、简单随机样本和统计量是数理统计中最基本的概念，务必正确理解。样本均值、样本方差、样本矩、顺序统计量和经验分布函数是数理统计中常用的统计量，要掌握它们的计算方法，并会求样本均值、样本方差、样本矩的数学期望。了解直方图的作法。分布、 分布、 分布是数理统计中常用的几种分布，要知道这几种分布的定义2tF及性质，知道分布的的分位数的概念并会查表计算，知道正态总体样本均值、样本方差和一些常用统计量的分布。