1、统计学 第五章 参数估计第 1 页目 录第五章 参数估计 _2第一节 统计推断的基本问题、概念和原理 _3一、简单随机抽样和抽样误差 _3二、统计量及其抽样分布 _6三、参数估计的主要内容 _8第二节 总体参数的点估计 _9一、矩估计 _9二、极大似然估计 _10三、点估计的评价标准 _11第三节 正态总体均值的区间估计 _12一、总体参数的区间估计的概念和基本思想 _12二、单正态总体均值的区间估计 _13三、两正态总体均值之差的区间估计 _17*四、单侧区间估计问题 _19第四节 一般总体均值和成数的大样本区间估计 _21一、非正态总体均值的大样本区间估计 _21二、总体成数(比例)的大样
2、本区间估计 _22*三、单侧区间估计 _24*第五节 正态总体方差的区间估计 _25一、单正态总体方差的区间估计 _25二、两正态总体方差之比的区间估计 _26第六节 样本容量的确定 _28一、总体均值估计的必要样本容量 _28二、总体成数估计的必要样本容量 _29三、影响必要样本容量的因素 _30英文摘要和关键词 _31习 题 _32统计学 第五章 参数估计第 2 页第五章 参数估计通过本章的学习，我们应该知道：1.统计推断的基本问题、概念与原理2.参数点估计的方法与评价3.正态总体均值、方差的区间估计4.一般总体的均值、成数的区间估计5.参数估计所需的样本容量的确定统计学 第五章 参数估计
3、第 3 页统计抽样推断是统计学研究的重要内容，它包括两大核心内容：参数估计（Parameter Estimation）和假设检验（Hypothesis Testing） 。两者都是根据样本资料，运用科学的统计理论和方法对总体的参数进行推断；参数估计对所要研究的总体参数，进行合乎数理逻辑的推断；假设检验对提出的关于总体或总体参数的某个陈述进行检验，判断真伪。2005 年中国消费者协会的主题是“健康维权” 。想象你是中国消费者协会的官员，负责治理缺斤少两的不法行为。假如你知道可口可乐公司，他们生产的一种瓶装雪碧，包装上标明其净含量是 500ml，在市场上随机抽取了 25 瓶，测得到其平均含量为 4
4、99.5ml，标准差为2.63ml。你拿着这些数据可能做两件事：一是你做一个估计：该种包装的雪碧平均含量在 498.03-500.97ml 之间，然后向消协写份报告；二是你做一个裁决：说“可口可乐公司有欺骗消费者的行为”的证据不足。前者是参数估计；后者是假设检验。学习参数估计和假设检验要注意：（1）明确要研究的问题，并给出正确的提法；（2）确定合适的统计量，统计量也可以认为是统计推断模型，不论是参数估计还是假设检验，都要通过统计量来进行，构造的统计量是否可行，直接关系到统计推断的效果，因此要仔细研究和比较统计量的性质；（3）统计参数估计和假设检验是根据样本资料对总体进行认识的，这就要求样本资料
5、必须要有代表性，否则不可能客观反映总体的情况；（4）参数统计与非参数统计方法的主要区别，在于前者在处理问题的时候总是从已确知的分布出发，所以在进行统计参数推断时，要能够掌握统计量的精确分布即统计量的抽样分布；（5）给出推断结果的合理解释。本章首先集中说明抽样推断中的常用术语，然后主要介绍参数估计的基本原理，点估计和区间估计的方法，以及必要样本容量的测算。第一节 统计推断的基本问题、概念和原理在统计学中，我们往往把所研究的问题或现象视为随机变量，有自己的概率分布。正是该随机变量及其概率分布全面描述了我们要研究的现象的统计规律性。因此，如果知道了要研究的随机变量的概率分布，我们就可以在其基础上进行
6、计算和推断从而比较清楚地了解了要研究的现象，但在现实中，往往情况并非如此。绝大多数情况下，要研究的随机现象（或变量）究竟服从什么分布可能完全不知道，或者由于现象的某些事实而知道其服从什么类型的分布，比如正态分布族、指数分布族等，但不知道分布中所含的参数。怎样才能知道一个随机现象的分布或其参数呢？这正是统计推断所要解决的基本问题。由于总体包含个体的大量性，研究者很难得到全部个体的信息和资料，即使有时可以得到但也不经济，所以统计推断通常是从所要研究的对象全体中抽取一部分进行观测或试验以获取信息，对总体作出推断。（如果总体容量不大且很容易就可以得到全部数据，则不需要做统计推断。 ）由于抽取部分个体观
7、测和试验是随机进行的，依据有限个体的数据对总体作出的推断不可能绝对准确，总是含有一定程度的不确定性，而不确定性用概率表示比较恰当，概率大，所做的推断就比较可靠，概率小推断的准确性就低。如何根据观测或试验所得到的有限信息对总体作出推断，并同时指出所作的这种推断有多大的可靠性（用概率表示） ，是统计推断的基本问题。一、简单随机抽样和抽样误差由于种种原因，现实中很多现象不可能进行全面调查，如对具有破坏性或消耗性的产品进行质量检验，象炮弹杀伤半径的检验、笔记本电脑使用寿命的检验、人体白血球的检验等，都是不可能进行全面调查的；再如对无限总体或总体容量过大的现象进行研究，也很难进行全面调查，象对海洋中鱼的
8、种群、大气或海洋的污染情况等。在这些情况下，人们只能从研究的总体中抽取部分个体进行观测或实验（或者是根据现有能够收集到的数据） ，根据这部分个体的数据对总体作统计推断。另外，某些现象即使理论上可以进行全面调查，但为了节省大量的人力、物力、财力和时间，在不影响精度和可靠度的前提下，采用抽样推断可以达到事半功倍的效果。在实际中我们所研究的往往是总体中个体的各种数值指标，如要研究我国家庭的消费支出情况，根统计学 第五章 参数估计第 4 页据第二章介绍的概念，我国全部家庭就是总体，但此时我们真正感兴趣的是家庭的消费支出 ，它是一X个随机变量，有自己的分布，假设 的分布函数是 。为方便起见，我们也常常把
9、这个数值指标 的X)(xF可能取值的全体看作总体， 就是总体 的分布函数。这样就把总体和随机变量联系起来了，这种联)(xF系可以推广到二维及以上的情形。假如我们从总体中按机会均等的原则随机地抽取了 个个体，然后对n这 个个体就我们关心的数值指标 进行观测，这一过程称为随机抽样。同样为方便起见，我们把这n个个体的该数值指标 称为一个样本，它是一个随机向量。在一次抽样以后，观测到,21n的一组确定的值或数据 称为该样本的观测值或样本数据，也称作该样本的一),(21nX ),(n21x个实现。样本所有可能观测值的全体就构成了样本空间。现在看来，前面各章尤其是第四章的描述性分析实际上只是对样本的观测值
10、进行的操作和分析。由于样本中每一个个体 都来自总体 ，所以样本中iX的任一个体 的分布函数和总体相同，即 的分布函数为 ；如果 相互独立，则样本i iX)(ixFn,21的联合分布函数为),(21n。niinxxF12121)(),(如无特别说明，一般用大写英文字母或希腊字母表示随机变量，而用小写英文字母表示随机变量的观测值或数据。要想由抽到的样本对总体作出比较可靠的推断，抽取的样本就应该能够很好的代表总体，这需要对抽样方法提出一些要求，避免在抽样时引入偏差，给本来就困难的推断带来新的困难。从总体中抽取样本有多种不同的方法，最简单的、应用很普遍的抽样方法是简单随机抽样，它满足以下两个条件：（1
11、）总体的每一个体都有同等机会被选入样本；（2）样本的分量 是相互独立的随机变量，即样本中nX,21任一个体的取值不影响其它个体的取值。满足这两个条件的抽样方法称为简单随机抽样，也称纯随机抽样，由此得到的样本称为简单随机样本。容易看出，简单随机样本 独立同分布（有时用n,2表示） 。.di从总体中抽样有多种方法和技术，除以上介绍的简单随机抽样外，分层抽样、系统抽样和整群抽样也是常用的抽样方法，不同的抽样方法得到不同的样本，进而所用的统计推断方法也不尽相同,以后如无特别说明，所提到的样本都是指简单随机样本。我们不知道整个总体的真实情况到底如何，但可以利用上面介绍的抽样方法从总体中抽取样本，根据样本
12、提供的信息和数据来推断总体的特征。然而样本毕竟只是总体的部分个体，即使其代表性较好，也不能完全包含总体的全部信息。无论抽样方法多么先进、抽样过程多么仔细，总体的信息在样本中总会有损失。因此，不管采用什么推断方法，由样本推断总体的真实情况时，必定会存在差异，这种总体未知参数（或数学特征）和相应的基于样本的统计量之间的差异称为抽样误差（sampling error） 。抽样误差是抽样推断方法所固有的，我们只能采用一些措施（如提高样本的代表性、增加样本容量等）减少抽样误差，但无法完全消除；只要利用抽样推断方法，抽样误差就一定存在，在参数的点估计、区间估计和假设检验等统计推断过程中都伴有抽样误差。如在
13、参数的点估计中，假设总体的未知参数是 ，其真实值为 ，我们用统计量 来估计它，即 ，不管如何抽样，不管采用哪个统计0),(1nXT ),(1nXT量，只要 不是整个总体， 就不可能等于未知参数 的真实值 ，nX,1 ),(1n0就是此时的抽样误差。更具体一点，如果我们感兴趣的是总体均值 （即未知参0)(T 数 ） ，用样本均值 来估计 ，则抽样误差为 ；类似的，当由样本成数 估计总体成数 时p抽样误差为 ，用修正的样本方差 估计总体方差 时抽样误差是 ，等pniinS122)(22nS等。每一次抽样得到一个具体的样本后，就可以计算出抽样误差的值。接下来以样本均值估计总体均值为例，看一下抽样误差
14、的存在。为了说明问题，所以假定我们已经知道了整个总体，实际问题中并不会如此，既然知道总体就没必要作统计推断了。【例 5.1】 某建筑公司共参与建设了 12 个销售中心项目，这 12 个项目的建筑面积（单位：平方米）数据列在表 5.1 中；某房产开发商欲聘用该建筑公司开发另一销售中心项目，要了解该公司过往建设过的项目的建筑面积以决定是否把新的工程承包给该建筑公司。考虑以样本均值（部分项目的平均面积）估计总体均值（全部项目的平均面积）时带来的抽样误差。统计学 第五章 参数估计第 5 页表 5.1 某建筑公司建设的 12 个项目的面积项目编号 建筑面积（） 项目编号 建筑面积（）1 114560 7
15、 1773002 202300 8 1553003 78600 9 2142004 156700 10 3038005 134600 11 1252006 88200 12 156900【解】 在本例中，这 12 个项目的建筑面积就是总体，因此总体均值即该建筑公司建设的所有项目的平均面积为 平方米。如果房产开发商从该建筑公司建设的 12 个1589721204项目中随机地抽取 5 个项目，去调查其设计和建筑质量且对其商户进行访谈了解情况。若抽到了项目5、4、1、8、9，则样本均值 ，抽样误差为 ，这 5 个样本的平均面积比总体x390x均值小 3900 平方米；若抽样抽到项目 9、6、5、12
16、、10，则样本均值 ，抽样误差174x，由这个 5 个样本计算得到的样本均值去估计总体均值，要比总体均值的真实值大 20568206x平方米。可见抽样误差的大小依赖于所抽到的样本；它可能为正，也可能为负；由不同的样本计算出的样本均值是不同的，即使样本容量相同也是如此。由样本均值去估计总体均值时，可能会低估也可能会高估。当样本容量 时，经计算最小、最大的抽样误差分别为-50740 和 51928，当 时，最小、最n 3n大的抽样误差分别为-65185 和 81128，说明样本容量较小的最小、最大抽样误差比容量较大的都要大。但值得注意的是样本容量较大的抽样误差未必都比容量较小的抽样误差小，如 抽到
17、项目 12、4、8 时，抽样误差是 ，比 抽到项目 5、4、1、8、9 时的抽样误差要大。后面将指-2671589-630n出：在平均意义上，较大的样本产生的抽样误差要小于较小样本带来的抽样误差。抽样误差是客观存在的，但要计算出抽样误差是一件困难的任务。事实上，我们并不知道总体的详细情况，所以也无法计算抽样误差。一般地， 是总体的未知参数，用统计量 来估计它， ),(1nXT即 ，无法计算抽样误差 ，比如不知道总体均值 ，用样本均值),(1nXT ),(1nXT 估计总体均值时，怎样计算抽样误差 呢？即使抽取了具体的样本，也无法计算出抽样误差。注意X到 是随机变量 的函数，因此 也是随机变量。
18、假设 ，那么n,1 (E就刻画了统计量 到其均值 的离散程度。理论研究中，22)()()EVar )在 的条件下，常用标准差 来计算抽样误差 。对于样本均值 ,利用数学期望和方(E(VarX差的性质我们很容易得到如下结论。设总体 的期望和方差都存在，且 ， ；从该总体中抽X)(XE2)(Var取样本 ，则样本均值 的期望和方差分别为n,1， ； （5.1）)(nr2)(样本方差的期望为 ，这里 。2SEiiXS12)(这一结果说明在上述条件下，样本均值的均值等于总体均值，样本均值的方差是总体方差的 分之一；n不管我们如何抽样，得到的样本均值总是在 的上下波动，用样本均值估计总体均值，抽样误差就
19、是统计学 第五章 参数估计第 6 页，这说明此时抽样误差受样本容量和总体变异程度因素的影响，在平均意义上，在其他条nXVar)(件不变的情况下，样本容量越大，抽样误差就越小。二、统计量及其抽样分布统计量是不依赖于任何未知参数的样本的可测函数 1，它是一个随机变量。在由样本信息推断总体信息的时候，往往是通过统计量把样本信息加工浓缩起来，进而解决要研究的问题。样本均值和样本方差 是常见的统计量， 和 等也是常用niX1 niXS122)(niX1niiXS122)()(的统计量，另外， 阶原点矩 和中心矩 是统计量，经验分布函数kikkikik也是统计量。要提醒大家的是，虽然统计量不含有任何未知参
20、数，但是其分布可能包含未知参数。)(xFn若 是样本 的一组观测值，则可以计算出以上统计量的观测值。如 和n,21 n,1 nix1分别为样本均值和样本方差的观测值。第四章讲的算术平均数、ii xs 222)(标准差、方差、原点矩、中心矩以及偏度、峰度等都是统计量的观测值公式。区分样本和样本观测值，统计量和统计量的观测值有时是由好处的，这样比较容易把经济统计和数理统计统一起来。一般而言，统计量是随机变量，它也有自己的分布密度和分布函数；统计量的分布称为抽样分布。由样本推断总体的特征时正是依据统计量的抽样分布。由于正态分布在统计学中的应用十分普遍，子样均值和子样方差在统计学中也起着非常重要的作用
21、，接下来我们给出总体为正态分布的样本均值和样本方差的抽样分布，它们是统计推断的理论依据和基础。因为统计量是样本的函数，所以抽样分布可以由样本的联合分布推导出来。（一） 一个正态总体时的抽样分布2设 是来自正态总体 的一个样本，则nX,1 ),(2N（1）样本均值 与样本方差 相互独立；niiXS12)(（2）随机变量 服从自由度为 的 分布 ；ni12)(n（3） 服从自由度为 的 分布 。 iXS2)(n2)12（5.3）3设 是来自正态总体 的一个样本，则 服从nX,1 ),(2NnSX/(自由度为 的 分布 ，这里 。 t)1(niiXS12)(（5.4）1 关于可测函数的定义超出了本书
22、的范围，这里用到它只是为了严谨，感兴趣的读者可以查阅一般的高等概率论或测度论的书籍。一般来讲，我们遇到的函数绝大多数是可测函数。1设 是来自正态总体 的一个样本，则其样本均值nX, ),(2NniX1服从正态分布 ，等价地有 。 （5.2）),(2nX1,0统计学 第五章 参数估计第 7 页（二）两个正态总体时的抽样分布1设 和 分别是从正态总体 和 抽取的两个nX,1 mY,1 ),(21N),(2样本，且相互独立，则样本均值之差 服从正态分布 。X12mn（5.5）2设 和 分别是从正态总体 和 抽取的两个样本，nX,1 mY,1 ),(21N),(2且相互独立，则随机变量 2/)(/)(
23、/( 21221 mnSSYX服从自由度 的 分布；特别地，当 时，有nt1（5.6）nSYp)(2服从自由度 的 分布 ，其中 ， 和 分2mnt)( 2)1()(2mnSYXp 2X别是这两个样本的样本方差。3设 和 分别是从正态总体 和 抽取的两个样本，nX,1 mY,1 ),(21N),(2则随机变量（5.7）2121YXXSF服从自由度 ， 的 分布 。1n),(n（三）总体不是正态分布时的样本均值的抽样分布设 是来自某总体 的一个样本，且 ， ；则nX,1 EX0)(2Var（5.8）)(/n的极限分布为标准正态分布 ，即当 时，其渐近分布为 。)1,0(N)1,(N这其实就是中心
24、极限定理，它说明不论总体服从什么分布，连续、离散，对称、不对称，只要 充分大n（一般要 ） ， 近似地服从 分布。图 5.1 给出了各种类型的总体，样本均值 的抽样分30nnX/, X布随样本容量 n 变化的情况，从图上可以看出，当 时，不论原来总体服从什么分布， 的分布都30n非常接近于正态分布。对于两个总体的情况，上述结论仍然成立，即 近似服从 分布。mnYX/)(21)1,0(第四章介绍的总体成数和样本成数实际上就是总体均值和样本均值的特例。事实上，假定总体 服从贝统计学 第五章 参数估计第 8 页努里分布，即若具有某特征，则 ，若不具有该特征，则 且 ，设 是从1X0X)1(PnX,1
25、该总体抽取的一个样本，易见 就是总体成数，而 就是样本中具有该特征的个体数占样本总数ni1的百分比，即 就是样本成数 ，所以 ，容易计算Xpp， ；)(E)()Var因此， 。XnX1由上面的中心极限定理可得 的渐近分布为标准正态分布 ；两个总体类似地可得np)1(),0(N近似服从 分布。上面给出的这些重要结论在后面的区间估计和参数假mnp)()1(212,0(N设检验中都要用到，大家应熟练掌握。图 5.1 样本均值 的抽样分布随 n 变化趋于正态分布的过程X三、参数估计的主要内容 由样本提供的信息对总体的分布和分布的特征进行统计推断是统计推断的基本问题。如果总体的分布类型已知，而其参数未知
26、，由样本统计量对总体的未知参数作出推断，这就是参数估计。参数估计主要包括参数的点估计和区间估计。假设总体包含未知参数 ， 是从该总体抽取的一个样本，依据nX,1合理的原理构造统计量 ，以此作为参数 的估计，那么这个统计量 就是),(1nXT ),(1nXT的一个估计量或点估计量，常常用 表示 的点估计；若 是样本 的一组观测值， nx,21 n,1带入估计量公式，计算出 就是 的一个点估计值，即用 这一具体数值近似,1nxt )(xt（代替）未知参数 的真实值，这也是点估计名称由来的原因。需要说明的是估计量是随机变量，估计值是具体数值，估计量常用于理论研究，估计值多用于实际应用和计算。估计值
27、虽然给人一个明确的数量概念，但还是不够的，因为它只是参数 的一种近似值，而点估计本身既没有反映这种近似的精确度，又没有体现误差范围以及在该误差范围内的可能性（即概率） 。解决点估计的这一问题的一种方法是区间估计。在点估计的基础上，根据样本统计量构造出一个随机区间，该随机区间包含未知参数的概率为某一事先指定的值（研究者可以指定） ，这样的区间称为参数的置信区间或区间估计，置信区间的一个或两个端点是随机的。当置信区间的端点由实际样本数据计算出来之后，它就成为一个固定的区间，和前面类似，这个具体的区间就是置信区间观测值或区间估计值。置信区间可以分为双侧置信区间和单侧统计学 第五章 参数估计第 9 页
28、置信区间。双边置信区间的两个端点都是随机的，而单边置信区间只有一个端点是随机的。对于未知参数的区间估计问题，我们这里仅仅考虑参数是一维的情况，而对于多维参数（即参数是向量）的置信域，比一维的情况要复杂，本章并未涉及，感兴趣的同学可以在多元统计方面的书籍中找到相关内容。第二节 总体参数的点估计假设总体随机变量 的概率函数 的函数表达式是已知的，但是该函数依赖于未知参数 ，只X);(xf 知道它可能的取值范围是某集合 ，称为 的参数空间。这样就有一族函数 ，参数估计的:);(xf任务是，怎样根据样本中已知的信息，在该分布族中选择一个分布作为总体的分布，即如何根据样本从集合 中选定一个具体的数值作为
29、总体概率密度的 的值，这样总体的分布就从不明确变成明确具体的了，就可以进行其他的统计推断和研究了。比如，已知总体随机变量 服从参数为 的指数分布，其概X率密度函数是 ，这里 。只有 的真实值知道了，总体的xexf0,);( 0:密度函数才能完全确定下来，这就需要根据样本信息估计出 的一个具体数值。设 是从该总体nX,1抽取的一个样本，根据某种原理构造统计量 作为参数 的估计，称统计量),(1nXT就是 的一个点估计量或简称估计量，常用 表示 的点估计；若 是样本),(1nXT nx,1的一组观测值，带入估计量公式，计算出 就是 的一个点估计值或简称点估计，, ,xt要注意区分估计量和估计值这两
30、个概念的不同。如果总体分布依赖的参数有 个，即参数向量k， ， ，则需要构造 个统计量 ， ，)(1k),;(;1kxffk),(11nXu分别作为 的点估计量。,nku n构造参数 的估计量是寻求其估计值的前提。在研究未知参数的估计值时，不是根据一组样本的具体观测值来确定一个估计值，因为对一组数据所决定的估计值是不可能知道这个估计的好坏的，必须从总体出发，在大量重复抽样下才能评价估计的好坏。自然的想法是研究参数 一个估计量与参数 的真值之间的偏差在统计意义下是大还是小，在统计意义下偏差小的估计量通常被认为是好的。点估计的优点在于它能够提供总体参数的具体估计值，可以作为行动决策的数量依据。例如
31、，推销部门对某种产品估计出全年销售额数值，并分出每月销售额，便可传递给生产部门作为制定生产计划的依据，而生产部门又可将每月产量计划传递给采购部门作为制定原材料采购计划的依据等。点估计也有不足之处，它不能提供误差情况如何、误差程度有多大的这类重要信息。在构造统计量时，利用不同的原理和思想就可以得到不同的统计量，常用的有矩（法）估计和极（或最）大似然估计。另外，在统计模型中最小二乘估计也很常见，我们将在第十章相关与回归分析中介绍。一、矩估计矩估计法是英国统计学家 K. Pearson 提出的。其基本思想是：总体分布所含的参数一般都是总体矩的函数，如二项分布 中的参数 是总体随机变量 的一阶原点矩（
32、即数学期望）的 分之一，),(pnBXXn即 （因为 ） ，正态分布 中的参数 和 分别是该分布的一阶原点矩和二阶中)(1Enp),(2N2心矩。由于样本来源于总体，样本矩在一定程度上反映了总体矩，又由大数定律知道样本矩依概率收敛到总体矩，因此就用样本矩来估计相应的总体矩，从而得到总体分布的参数的估计，这种估计方法称为矩估计。只要总体的 k 阶矩存在，就可以用矩估计来估计总体参数。矩估计法简单、直观，而且不必知道总体的分布类型，所以矩估计法得到了较多的应用，但目前它的应用不如极大似然估计广泛。矩估计法也有自身的局限性，如它要求总体的 k 阶原点矩存在，否则无法应用。它不考虑总体分布类型，这既有
33、有利的一面，也有不利的一面，如果研究者并不清楚所研究现象的分布，应用矩估计可以得到比较可靠的结果，但是如果总体的分布类型已知，由于它没有充分利用总体分布函数提供的信息，所以得到的结果并不比极大似然估计来的准确。设总体 的概率函数 已知，其中 是 s 个未知参数。 是取自总体X),;(1sxf ),(1s nX,1的一个样本，假设 的 k 阶矩 存在，且是 的函数 。样本的 i 阶矩为kEX ),(1h。令njii1， （5.9）sihis ,),(1 解这 s 个方程所组成的方程组就可以得到 的一组解 ，这就是s,1 siXni ,1),(1 统计学 第五章 参数估计第 10 页的矩估计。下面
34、通过一个简单的例子说明这一过程。s,1【例 5.2】 设总体 服从正态分布 ，求总体参数 和 的矩估计。X),(2N2【解】 先计算总体的一阶原点矩 和二阶中心矩 可得，E2EX，dxex)(1,22)(2根据矩估计原理有，niX122解得总体参数 和 的矩估计为2。nii122)(二、极大似然估计极大似然估计是求总体分布参数估计的另一常用方法，最早是有高斯（C. F. Gauss）提出，费歇（R. A. Fisher）在其 1912 的文章中重新提出，并证明了该方法的一些重要性质，给出了现在所用的这个名字。极大似然估计建立在极大似然原理的基础上，目前它的应用比矩估计要广泛的多。极大似然原理的
35、基本思想是：设总体分布的函数形式已知，但有未知参数 ， 可以取很多值，在一次抽样中，获得了样本 的一组观测值 ，说明该组观测值出现的概率最大， 的真实值应是 的全部可能取值nX,1 nx,1 中使样本观察值出现概率最大的那个值，以此作为 的估计，记作 ，称为 的极大似然估计，这种求估计的方法称为极大似然估计法。设 是来自具有概率函数 的总体 的一个样本，样本 的联合概率函n,1 ),;(fXnX,1数为 。在一次抽样中，样本 的一组观测值为 ，它niixfxf12);();( n,1 x,们是已知的数值，此时上述函数就只是关于未知参数 的函数了，称其为样本的似然函数，记作。似然函数实际上就是样
36、本的联合概率函数，只是我们把其中niifffL121 );();();()(的 看作是未知量，而把 看作是已知数而已。根据极大似然原理： 的极大似然估计应是 的x, 全部可能取值中使样本观察值出现概率最大的那个值，就是要寻找使得似然函数 达到最大的那个)(L值，即 。满足上式的 就是最可能使得 出现的 的值。),;(ma),;(11nnLx ),(1nxnx,1称为参数 的极大似然估计值，相应的统计量 称作它的极大似然估计量。下面离),1nx X散型总体的例子很好地阐明了极大似然估计的思想。【例 5.3】 某种产品的质量 服从贝努里分布 （即两点分布） ，这里 是产品质量的X),(pB0p合格
37、率。以 表示产品质量合格， 表示产品的质量不合格。现从总体中抽取了一个样本“X“0，试求产品质量合格率 的极大似然估计。n,1 p【解】 的概率函数是 ，则样本的似然函数为i 1,)1();()( ixxiiifxPii。iinni xnxxxipppfL)()()1(,1为了求使得 达到最大值的 的值，注意到对数函数 是 的单调递增函数，只需求使)(p lg得 的极大值点即得 的极大似然估计。所以，lnL统计学 第五章 参数估计第 11 页)1ln(ln)(lnpxpxLii 两边对 求导数，并令其等于 0 得p 0l dii解得 ，容易判断它使得 达到最大，所以 的极大似然估计值为 ，相应
38、的统计xni1 )(pLpxp量 就是 的极大似然估计量。Xpi p由于在数理统计中，这部分内容写得比较详细，例题也很多，是重点讲授的内容，所以我们在此不再多举例子。如果总体分布含有多个未知参数 ，则只需将上述过程中似然函数或对数似然函数s,1对 求导改为对 分别求偏导，并令其等于 0，得到 s 个方程，解这个方程组即可。s,1三、点估计的评价标准总体参数的估计量往往会有多个，我们总希望选择“较好”的估计量来对未知参数作出推断，如何判断一个估计量“好”还是“不好”呢？ “好”的标准是什么？一般来说有三个基本标准，可以从这三个方面进行考虑，满足这些标准的估计量通常被认为是“好”的估计量。1. 无
39、偏性设 是总体参数 的一个估计量，无偏性的直观意义是说用 作为 的估计没有系统性误差，只有随 机性误差，即估计 只是在 的两边随机的波动。在一次抽样中，无从知道 和 之间的偏差有多大，但 如果大量抽样，由这些样本计算得到的 值的平均值等于总体参数，即在平均意义上， 集中在 ，这是 估计量所应具有的一种良好性质，称为估计的无偏性。这一准则在任意样本容量的情况下评价估计量都适用。下面给出它的严格定义。设 是总体 的概率函数 的未知参数 的一个估计量，若对所有的),(1nX ),;(xf，都有 ，则称 是 的无偏估计，否则就称为是有偏估计。例如总E 1nX体均值 的矩估计是 ，由式（5.1）知 ，作
40、为均值的特例，总体成数 的估 )(E计是样本成数 ， ，所以样本平均数（成数）是总体平均数（成数）的无偏估计。一p)(般地， 阶样本原点矩 是总体 阶原点矩 的无偏估计。kk )(k学生：都是无偏估计哦。有没有有偏估计量的呢？教师：有呀，你们记得不记得第四章我们提到样本标准差的公式和总体标准差的公式是不一样的？其实如果我们将样本方差按着总体方差的公式算的话，那么它就是有偏估计量了，之所以要调整公式，就是将有偏估计量改变成无偏估计量的。根据矩估计理论知，样本中心二阶矩 是总体方差 的矩估计，但是它并不niiXS122)( )(2XVar是总体方差的无偏估计，这是因为由（5.1）知， ，所以1)(
41、niiE。由此可知，修正的样本方差 是总体方差的无2122)()( nXnESiiniinS122*)(偏估计。2. 一致性。当样本容量 n 充分大时，参数的估计量与总体参数的真实值的差的绝对值小于任意正数的概率趋于 1，即随着 n 的无限增大，参数的估计量与未知的总体参数很接近的可能性非常大。这种性质的准确表述为：若对任意的 ，都有 成立，则称 为 的一致估计，也称为相01)|(|limnPn合估计。对于同一个待估参数 可以构造许多估计量，但并不是每一个估计量都具有上述性质。根据大数定律可知：对于任意给定的正数 有 ;lilipXnn统计学 第五章 参数估计第 12 页上式表明，当样本容量比较大时，样本均值（样本成数）是总体均值（总体成数）的一致估计量。3. 有效性。同一个总
