1、第 7 章 参数估计假设随机变量 服从正态分布 ，在实践中，通常数学期望，方差都是未知X),(2uN的，需要进行估计，常用的估计法有点估计，区间估计等等，首先我们来讨论点估计。7.1 点估计假设某一总体 的分布函数为 ，其中参数 未知，需要进行估计，又假设),(xF为从总体中抽出的一个样本，由这个样本构造一个函数nX,21，并以此作为参数 的估计值，我们就称 为 的点估计。),(21n 常用的点估计有矩估计，极大似然估计等等，下面我们分别进行讨论。 1 矩估计法若总体 的密度函数为 ，其中 为未知参数，如果总体X),(21mxf m,21的 阶矩（ ） 存在，设km)kE，kadf kk ,)
2、,(,)( 2121 又假设 为从总体中抽出的一个样本， 为这个样本的 阶n,21 nikikXA1k样本矩，令 )(),(,21kmmXEaA 若上述关于 的方程组有解 ，则称这个解是,21 ,的矩估计量或矩估计。),(21m按矩估计的定义，无论总体是什么分布，只要真实矩存在， 阶样本原点矩 均是它们kkA相应真实原点矩 的矩估计量。ka例 6.2 设 为从某个总体 中随机取出的一个样本，且 存在， nX,21 X2,u试求 的矩估计量。2,u解 niiiiXA1221而， ，uXE)(2)(uXD所以67，niiuX122解得 ， 。ii niiXa122niiSX12)(例 6.3 设
3、为 上的均匀分布， 为样本，求 的矩估计。21,n,2 1,解 )()(2112121 xda1 122dx令 )(121SX解上述关于 的方程得21,。SX321例 6.4 在贝努利试验中，设事件 在每一次试验中发生的概率为 ，求参数 的矩估Ap计。解 设 ，而 为 的一个样本， 不 发 生若 发 生若 pPX,0)(,1nX,21为事件 发生的频率，由矩估计定义， ，故有nAnii11 pAPE)(Xp使用矩估计法的一个前提是总体存在适当阶的矩，阶数应不小于待估参数的个数（或者说参数空间的维数），但这不总是可以做到的。矩估计法简便易行，且只要 充分大，估计的精确度也很高，但它只用到总体的数
4、字n特征的形式，而未用到总体的具体分布形式，损失了一部分很有用的信息，因此,在很多场合下显得粗糙和过于一般。3极大似然估计（ ）MLE参数的点估计方法中另一个常用方法就是极大似然估计，简记为 。我们通过一个MLE具体例子来说明这一估计的思想。我们来看一个的例子。例 2 已知有一批产品，试估计这批产品的不合格品率 。这里 。p10解 设 ，于是 服从概率分布 ， 其 他产 品 合 格,01XX其 它,0,)();(XpXfX我们从产品中随机抽取出一个容量为 的样本 ，于是 的概率为nn,1 n168。nnXXXn ppP111 )()(),(1 nini Xp11)(这概率可以看作是未知参数 的
5、函数，用 表示，称作未知参数 的似然函数，L也即 。)(pLnii 11)(在一次抽样中， 值使获得这一组特殊观测值 的概率应该最大，也即似然函n,1数 应该达到最大值。所以我们以使 达到极大的 值作为参数 的一个估计值是合)(ppp理的。对 两边取对数，得)(p，)1ln(lnln11XpXLiiii 由于对数函数 是 的单调函数，所以 与 在同一个 值上达到极大。xpL)(p由 对 求导数，并使其等于零，得)(p，01ln1pndLiiii解方程得解为 。nXXpnii11),(不难验证， 使 达到极大，因此称 为参数 的极大似然估计值，其相应的统)lnLp计量 称做参数 的极大似然估计量
6、。niip1极大似然估计的出发点是基于这样一个统计原理：在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本 ，则必然认为发生该事件的概率最大。nX,21通过上述讨论，下面我们给出极大似然估计的概念。极大似然估计定义：设 为取自具有概率函数 的母体的一X, :),(xp个样本，样本 的联合概率函数 是 的函数。n,21 ,(),21p,nX我们用 表示，即),()L),(X ,(21p,nX我们称这个函数为样本 的似然函数。称 为对数似n,2 ),(l21nL然函数。如果是离散型母体， 给出观测到（ ）的概率。所以我们只)(1X n,要寻找这样的观测值（ ）的函数 ，使n,1 ),(
7、1),(),( 11 nnLMAXL 成立。我们称 为参数 的极大似然估计值，其相应的统计量 称,( ),(1nX作参数 的极大似然估计量。如果 是连续型变量， 表示密度函数。我们只需求出使得x),(xf69达到极大的 ，便可得到极大似然估计。niiXfXL11),(),( ),(1nX由于 是 的单调增函数，使 成立的xl ),(l,ln1nXLMAL 也使 成立。 )(),( 11 nnMA 若 关于 的偏导数都存在，于是 的极大似然估计kf k,1 k,1必须满足似然方程组k,1kiXLink ,0),;,(11 ik ,1,ln 这两个方程组是两个同解方程组。通常情况下，解对数似然方程
8、组更容易。例 1 设 是 的样本，求 与 的 nX,21 ),(2N2MLE解 由已知， ，因此事件 发生的概率为i nX,1 212221 )(exp)(),( )(,( iinXLPPnn，2122)(lnl),(ln niiX由 分别对 求偏导，得似然方程组),(l2XLu niiiiXXL124222 0)(),(ln解似然方程组，即得。niiniiSX1221)(由此可见，对于正态分布总体来说， ， 的矩估计与是相同的。2例 2 求均匀分布 中参数 的 ,21U,MLE解 设 为从总体中随机取出的一个样本，则样本的似然函数为nX,2170其 他 若,0,1),( 2)()1(2212
9、 nnn XXL本例似然函数不连续，不能用似然方程求解的方法，只有回到极大似然估计的原始定义。注到最大值只能发生在 ；而欲 最大，只有使2)(1n）（ ),;(21L最小，即使 尽可能小， 尽可能大，但在式（ 6.4）的约束下，122，因此只能取 = ， = nnX)1()(12 1)(X2)(n和矩估计的情形一样，有时虽能给出似然方程，也可以证明它有解，但得不到解的解析表达式。6.2 估计量的评价准则对于同一参数，用不同方法来估计，结果是不一样的。那么究竟孰优孰劣就需要进行判断，判断不同估计量优劣的方法主要有下述 3 个指标：1相合性设 = 是 的一个估计量，若对任意给定的 及 ，都有),(
10、21nX 0，就称 是 的相合估计。limP相合性是对一个估计量最基本的要求，如果一个估计量连相合性都不满足，这个估计量便没有什么意义。可以证明，矩估计，极大似然估计都是相合估计。2无偏性 定义 ： 设 = 是 的一个估计量，若对任意的 ，都有),(21nX ，则称 是 的无偏估计量，如果 ，则称 是)(E 0),(lim21nXE 的渐近无偏估计量。无偏性反映了估计量的取值在真值 周围摆动，显然，我们希望一个量具有无偏性。例 1 假设总体 阶矩 存在，而 是从总体体中随机取出的一kkuE)( n,21个样本，样本 阶矩为 ，证明：样本 阶矩 是总体 阶矩 矩 的无niiXA1kkA)(kXE
11、偏估计。证明：因为 是从总体体中随机取出的一个样本，所以 独nX,21 n,21立同分布，从而 ，因此iuEki ,)(，所以由无偏估计的定义，样本 阶矩 是)(1niikA)(1ikiXEukkA总体 阶矩 矩 的无偏估计。)(k如果 ，则 为样本平均数， 为数学期望，因此样本平均数是数学期望的)(k无偏估计。例 2.假设求 是从某一总体中随机取出的一个样本，且nX,2171， ， 为样本方差。niuXEi ,21,)(2)(iXDniiXS12)(求证： 不是总体方差 的无偏估计。2S证明：因为 nniinii 22121)()() 故 niiXE12( )(2iiXE)()(2)1 2
12、ni ii )(ii，221 11) nnXDnii 所以 不是总体方差 的无偏估计。2S)(但 ，因此 是渐近无偏估计。2limn 2S在 的基础上，我们适当加以修正可以得到一个 的无偏估计，这个估计量也和样2 2本方差一样是经常被采用的：。niiXn122* )(1例3假设总体X服从指数分布，其密度函数为，其中参数 未知，又设 是从总体中随机取0,1);(xexfx 0n,21出的一个样本，试证明： 和 都是 的无偏估计。X,min21NXZ证明：因为 ，而 得密度函数为)1()niiE,i，所以 ，从而 。0,);(xenxfx nZ)()(ZE上述例子表明，一个参数的无偏估计可以有很多
13、个。3有效性 前面已经说过，无偏估计量只说明估计量的取值在真值周围摆动，但这个“周围”究竟有多大？我们自然希望摆动范围越小越好，即估计量的取值的集中程度要尽可能的高，这在统计上就引出最小方差无偏估计的概念。定义 假设 = 与 = 是未知参数 的两个无偏1),(2nX 2),(21nX 估计，如果对于任意的 ，总有 ，并且至少对于某一个 不等式)(1D成立，就称 比 有效。12727.3 区间估计1定义对于一个未知参数，除了希望给出其估计值以外，同时也希望能够给出估计值的误差区间，误差区间也叫做置信区间，求置信区间的过程也就叫做未知参数的区间估计。下面给出区间估计的的定义。定义：对于参数 ，如果
14、有两个统计量, ，满足对给定的 ，有),(211nX ),(212nX)1,0(P则称区间 ， 是 的一个区间估计或置信区间， ， 分别称作置信下限、置信12 12上限， 称为置信水平。2单个正态总体均值与方差的区间估计求区间估计的一般步骤如下：10 先求出 的一个点估计 ，它满足两点：一是它较前面提出的标准应该是一个“好的”估计量，二是它的分布形式应该已知，只依赖未知参数 20 所求的区间考虑为 的一个邻域 , ,使得对于,ba01=1- (6.22)P对于一般分布的总体,其抽样分布的计算通常有些困难，因此，我们将主要研究正态总体参数的区间估计问题。下面我们来看几个例子。例 1 一车床加工圆
15、柱形工件，其产品直径据经验服从正态分布，现从中随机抽取 100 个样本，测得数据如下表：直径（cm）27 28 29 30 31 32 33频 数 5 8 12 50 15 7 3若总体方差 =25，试计算总体均值 及其 95%的置信区间。2u解： 29127(10_ X）335。9.由定理知， ，从而 Z= 。),(2_nuN)1,0(/_NnuX给定置信水平 =0.05，查正态分布表，得 ，则96.2P ，其意义如图 221 所示。96.1Z73图 221图 221 表明， 当置信水平 给定以后， 的概率为 1 ，若 取为 0.05，2uZ则 1 =0.95， 。从而在 0.95 的概率意
16、义下，有96.2u成立。解不等式 ,得2_/nXZ2_/unX，将 、 、 , 代入上式，2_2_ uu 95._6.10n5得 。85.30.6就是说， 的真值落在区间（26.05，33.85）内的概率为 0.95，所以 的 95%的置信区间u为（26.05，33.85） 。我们把区间 )叫做总体平均数 的置信区间， 叫作置2_2_(unXun 1信概率, 叫作置信水平。 叫做分位值。在例 1 中,总体方差 是已知的,然而在实践中，通常总体方差常是未知的，在这种情况2下，只要样本足够大，可用样本方差代替总体方差。例 2 已知在一次数学测验中， 学生的考试成绩服从正态分布 ，现从中随机抽),(
17、2uN取了 400 个样本，计算出样本均值为 67.2 分,样本标准差为 10 分，试在 95%的概率下，求总体均值的置信区间。解：由题意， ，令 ，则96.1,40,1,2.672_ unSX 1nSXT，给定置信水平 ，则 。)1(ntT5.95.0)40(tnSXP从而在 95%的概率以以下， 。2_2_ 11tut由于 很大，因此 得 ，n96.2ut_1SX96.40.7_ nSX 96.150.7，8.0774，2_1tnSX98.0267_unSX1.6总体均值 95%的置信区间为（ 66.225，68.175） 。令 = = ，则 为置信区间长度。 越小，表明L2_u)(2_2
18、LL估计值越精确， 越大，则表明估计值越差。例 3 已知在一次数学测验中，考生的成绩服从正态分布，总体标准差 ，要使总10体平均数的估计误差不超过 1 分，问至少需要多大的样本？解：取置信水平 则 。要使总体平均数的估计误差不超过 1 分，至,05.96.2u少应有 1,即 。 。2un )(n 6.384.19).0(2n在实践中，除了需要求出平均数的置信期间以外，有时也需要求出方差的置信区间，下面我们举例进行讨论。例 4有一大批糖果，现从中随机取出 16 袋，称得重量如下：506 508 499 503 504 510 497 512 514 505 493 496 506 502 509
19、 496试求总体平均数 的置信区间。u解 经计算， ，给定置信水平 ，查 分布表得20.6,75.03_SX05.t，因此 ， ，所以平均数135.)(025.t 41tn 172_tnSX的 95%的置信区间为（500.4,507.1 ） 。u例 5已知在一次数学测验中，考生的成绩分布服从正态分布 ，其中总体均值和总),(uN体方差均未知，现从中随机抽取了 61 个样本，算得样本方差 ，试在 95%的概率意02S义下，求总体方差的置信区间。解：由定理 22， 。又由题意， ， 。)1(2nS61n2给定置信水平 ，查 分布表，得 ， ，05.5.4)0(23.8)(2，解不等式 ，得1)(2
20、21nSP 221nS。 ， ， 21205.95.075 ， 。5.401263.812674.180.872所以 的 95%的置信区间为 。),(将上式两边开方，得 ， 95%的置信区间为（ ） 。4.3.9 4.13,79区间 即为总体方差估计值的置信区间。)1(,)(22nSn例 6求例 4 的标准差的置信区间。解：由例 4 知， ，给定置信水平 ，查 分布表得20.6,75.03_SX05.2， ， ，)1(,8.27)15(9.202. 8.4)1(2nS60.9)1(2nS所以标准差 的一个 95%的置信区间为（ 4.58，9.60） 。3 双正态总体参数的区间估计1）两个总体均
21、值差 的置信区间21u设 , 分别为出自 和 的样本，且它们相,2nX 2,nY ),(21uN),(2互独立， 假设 已知，则 , ,故21/,(21Y/n，从而 ，),(21uNY )10(21NnXZ给定 ，查正态分布表，得 ，于是 ，解不等式05.96.2u2uZP得2uZ。),( 212122 nuYXnYX 上述区间就是置信水平为 95%的两个总体均值差 的置信区间。1u例 1 已知在一次数学测验中，甲、乙两班的考试成绩服从正态分布，有关数据如下表：试估计两个班级的平均成绩差 的置信区间。21u解： 1 计算统计量 ： ，Z5.476.80_YX，21n5213. 班 级 学 生
22、平 均 成 绩 标准差（S） 甲 (X) 100 805 12 乙 (Y) 150 76 1176，87.263.154212 nuYX 212所以 的置信区间（2.87，6.13） 。1u2）若若 未知，因为 ，2,)1,0()()(21NnuYXZ，从而由 定义，得到)(),1(222nSnmSYXt。令)2()()()2( 122121121 ntSnuYXnnS YYX，则 。21M )()()( 21221tSuMYX给定置信水平 ，查分布表得 ，从而 ，于是得到2nt 2P的置信区间为21u 2112121 )(,)( 22 SnMntYSntYX例 2 已知全班 19 名学生参加
23、了一项测验,将测验结果按男女生分组,所得数据如下表：学 生 平均分 标 准 差 n男 (X) 10 1.6 10女 (Y) 11.8 3.06 9试估计两个小组平均成绩差 的置信区间。21u解： ，2481)(21212 SnMntYX，6.0.2 t所以 的置信区间为（-4.24，0.64） 。1u7.4 0-1 分布的参数区间估计77假设有一容量为 的样本，它来自（0-1）分布总体 ， 的分布函数为50nX，其中 为未知参数，下面我们来求 的置信水平为1,)1();(xpxfx pp的置信区间。1已知 0-1 分布总体的数学期望为 ，方差为 ，又设XE)( )1(2是从总体中随机抽取出的一
24、个样本，因为样本容量较大，因此由中心极限定nX,2理， 近似服从正态分布 ，于是在置信水平 下，)1()1(_ppii ),0(N，解不等式 ，得)(2_unXP 2_)1(upnX，令0)2_2_2 pp， ，这里acb41acb42， ， 。)(2un)(2_uXn_n因此 的置信水平为 的置信区间为 。p1),(21p例 1 设从一大批产品中随机抽取 100 个产品，得一级品 60 个，求这批产品的一级品率 的 95%的置信区间。解 由已知， 是 0-1 分布的参数，且 ， ，查表得 ，0n5.96.12u6.0_X， ， ，所以84.103)(2una 84.123)2(_uXb 3_
25、Xnc，这批产品的一级品率 的 95%的置信区间为（0.51，0.69） 。69,5.1pp7.5 单侧置信区间在上述讨论中，对于未知参数 ，我们给出两个统计量 ， 得到 的双侧置信区间_。但在某些实际问题中，例如，对于设备、元件的寿命来说，平均寿命长是我们所希),(_望的，我们关心的是平均寿命 的“下限” ；与之相反，在考虑化学药品中杂质念量的均值时，我们常关心参数 的“上限” 。这就引出了单侧置信区间的概念。u对于给定值 ，若由样本 确定的统计量)10(nX,21（ ） ，对于任意 满足 ，称随机区间 是nX,21 1P),(的置信水平为 的单侧置信区间， 称为 的置信水平为 的单侧置信下
26、限。又若统计量 （ ） ，对于任意 满足 ，称随_n,21 1_P机区间 是 的置信水平为 的单侧置信区间， 称为 的置信水平为 的单),(_78侧置信上限。对于正态总体 ，若均值 ，方差 均为未知，设 是一个样本，由X2nX,21有 ， )1(/_ntS)(/_ntSa即 ，)(_ta于是得到 的一个置信水平为 的单侧置信区间： 。1 ),1(_ntSXa的置信水平为 的单侧置下限为 。)_tna例：从一批灯泡中随机地取 5 只作寿命试验，测得寿命（以小时计）为1050 1100 1120 1250 1280设灯泡寿命服从正态分布，求灯泡寿命平均的置信水平为 0.95 的单侧置信下限。由式得所求单侧量置信下限为解； 。950,16,38.2)4()1(,9.01 2_05. Sxtnta单侧置信下限为 =1065。_SX又由 有 ，)1()1(22nSn 1)()1(212nSnP即 ，)(21P于是得 的一个置信水平为 的单侧置信区间： 。1)1(,02nS79的置信水平为 的单侧置信上限为 。21)1(2_nXS
