1、第六章 参数估计,参数的点估计 估计量的评选标准 正态总体参数的区间估计,6.1 参数的点估计,一、参数估计的概念 问题的提出：已知总体X的分布函数F(x;1,2,k)，其中1, 2, k是未知参数，现从该总体中随机地抽样，得到一个样X1,X2,Xn ，再依据该样本对参数1, 2, k作出估计,或者估计参数的某个已知函数。 点估计：用某个函数值作为总体未知函数的估计值 区间估计：对未知参数给出一个范围，并给出在一定的可靠度下使这个范围包含未知参数的真值。,由于,现用它来估计未知参数，故称这种估计为点估计。,是实数域上的一个点，,作为参数i,的估计，称,为参数i的估计量。,在不致混淆的情况下，估
2、计量、估计值统称估计，记为,样本(X1,X2,Xn)的一组取值(x1,x2,xn)称为样本观察值，将其代入估计量,，得到数值,称为参数i的估计值。,点估计：由总体的样本(X1,X2,Xn)对每一个未知参数i(i=1,2,k)构造统计量,点估计的经典方法是：(1)矩估计法(2)极大似然估计法,二、矩估计法(简称“矩法”) 英国统计学家皮尔逊(K.pearson)提出 1、矩法的基本思想： 以样本矩 作为相应的总体同阶矩E(Xk)的估计(P159)； 以样本矩的函数作为相应的总体矩的同一函数的估计.,2、矩法的步骤： 设总体X的分布为F(x;1,2,k)，k个参数1,2,k待估计，(X1,X2,X
3、n)是一个样本 。 (1)计算总体分布的i阶原点矩E(Xi)=i(1,2,k)，i=1,2,k，(计算到k阶矩为止，k个参数)； (2)列方程,从中解出方程组的解，记为,则,分别为参数1,2,k的矩估计。,例6.1 设总体X的均值为，方差为2，均未知。 (X1,X2,Xn)是总体的一个样本，求和2的矩估计。 解,解得矩法估计量为,注：,例6.2 设总体XP()，求的矩估计。 解,例6.3 设(X1,X2,Xn)来自X的一个样本，且,求a,b的矩估计。,解 XU(a,b),解得矩估计为,2阶中心矩,矩法估计的优点：计算简单； 矩法估计的缺点：(1)矩法估计有时会得到不合理的解； (2)求矩法估计
4、时，不同的做法会得到不同的解； (通常规定，在求矩法估计时，要尽量使用低阶矩) 如例6.2中，若不是用1阶矩，而是用2阶矩,与,不同,(3)总体分布的矩不一定存在，所以矩法估计不一定有解。如,先看一个简单例子：,一只野兔从前方窜过 .,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,二、极大似然估计法(R.A.Fisher费歇),1、极大似然估计法的基本思想,一般说，事件A发生的概率与参数有关，取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A|)。若A发生了，则认为此时的值应是在中使P(A|)达到最大的那一个。这就
5、是极大似然思想。,使得取该样本值发生的可能性最大。,由样本的具体取值，选择参数的估计量,例6.4 设总体X服从01分布，即分布律为,x=0,1，其中01未知,(X1,X2,Xn)为X的一个样本，设其观察值为(x1,x2,xn)， 则事件(X1=x1,X2=x2,Xn=xn)发生的概率为,对于给定的样本观察值，上述概率为的函数，称其为似然函数，并记为L()，即,为使上述随机事件的概率达到最大，应选取使L()达到最大的参数值(如果存在)，即选取的,应满足,对每一样本值(x1,x2,xn)，在参数空间内使似然函数L(x1,x2,xn;)达到最大的参数估计值,称为参数的极大似然估计值，它满足,称统计量
6、,为参数的极大似然估计量。,记为,2、似然函数与极大似然估计,设,则称,为该总体X的似然函数。,3、求极大似然估计的步骤(P161),设总体X的分布中，有m个未知参数1,2,m，它们的取值范围。样本 的观测值为 (1)写出似然函数 的表达式 如果X是离散型随机变量，分布律为P(X=k)，则,如果X是连续型随机变量，密度函数为f(x)，则,(2)在内求出使得似然函数L达到最大的参数的估计值,它们就是未知参数1,2,m的极大似然估计。,一般地，先将似然函数取对数lnL，然后令lnL关于1,2,m的偏导数为0，得方程组,从中解出,在例6.4中，,解得,它使lnL()最大,所以的极大似然估计量为,例6
7、.5 (X1,X2,Xn)是来自总体XP()的样本，0未知，求的极大似然估计量。 解 总体X的分布律为,x=1,2,设(x1,x2,xn)为样本(X1,X2,Xn)的一个观察值， 似然函数,对数似然函数,是的极大似然估计值,的极大似然估计量为,所以,例6.6 设(X1,X2,Xn)是来自正态总体XN(,2)的一个样本，,2未知，求,2的极大似然估计。 解 设(x1,x2,xn)为样本(X1,X2,Xn)的一个观察值，则似然函数为,解得,所以,2的极大似然估计量分别为,思考：当已知时，,例6.7 设XUa,b， a,b未知，(X1,X2,Xn)是总体X的一个样本，求a,b的极大似然估计。 解 X
8、的密度函数为,设(x1,x2,xn)为样本(X1,X2,Xn)的一个观察值，则似然函数,axi b，i=1,2,n,无法求出估计,设x1*=min(x1,x2,xn)，xn*=max(x1,x2,xn)，则 a的取值范围ax1*，b的取值范围bxn*当a=x1*，b=xn*时，有,L(a,b)当a=x1*，b=xn*时取得最大值。所以,注：由似然方程解不出的似然估计时，可由定义通过分析直接推求。事实上,满足,极大似然估计具有下述性质： 若 是未知参数的极大似然估计， g()是的严格单调函数，则g()的极大似然估计为g( ),6.2 估计量的评选标准,一、无偏性,估计量,的观察或试验的结果，估计
9、值可能较真实的参数值偏大或偏小，而一个好的估计量不应总是偏大或偏小，在多次试验中所得的估计量的平均值应与真实参数吻合，这就是无偏性所要求的。,是一个随机变量，对一次具体,定义,是的一个估计量，如果,有,则称,是的一个无偏估计。,如果,不是无偏的，就称该估计是有偏的。,称,为,的偏差。,例6.9 设总体X的k阶矩存在，则不论X的分布如何，样本k阶原点矩,是总体k阶矩的无偏估计。,证明,设X的k阶矩 k=E(Xk)，k1,(X1,X2,Xn)是来自总体X的一个样本，则,所以Ak是k的无偏估计.,例6.10 (P163)设XN(,2)，其中,2未知，问,2的极大似然估计是否为,2的无偏估计？若不是，
10、请修正使它成为无偏估计。,解 设(X1,X2,Xn)是取自总体X的一个样本，由例6.6知,是的无偏估计,不是2的无偏估计，而,为2的无偏估计。,（P153 定理1）,例(考题)设 是总体X的未知参数 的无偏估计量，且D( ) 0，证明 不是 的无偏估计量。,二、有效性,对于参数的无偏估计量，其取值应在真值附近波动，我们希望它与真值之间的偏差越小越好。,定义 设,均为未知参数的无偏估计量，若,则称,比,有效。,在的所有无偏估计量中，若,估计量，则称,是具有最小方差的无偏,显然也是最有效的无偏估计量，简称有效估计量。,为一致最小方差无偏估计量。,例6.11 设总体XU1,，1，未知， (X1,X2
11、,Xn)是总体X的一个样本， (1)求的矩估计和极大似然估计； (2)上述两个估计是否为无偏估计量，若不是，请修正为无偏估计量； (3)问在(2)中的两个无偏估计量哪一个更有效？,解 X的密度函数,(1),的矩估计为,设(x1,x2,xn)为样本观察值，则似然函数,i=1,2,n,令xn*=max(x1,x2,xn)，则xn*,即的极大似然估计为,(2),是 的无偏估计。,为求,先求Xn*的密度函数(P85),显然，它不是 的无偏估计，修正如下： 令,则,是 的无偏估计。,(3),当n1时，对任意 1，,因此,比,更有效。,三、一致性（相合性）,在参数估计中，很容易想到，如果样本容量越大，样本
12、所含的总体分布的信息越多。n越大，越能精确估计总体的未知参数。随着n的无限增大，一个好的估计量与被估参数的真值之间任意接近的可能性会越来越大，这就是所谓的相合性或一致性。 定义 设,为未知参数 的估计量，若对任意给定的正数,0，都有,即,依概率收敛于参数 ，则称,为参数 的一致估计或相合估计量。,例6.12 设 是总体X的样本均值，则作为总体期望E(X)的估计量时， 是E(X)的一致估计量。,证明 由大数定律可知，当n时,是E(X)的一致估计量。,例6.13 设 为 的无偏估计量，若 则 为 的一致估计量,证明,由切贝雪夫不等式可知,为 的一致估计量。,6.3 区间估计,上一节中，我们讨论了参
13、数的点估计，只要给定样本观察值，就能算出参数的估计值。但用点估计的方法得到的估计值不一定是参数的真值，即使与真值相等也无法肯定这种相等（因为总体参数本身是未知的），也就是说，由点估计得到的参数估计值没有给出它与真值之间的可靠程度，在实际应用中往往还需要知道参数的估计值落在其真值附近的一个范围。为此我们要求由样本构造一个以较大的概率包含真实参数的一个范围或区间，这种带有概率的区间称为置信区间，通过构造一个置信区间对未知参数进行估计的方法称为区间估计。,定义 设总体X的分布函数族为F(x;), ，对于给定的(01)，如果有两个统计量,使得,对一切成立，则称随机区间,是的置信度,双侧置信下限；,双侧
14、置信上限；,1-置信度。,由定义可知，置信区间是以统计量为端点的随机区间，对于给定的样本观察值(x1,x2,xn)，由统计量,构成的置信区间,可能包含真值，也可能不包含真值，但在多次观察或试验中，每一个样本皆得到一个置信区间，在这些区间中包含真值的区间占100(1-)%，不包含的仅占100%。,为1-的双侧置信区间。,求置信区间的一般步骤 (1)选取未知参数的某个最优估计量 ； (2)围绕 构造一个依赖于样本与参数的函数U=U(X1,Xn, )；(已知U服从的分布) (3)对给定的置信水平1-，确定1与2 ，使P1 U 2=1-通常可选取满足PU 1=PU 2 =/2的1与2 。 (4)对不等
15、式做恒等变形后化为 则,是的置信度,为1-的双侧置信区间。,求正态总体参数置信区间的解题步骤： (1)根据实际问题构造样本的函数，要求仅含待估参数且分布已知；即枢轴变量 (2)令该函数落在由分位点确定的区间里的概率为给定的置信度1，要求区间按几何对称或概率对称； (3)解不等式得随机变量的置信区间； (4)由观测值及值查表计算得所求置信区间。,例6.14 设(X1,X2,Xn)是取自总体XN(,2)的一个样本，其中2已知，未知。试求出的置信度为1-的置信区间。,解 由于样本均值,是总体均值的无偏估计，且,故,由标准正态分布上侧p分位点的定义可知,即落在区间,内的概率为1-。,此区间称为的置信度
16、为1-的置信区间。,-u/2 O u/2 x,(x),/2,/2,1-,从此例我们发现随机变量Z在区间的构造中起着关键的作用，它具有下述特点： (1) Z是待估参数和统计量,(2)不含其它未知参数； (3)服从与未知参数无关的已知分布。,的函数；,枢轴变量,例6.15 设一批产品的一级品率为p，如今从中随机抽出100个样品，其中一级品为60个，要求p的0.95的置信区间。,解 设总体为X,则X服从0-1分布，即XB(1,p)，其中0p1未知；,由中心极限定理可知,近似地服从正态分布N(0,1),解得p的双侧置信区间上下限为,设(X1,X2,Xn)是取自这个总体的样本，其中“Xi=1”表示抽得的
17、第i个样品是一级品。,其中,一、正态总体N(,2)的均值的置信区间,1、方差2已知,由例6.14可知,则置信度为1-的的置信区间为,2、方差2未知 由于方差2未知，不能使用,作为枢轴变量,用2的无偏估计量,代替2,则的置信度为1-的置信区间为,求正态总体参数置信区间的解题步骤： (1)根据实际问题构造样本的函数，要求仅含待估参数且分布已知； (2)令该函数落在由分位点确定的区间里的概率为给定的置信度1，要求区间按几何对称或概率对称； (3)解不等式得随机变量的置信区间； (4)由观测值及值查表计算得所求置信区间。,例6.16 已知某批灯泡的寿命X(单位:小时)N(,2)，现从这批灯泡中抽取10
18、个，测得寿命分别为1050,1100,1080,1120,1200,1250,1040,1130,1300,1200 若=0.05，求的置信区间(1)2=8，(2)未知。,解(1)由于2=8，由样本观察值计算得,n=10，=0.05,查标准正态分布表得,的置信度为0.95的置信区间为1145.25，1148.75。,(2)由于2未知，由样本观察值计算得,S=87.0568, n=10, =0.05，查t分布表得,的置信度为0.95的置信区间为1084.72，1209.28。,1、均值已知 此时2的极大似然估计为,且,由2分布分位点的概念可知,二、正态总体N(,2)的方差2的置信区间,则2的置信
19、度为1-的置信区间为,(2)均值未知,此时取,可得2的置信度为1-的置信区间为,例6.17 为测定某家具中的甲醛含量，取得4个独立的测量值的样本，并算得样本均值为8.34%，样本标准差为0.03%，设被测总体近似服从正态分布，=0.05，求,2的置信区间。,解 由题意：2未知，n=4，S=0.03%，,查t分布表得,的置信度为0.95的置信区间为8.2923%，8.3877%。,对于2 ，由于未知，,查2分布表,则2的置信度为0.95的置信区间为0.0002910-4，0.012510-4,三、双正态总体均值差的置信区间,设样本X1,X2,Xn1来自正态总体XN(1,12)样本Y1,Y2,Yn
20、2来自正态总体YN(2,22)，且相互独立,S12为X的样本均值和样本方差,S22为Y的样本均值和样本方差,1、12，22已知，1-2的区间估计,相互独立,是1-2的极大似然估计,取,可知1-2的置信度为1-的置信区间为,2、若12，22未知，但已知12=22 ，1-2的区间估计 此时，取,可知1-2的置信度为1-的置信区间为,四、两个正态总体方差比12/22 的置信区间,1、1，2未知,根据12，22的估计，构造,可知，方差比12/22 的置信度为1-的置信区间为,2、当1，2已知时,可知，方差比12/22 的置信度为1-的置信区间为,例6.18 研究机器A和机器B生产的钢管的内径，测得,设两样本相互独立，XN(1,12)，YN(2,22)，取 =0.1 求(1) 12/22的置信区间，(2)若已知12=22，求1-2的置信区间。,解 已知,(1) 由 =0.1，1，2未知，查F分布表得,12/22的置信度为0.90的置信区间为 0.4475，2.9076,(2),1-2的置信度为0.90的置信区间为 -2.3785，-1.6615,五、单侧置信区间,有些实际问题中，我们关心的是未知参数“至少有多大”（如元件的寿命），或“不超过多大”（如不合格率），这就是单侧置信区间。 定义,称为的单侧置信下限。,称为的单侧置信上限。,
