1、参 数 估 计,第一节 参数估计的意义,一、参数估计的意义,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者总体的某些数字特征.,参数估计的两个研究方向：,1. 在已知总体分布类型的前提下，由样本信息 估计出总体未知参数的近似值，从而近似估计总体分布.,一、参数估计的意义,2. 有时关心的不是总体服从具体分布，而是关注总体的某些数字特征（如均值、方差等）,例如，灯泡厂生产过程中受到随机因素干扰，灯泡寿命不尽相同. 为评价产品质量，自然提出如何估计这批灯泡的平均寿命（总体均值），以及寿命长短相差（总体方差）等问题.,有时还希望通过数据分析，以一定的可靠性来估计灯泡平均寿命介于某个范
2、围或者不低于某个数值.,由于样本来自总体，它必然在一定程度上反映总体，因而在参数估计问题中，经常要用到样本的某个适当的函数来估计总体的参数.,二、参数估计的概念,二、参数估计的概念,参数估计问题：知道随机变量（总体）的分布类型，但确切的形式不知道，根据样本来估计总体的参数，这类问题称为参数估计(Paramentric Estimation).,参数估计,点估计,区间估计,二、参数估计的概念,（假定身高服从正态分布 ）,设这5个数是: 1.65 1.67 1.68 1.78 1.69,例如我们要估计某队男生的平均身高.,现从该总体中选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总
3、体均值 的估计，而全部信息就由这5个数组成 .,参 数 估 计,第二节 参数的点估计,一、引言,1. 顺序统计量估计法,2. 矩估计法,3. 极大似然估计,4. 最小二乘法,点估计常用方法：,二、矩估计法,矩估计法是英国统计学家K.皮尔逊最早提出来的. 由辛钦大数定律 ,二、矩估计法,这表明，当样本容量很大时，在统计上，可以用样本矩去估计总体矩. 这一事实导出矩估计法.,理论依据:,大数定律,二、矩估计法,二、矩估计法,例1,解：由矩估计法可知,二、矩估计法,例2,解：,二、矩估计法,解：,例2,二、矩估计法,解：总体均值的估计值为,二、矩估计法,总体方差的估计值为,二、矩估计法,解：总体均值
4、为,样本均值为,解:,由矩估计法,从中解得,三、矩估计法,练习1 设总体 X 在 a , b 上服从均匀分布 , a , b 未知 . 是来自 X 的样本 , 试求 a , b 的矩估计量 .,练习,练习,四、极大似然估计,极大似然估计法是在总体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家高斯在 1821年提出的.,Gauss,Fisher,然而，这个方法常归功于英国统计学家费歇 .,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 .,四、极大似然估计,例子：,1. 老猎人和小猎人捕猎，各自向野兔射击一发子弹，兔子身上只有一个弹孔，一般情况下，我们总会认为
5、，这是由老猎人射中的.,2. 机器发生故障时，总是从易损部位开始检查；医院就医时，医生总是先检查病例，从曾经的患处入手诊断.,3. 两个箱子各100个球，甲箱中99个白球1个红球，乙箱中1个白球99个红球，现任取一箱再任取一个球，发现是红球，一般估计此球来自乙箱.,四、极大似然估计,极大似然估计法的思想,极大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法. 最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现. 因此，一个试验如有若干个可能的结果A,B,C, , 若在一次试验中，结果A出现，则一般认为A出现的概率最大.,在已得试验结果的条件下，应该寻找使得该结果出现可能性最
6、大的那个参数值作为真正参数的估计.,四、极大似然估计,极大似然估计定义：,当给定样本X1,X2,Xn时，定义似然函数为：,这里 x1, x2 , xn 是样本的观察值 .,设X1,X2,Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为,四、极大似然估计,似然函数：,看作参数 的函数，它可作为 将以多大可 能产生样本值 x1, x2, ,xn 的一种度量 .,极大似然估计法就是用使 达到最大值的去估计 . 即,四、极大似然估计,求极大似然估计量的一般步骤为：,（1）求似然函数,（4）最后得到极大似然估计量,四、极大似然估计,1. X为离散型,解：,例1,四、极大似
7、然估计,这一估计量与矩估计量是相同的.,四、极大似然估计,四、极大似然估计,解：,四、极大似然估计,练习,四、极大似然估计,四、极大似然估计,四、极大似然估计,2. X为连续型,四、极大似然估计,例3 设总体X服从指数分布，其分布密度为,解：,似然函数为,四、极大似然估计,取对数,似然方程为,四、极大似然估计,解：,例4 设连续型总体X的概率密度为,似然函数为,四、极大似然估计,取对数,练习 设X1,X2,Xn是取自总体X的一个样本,求 的最大似然估计值.,其中 0,四、极大似然估计,求导并令其为0,=0,从中解得,即为 的最大似然估计值 .,对数似然函数为,四、极大似然估计,四、极大似然估计
8、,四、极大似然估计,解：总体X的分布密度为,构造似然函数,四、极大似然估计,练习,答案,五、评价估计量的标准,这就需要讨论以下问题:,(1)对于同一个参数究竟采用哪一个估计量好?,(2)评价估计量的标准是什么?,五、评价估计量的标准,常用的几条标准是：,1无偏性,2有效性,3一致性,这里我们重点介绍前面两个标准 .,五、评价估计量的标准,1、无偏性,五、评价估计量的标准,五、评价估计量的标准,五、评价估计量的标准,五、评价估计量的标准,五、评价估计量的标准,判断下列估计量中哪些总体均值的无偏估计量,五、评价估计量的标准,所以无偏估计以方差小者为好, 这就引进了有效性这一概念 .,由于,五、评价估计量的标准,2、有效性,五、评价估计量的标准,例7：判断下列估计量中哪个是总体均值的有效估计量,五、评价估计量的标准,五、评价估计量的标准,3、一致性,五、评价估计量的标准,
