1、它首先是由德国数学家 高斯在1821年提出的 ,Gauss,Fisher,然而，这个方法常归功于 英国统计学家费歇(Fisher) .,费歇在1922年重新发现了 这一方法，并首先研究了 这种方法的一些性质 .,7.2 最大似然估计,最大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过 .,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 .,其数学模型为,令X为打一枪的中弹数，则XB(1,p), p未知.设想事先知道p只有两种可能:
2、,p=0.9 或 p=0.1,两人中有一人打抢, 估计这一枪是谁打的，即估计总体X的参数p的值,当兔子不中弹，即X =0发生了,现有样本观测值x =1, 什么样的参数使该样本值出现的可能性最大呢？,若p=0.9，则PX=1=0.9若p=0.1，则PX=1=0.1,若p=0.9，则PX=0=0.1若p=0.1，则PX=0=0.9,当兔子中弹，即X =1发生了,最大似然估计法的基本思想：根据样本观测值，选择参数p的估计 ，使得样本在该样本值附近出现的可能性最大,一 离散型随机变量的情况,最大似然估计的求法,注意：a、对于样本（X1,Xn）的联合分布律,b. 当已得样本（X1,Xn）的观测值(x1,
3、xn)，若,c. 若已知观测值(x1,xn)，那么哪一组参数最象是导致结果(x1, xn)发生的一组参数呢？,定义2.1 设离散型随机变量X1,X2,.,Xn有联合分布,其中 是未知参数，给定观测数据x1，x2，.，xn后，称 的函数,为基于x1，x2，.，xn的似然函数(likelihood function)，称 的最大值点 为 的最大似然估计(maximum likelihood estimator缩写为MLE),其中 也可以是向量,二 连续型随机变量的情况,定义2.2 设随机向量X=(X1,X2,.,Xn ) 有联合密度,其中 是未知参数，给定X的观测值 x=(x1，x2，.，xn )
4、后，称 的函数,为基于x=(x1，x2，.，xn )的似然函数(likelihood function)，称 的最大值点 为参数 的最大似然估计(MLE),其中 也可以是向量,若总体中包含多个未知参数,(4) 在最大值点的表达式中, 用样本值代入就得参数的极大似然估计值 .,求最大似然估计(MLE)的一般步骤是：,(1) 由总体分布导出样本的联合分布列(或联合密度);,(2) 把样本联合分布列(或联合密度)中自变量看成已知常数,而把参数 看作自变量,得到似然函数L( );,(3) 求似然函数 的最大值点(常转化为求对数似然函数 的最大值点) 即 的MLE;,未知参数的函数的最大似然估计,设总体
5、X的分布类型已知, 其概率密度(或概率函数)为f(x;1, k), 未知参数的已知函数为g(1, k). 若,分别为1, k的最大似然估计, 则,为 g(1, k)的最大似然估计.,解：X的分布列为,例1设X1,X2, Xn独立同分布，都服从Poisson分布 ，给定观测数据 x1,x2, xn，试求参数 的最大似然估计.,因此似然函数为,令,=0,对数似然函数为：,得 的最大似然估计为,例2设X1,X2, Xn是取自总体 XB(1, p) 的一个样本，求参数p的最大似然估计.,解：似然函数为:,对数似然函数为：,对p求导并令其为0，,=0,p的最大似然估计为,似然函数为：,对数似然函数为：,
6、例4 X 服从指数分布,其密度函数为 x1，x2，xn 为观察值. 试用最大似然估计法估计,解：似然函数为,对数似然函数为,由,得 的最大似然估计为,解：似然函数为,对数似然函数为,例5 设X1,X2,Xn是取自总体X的一个样本,求 的最大似然估计.,其中 0,求导并令其为0,=0,从中解得,即为 的MLE .,对数似然函数为,例6 设X1,X2, Xn是取自总体 XU(a, b) 的一个样本，求参数a, b的最大似然估计.,似然函数为,不能求解。,似然函数a 越大, b 越小, L 越大.,令,x(1) = min x1, x2, xn x(n) = max x1, x2, xn,故,是 a
7、 , b 的最大似然估计值.,取,例7 设总体X的概率分布为,其中0 1/2为未知参数。今对X进行 观测， 得如下样本值0，1，2，0，2，1 求 的最大似然估计。,从而对数似然函数为,解：似然函数为,令,得,三 估计量的评选标准,对于同一参数，用不同的估计方法求出的估计量可能不相同。,问题：采用哪一个估计量好?,X1, X2, Xn,为来自该总体的样本。,设总体X F(x, ), 其中 为未知参数。,为 的一个估计量。,估计量,而当样本(X1, , Xn)有观测值(y1, , yn)时，估计值为,是一个随机变量，当样本(X1, , Xn)有观测值(x1, , xn)时，估计值为,由不同的观测
8、结果，就会求得不同的参数估计值. 因此评价一个估计量的好坏，不能仅仅依据一次试验的结果来判断，而必须根据估计量的分布从整体上来做评价。,当样本值取不同的观测值时， 我们希望相应的估计值在未知参数真值附近摆动，而它的均值与未知参数的真值的偏差越小越好. 当这种偏差为0时，就导致无偏性这个标准 .,1无偏性,例1 样本均值 与样本方差S2 分别是总体均值和总体方差2的无偏估计量.,证：,样本k阶矩为,例2 设总体X的k阶原点矩存在，记其为k， X1, X2, Xn为来自总体的样本，问,是否为总体k阶矩k的无偏估计.,解：由于,因此样本k阶矩是总体k阶矩的无偏估计,例3 设总体X N (， 2)，其
9、中参数 ， 2未知，试用最大似然估计法求， 2的估计量，并问是否是无偏估计？,例4 设X1, X2, Xn是来自总体X的样 本，且E(X)=。以下两个估计是否为 的无偏估计,（答：是）,（答：是）,无偏估计以方差小者为好, 这就引进了有效性这一概念 .,的大小来决定二者,和,一个参数往往有不止一个无偏估计, 若,和,都是参数 的无偏估计量，,比较,我们可以,谁更优 .,2有效性,且存在 的情形，则称 较 有效 。,例5 设X1, X2, Xn是来自总体X的样本，且E(X)=。以下两个估计谁更有效？,解：,解：,因为,设X的分布函数为,先求Z的分布函数,对其求导数得到Z的密度函数为：,即Z的分布函数,故,故nZ是 的无偏估计,3. 相合性(一致性)设 为未知参数 的估计量，若对任意给定的 0，任意，都有,设总体的k 阶矩存在，则样本的k 阶矩是总体k 阶 矩的相合估计,即：当 时 以概率收敛到,这一讲，我们介绍了参数点估计，讨论了估计量的优良性准则 . 给出了寻求估计量最常用的矩估计法和最大似然估计法 .,参数点估计是用一个确定的值去估计未知的参数. 看来似乎精确，实际上把握不大. 为了使估计的结论更可信，需要引入区间估计.,作业 7.3; 7.4; 7.11 最大似然估计 7.10；,
