1、参数估计的若干方法及应用周继南 12 级数学与应用数学 1班 060112046摘要： 参数估计（parameter estimation）是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。文章将介绍矩估计，极大似然估计，区间估计法等参数估计方法，并对极大似然估计，最小二乘法进行推广分析。对它们的范围进行比较讨论，最后我们对其各自的重要性及其在实际中的应用作一介绍。关键词： 参数估计；矩估计 ；极大似然估计；区间估计；最小二乘法；引言： 随着数理统计的应用更加广泛,参数估计在医疗，交通，市场消费,甚至
2、是自然灾害的预测等实际生活中都有着举足轻重的作用，它科学且精确地让我们预测一个参数的值，以达到避免灾害或是获取利益等作用。参数估计已不知不觉渗透到生活的各个方面，它对人们的生活带来的很大的方便。但是对于参数估计方法，好多人却不是很了解，所以，为了人们能更好的利用参数估计为生产生活服务，本文将在论文中对参数估计的具体方法做一个较为系统细致的讲解。参数估计方法在人们生活中的应用，便于人们能更了解参数估计，接触参数估计，很好把它应用到生活之中。这样，就会避免不必要的盲目性，对事物的发展有个相对明确的判断和把握，为生活带来方便和效益。正文：1、 参数估计的基本方法参数估计有点估计(point esti
3、mation)和区间估计(interval estimation)两种。1.1 点估计点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。例如，设一批产品的废品率为 。为估计 ，从这批产品中随机地抽出 n 个作检查，以 X记其中的废品个数，用 X/n 估计 ，这就是一个点估计。（1 ）构造点估计常用的方法是：矩估计法。用样本矩估计总体矩，如用样本均值估计总体均值。极大似然估计法。于 1912 年由英国统计学家 R.A.费希尔提出，用来求一个样本集的
4、相关概率密度函数的参数。 （在以后的文章中专门讨论）最小二乘法。主要用于线性统计模型中的参数估计问题。 （在以后的文章中专门讨论）贝叶斯估计法。基于贝叶斯学派(见贝叶斯统计) 的观点而提出的估计法。（2 ）可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类：一类是小样本准则，即在样本大小固定时的优良性准则；另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则，最小化最大准则，最优同
5、变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。1.2 区间估计区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。1934 年统计学家 J.奈曼创立了一种严格的区间估计理论。求置信区间常用的三种方法：利用已知的抽样分布。利用区间估计与假设检验的联系。 （请参考几种常见的参数估计）利用大样本理论。2、 参数估计的应用2 1 最小二乘法及其应用2.1.1 最小二乘法原理：是从误差拟合角度对回归模型进行参数估计或系统
6、辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而，最小二乘法因其抽象、难懂常常被大家所忽视。2.1.2 最小二乘法的分类（1 ）线性回归最小二乘法最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法. 在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数（即真实总体回归函数的估计值） ，但是在回归分析中最广泛应用的方法是最小二乘法。如果变量 x 和 y 有精确的线性关系比如说 y=ax+b，那么 = 即观测值与回归值是相iy等的。事实上现实世界中的诸多变量的关系未必都是如此，由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系。比如说人的身
7、高和体重就是一个对应，我们都知道长的高的人不一定就重，同理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系，而这种关系并非是 y=ax+b 所能确定的。那么我们要寻求身高和体重之间的关系就需要通过数学的方法。首先调查统计得出数据；其次把数据描绘出来；然后拟合一条跟已有的图象最接近的曲线，这样就可以相对地将身高和体重之间的关系表示出来。在处理类似的事情中常常用到最小二乘法。（2 ）非线性回归最小二乘法非线性回归的种类很多，常用的有抛物线方程 Y=a+bx+cx ，指数方程 Y=ab 等。2x设已知列表函数 = ，并且我们想用一个通常的 n（m）次多项iy),.210)(mixf式 去nn
8、 xaxap+210)(近似它。问题是应该如何选择 使 能较好地近似列表函数 按最小n,)(p)(xf二乘法，应该选择 使得na,10S（ ）=na,10 20)(_(mi inixpf取最小。在注意到 s 是非负的，且是 的 2 次多项式，它必有最小值。n,12.2 极大似然估计及其应用2.2.1 极大似然估计原理费歇引进的极大似然法，至今仍然是参数点估计中最重要的方法从理论观点来看，是利用总体 的分布函数 F（X ； ）的表达式及样本所提供的信息，建立未知参数 的估计 量 （ ， ， ， ） 。 1 2 n设总体 的概率函数为 F（x， ， ， ， ） ，其中， ， ， ， 为未知1 2
9、l 1 2 l参数，参数空间 是 l 维的 ， ， ， 为简单随机样本，它的联合概率函数为 nF（ ， ， ， ； ， ， ， ）121 2 l称 L（ ， ， ， ）= （ ； ， ， ， ）为 ， ， ， 的似然1 2 l nif1i 1 2 l 1 2 n函数。若有 ， ， ， 使得下式成立：L( , , , )=max , 1 2 l 1 2 l),(21lL则称 = （ ， ， ， ）为 的极大似然估计量。 j n j2.2.2估计的求法常见的极大似然估计方法有微分法、定义法和比值法。（1） 微分法：当似然函数为 的连续函数，且关于 的各分量的偏导数存在时，可用微 分法求极大似然估计
10、设 是 k维的， 是 中的开区域，则由极值的必要条kR件知极大似然估计应满足似然方程=0， i=1，2 ， ，kiXL),(为了方便，常对似然函数取对数，易知 L（，x）与 在 上有相同的最ln() ,大值点，因此，似然方程 可写成 =0，i=1，2 ， ，k 值得注意的是，由极值的i),(ln必要条件知极大似然估计一定是似然方程的解，但未必似然方程的所有解都是极大似然估计，严格讲对似然方程的解要经过验证才能确定是极大似然估计（2 ）定义法似然函数若关于 有间断点，或似然方程无解或解不在 内，这时由似然函数的形式， 利用定义直接判断出极大值点（3 ）比值法这种方法适用于参数是离散型情形为求极大
11、似然估计，经常考虑参数取相邻两项值时，用所得的似然函数的比值或差来找似然函数的最大值点小结：对通过这次参数估计的研究才认识到这方面的知识博大精深，还有很多我所不了解的地方。在老师的指导和同学的帮助下查阅很多资料才弄懂了以前学习时忽略的问题。这次深入的了解参数估计的内容，使我更加的想要了解和学习这方面的知识，激发了更大的兴趣。在此次撰写论文中所碰到的难处，让我学到了怎样更好的处理好自己的心态，摆正自己位子去更好的迎难而上，克服苦难，勇攀高峰。【参考文献】 1茆诗松、程依明、濮晓龙主编， 概率论与数理统计教程 ，高等教育出版社，2010 年，第二版.2王容华等主编， 概率论与数理统计教程 （习题精选） ，北京大学出版社，2010 年 3 月，第一版. 3苏军和主编， 概率论与数理统计教程 ，上海财经大学出版社，1991 年，第一版. 4唐生强主编， 概率论与数理统计复习指导 ，科学出版社1999 年，第一版.5魏宗舒；概率论与数理统计教程M.北京：高等教育出版社.1983 年，第一版.6陈希孺；高等数理统计学 ；中国科学技术大学出版社；1999 年.
