1、,国防科学技术大学航天与材料工程学院,2011-11-5,第三章 参数估计 ( 1 ),内容介绍,参数估计是根据试验测得的样本推断未知参数的数值，包括参数估计准则和估计算法。准则：最小二乘、最大似然、最小方差、最小风险、最小预报均方误差等。算法：迭代算法、递推算法。,什么是参数估计？,内容介绍,3.1 最小二乘估计准则 3.2 最小二乘估计迭代算法 3.3 最小二乘估计递推算法,学习目标,本章的学习目的 1、掌握最小二乘参数辨识方法的基本原理 2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识,3.1 最小二乘估计准则,一、最小二
2、乘法简介 二、标准最小二乘估计 三、加权最小二乘估计,3.1 最小二乘估计准则,最小二乘法奠定了系统辨识参数估计理论的基石，美国著名统计学家斯蒂格勒甚至说“最小二乘法于数理统计科学正如微积分之于数学。”,为什么要学习最小二乘法？,1801年初，天文学家皮亚齐发现了谷神星。 1801年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。 1802年高斯又成功地预测了智神星的轨道。,高斯自己独创了一套行星轨道计算理论。高斯仅用1小时就算出了谷神星的轨道形状，并进行了预测,1794年，高斯提出了最小二乘的思想。,3.1 最小二乘估计准则,最小二乘法是怎么来的？,1777.4.30-1853.
3、2.23,一、最小二乘法简介 二、标准最小二乘估计 三、加权最小二乘估计,3.1 最小二乘估计准则,离散型线性系统观测方程：其中 为观测矢量， 是待估参数；测量噪声 为零均值白噪声，观测矩阵 。,3.1 最小二乘估计准则,观测数据:,用最小二乘法确定a, b,通过计算确定某些经验公式类型的方法:,3.1 最小二乘估计准则,每次得到 i 个观测量，进行 j 次观测，这里有 m=ij ，若观测方程有解，则要求mn，实际上我们遇到的大量问题都满足这一条件。,3.1 最小二乘估计准则,3.1 最小二乘估计准则,准则函数如下：求使J最小的 ，即得估计值 。,为什么叫“最小二乘”？,最小二乘的思想就是寻找
4、一个 的估计值 ，使得各次测量的 与由估计 确定的量测估计 之差的平方和最小。,“最小二乘”的 基本思想是什么？,最小二乘估计是在残差二乘方准则函数极小意义下的最优估计,因准则函数是二次型，因此，求其最小值，可令 ，在 存在的情况下，则有：其中 称之为信息矩阵。信息矩阵为正定Hermite二次型矩阵。,3.1 最小二乘估计准则,性质： 1、无偏估计2、估计误差3、残差4、协方差矩阵,3.1 最小二乘估计准则,一致性,有效性,渐进 正态性,例子：通过试验确定热敏电阻阻值和温度间的关系,当测量没有任何误差时，仅需2个测量值。每次测量总是存在随机误差。,3.1 最小二乘估计准则, 使 最小 /* m
5、inimax problem */,太复杂, 使 最小,不可导，求解困难, 使 最小,测量误差的平方和最小,常见做法：,3.1 最小二乘估计准则,根据最小二乘的准则有,3.1 最小二乘估计准则,套用公式,3.1 最小二乘估计准则,3.1 最小二乘估计准则,最小二乘参数辨识方法可以估计系统方程的参数，其观测误差的二次型函数可以检验实验操作人员的操作技能。,深入思考：最为检验操作技能的标准，它是否是完备的？,观测误差的二次型函数：,一、最小二乘法简介 二、标准最小二乘估计 三、加权最小二乘估计,3.1 最小二乘估计准则,为什么还要学习 加权最小二乘估计？,3.1 最小二乘估计准则,一般最小二乘估计
6、精度不高的原因之一是对测量数据同等对待各次测量数据很难在相同的条件下获得的有的测量值置信度高，有的测量值置信度低的问题对不同置信度的测量值采用加权的办法分别对待置信度高的，权重取得大些；置信度低的，权重取的小些,准则函数取为：其中 为对角正定加权阵。,3.1 最小二乘估计准则,加权最小二乘估计值为：其中 。如果已知测量噪声为零均值白噪声，加权最小二乘参数估计值的协方差矩阵：,3.1 最小二乘估计准则,，这种加权最小二乘估计就是一般的最小二乘估计。，这种加权最小二乘估计称为马尔可夫最小二乘估计。，这种加权最小二乘估计称为渐消记忆最小二乘估计。 加权最小二乘估计仅用于事先能够估计方程误差对参数估计
7、的影响。,3.1 最小二乘估计准则,例3.2：两仪器不相关，同时测量物理量x，得值y1和y2 ，已知仪器误差均值为零，方差分别为r和4r，即D(v1)=r， D(v2)=4r ，估计物理量，并求出估计值的方差。 解：首先写出观测方程：,3.1 最小二乘估计准则,最小二乘估计：,加权最小二乘估计：,3.1 最小二乘估计准则,离散线性系统观测方程 最小二乘估计准则 最小二乘的解 最小二乘解的统计特性 加权最小二乘的解,总结,作业：例题：3.1，3.2，3.3，3.4；习题：3-1，3-2，3-3。,3.1 最小二乘估计准则,参考书目,Gauss, Carl Friedrich, Translate
8、d by G. W. Stewart. 1995. Theory of the Combination of Observations Least Subject to Errors: Part One, Part Two, Supplement. Philadelphia: Society for Industrial and Applied Mathematics. Plackett, R. L. 1949. A Historical Note on the Method of Least Squares. Biometrika. 36:458460. Stephen M. Stiger,
9、 Gauss and the Invention of Least Squares. The Annals of Statistics, Vol.9, No.3(May,1981),465-474. Plackett, Robin L. 1972. The Discovery of the Method of Least Squares. Plackett, Robin L. 1972. The Discovery of the Method of Least Squares. Belinda B.Brand, Guass Method of Least Squares: A historically-based introduction. August 2003 http:/www.stetson.edu/efriedma/periodictable/html/Ga.html http:/
