1、误差理论综述与最小二乘法讨论摘要：本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法（LS）的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来的全面最小二乘法(TLS)同传统最小二乘法进行了对比。1. 误差的有关概念对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现，物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此，必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、研究、判断，必须采用误差理论，它是我们客观分析的有力工具1.1 测量基本概念一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，
2、测量可分为直接测量、间接测量和组合测量。直接测量:可以用测量仪表直接读出测量值的测量。间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量量的函数关系求出。组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量，并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求量的数值，即为组合测量。1.2 误差基本概念误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值为 y，真值为 Y，则测量误差 dy=y-Y。虽然真值是客观存在的，但实际应用时它一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。随机误差: 是同一测量条件下，
3、重复测量中以不可预知方式变化的测量误差分量。系统误差: 是同一测量条件下，重复测量中保持恒定或以可预知方式变化的测量误差分量。粗大误差: 指超出在规定条件下预期的误差。1.3 等精度测量的随机误差当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量值都含有误差，这些误差的出现没有特定的规律，但就误差的总体而言，却有统计规律。 1.3.1 正态分布通过对大量的测量数据的观察，人们发现测量列的随机误差有以下几个特征：（1） 绝对值相等的正误差与负误差出现的次数相等，即误差的对称性；（2） 绝对值小的误差比绝对值大的误差出现的次数多，即误差的单峰性；（3） 在一定的测量条件下，随机误差
4、的绝对值不会超过一定界限，即误差的有界性；（4） 随着测量次数的增加，随机误差的算术平均值趋于零，即误差的抵偿性。正态分布曲线如下图 1-1 所示。正态分布时区间(-，+ )的面积占总面积的 68.27%; (-1.96，+1.96)的面积占总面积的 95%;区间(-2.58， +2.58)的面积占总面积的 99%。图 1-1.正态分布曲线1.3.2 t 分布t 分布是小样本分布，小样本分布一般是指 n3，该数据为异常数据，应剔除。莱依特准则的合理性是显然的，对服从正态分布的随机误差，其残差落在（-3，3）以外的概率仅为 0.27%，当在有限次测量中发生的可能性很小，认为是不可能发生的。（2）
5、肖维勒准则：若对某一物理量等精度重复测量 n 次，得测量值 ，若认为123,.nxx为可疑数据，若此数据的残差|v|Z，则此数据为异常数，应剔除。实用中jxZl，当等精度测量时，测量数据与直接测量量 的最佳估值iY的残差应满足最小，即：iy2211()minnniiiiivly3.4 回归分析回归分析（Regression Analysis）是英国生物学家兼统计学家高尔顿（Galton）在 1889 年出版的自然遗传一书中首先提出，是处理变量之间相关关系的一种数理统计方法。由于相关变量之间不存在确定性关系，因此，在生产实践和科学实验所记录的这些变量的数据中，存在不同程度的差异。回归分析就是应用
6、数学方法，对大量观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。4.最小二乘法的创立、发展及其思想最小二乘法是提供“观测组合”的主要工具之一,它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。如已知两变量为线性关系y=a+bx,对其进行 n(n2)次观测而获得 n 对数据。若将这 n 对数据代入方程求解 a,b 之值则无确定解。最小二乘法提供了一个求解方法,其基本思想就是寻找“最接近”这 n 个观测点的直线。最小二乘法不仅是 19 世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。
7、作为其进一步发展或纠正其不足而采取的对策,不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。正如美国统计学家斯蒂格勒(S.M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学” 。天文学和测地学的发展促进了数理统计学及其他相关科学的发展。丹麦统计史家哈尔德曾指出天文学在数理统计学发展中所起的作用。 “天文学自古代至18 世纪是应用数学中最发达的领域。观测和数学天文学给出了建立数学模型及数据拟合的最初例子,在此种意义下,天文学家就是最初的数理统计学家。天文学的问题逐渐引导到算术平均,以及参数模型中的种种估计方法,以最小二乘法为顶峰。 ”这也说明了最小二乘法的显著地位
8、。4.1 勒让德创立最小二乘法现行的最小二乘法是勒让德(A.M.Legendre)于 1805 年在其著作计算彗星轨道的新方法中提出的，该书有 80 页,包含 8 页附录,最小二乘法就包含在这个附录中。勒让德之所以能做出这个发现,是因为他没有因袭前人的想法要设法构造出 k 个方程去求解.他认识到关键不在于使某一方程严格符合,而在于要使误差以一种更平衡的方式分配到各个方程。4.2 高斯的正态误差理论早在 17 世纪,伽利略在其名著关于两个世界的对话托雷密与哥白尼(1632)中,就讨论了随机误差及其分布的问题。虽然他并未提出这个名词,但他提出了随机误差的分布曲线应有图 4-1 的形状：1.f 关于
9、 0 对称(即 f(-)=f( ),这表示正负误差有同等出现的机会)；2. f 在两边单调地衰减至 0,即大误差出现的机会较小,很大误差的机会几乎为 0。图 4-1. a 是误差大小，f(a)是 a 这样的误差发生的概率1809 年,高斯发表论著关于绕日行星运动的理论 。在该书末尾,他写了一节有关“数据结合”的问题,以极其简单的手法导出误差分布正态分布,并用最小二乘法加以验证。关于最小二乘法,高斯宣称自 1795 年以来他一直使用这个原理。这立刻引起了勒让德的强烈反击,他提醒说科学发现的优先权只能以出版物确定。现在一般认为,二人各自独立地发明了最小二乘法,尽管早在 10 年前,高斯就使用这个原
10、理,但第一个用文字形式发表的是勒让德。高斯较之于勒让德把最小二乘法推进得更远,他由误差函数推导出这个方法并详尽阐述了最小二乘法的理论依据。其推导过程如下:设误差密度函数为 f(x),真值为 x，n 个独立测定值为 x1,x2,xn。由于观测是相互独立的,因而这些误差出现的概率为：（11212()(;,.)()().()n nLxxffxfx）要找出最有希望的误差函数应使 L(x)达极大,高斯认为 就是 x 的估计值,A并使 L(x)取得极大值。对 (1) 式两端取对数得：（2）1ln()ln()iiLxfx再对(2)式求导： ，记1()l()niiifdxx，则有 上式求对 偏导数()()/(
11、)gxff1()0niigAix，而 有 ，对于任0niixx1niixX1()nixin意 i 有 （c 为常数） ，可得 ，igx()gxcb11 1()()()0niin ni ii igxcbcxnb AA A因 可以推出 b=0，则有1()0niixA，积分可得 ，由()()/()gffxc21()cxfke，应有 c0,取 ，可得 ，则有()1fxd 21 2，此即为正态分布 。2()xfxe 2(0,)N这样可知， 的误差密度函数为：123,.nxx221()ep()niix 要此式达到极大值，必选取 之值而使表达式123,.nx达极小值，于是可得 的最小二乘估计法。21()ni
12、ix123,.nx综上可知,勒让德和高斯发现最小二乘法是从不同的角度入手的:一个是为解线性方程组,一个是寻找误差函数;一个用的是整体思维,考虑方程组的均衡性,一个用的是逆向思维,首先接受经验事实;一个是纯代数方法,一个致力于应用。相比而言,高斯不愧为数学王子,他把最小二乘法推进得更远、更深刻,这极大地推进了数理统计学的发展。5.全面最小二乘法（TLS ）与最小二乘法对比研究传统的平差问题都是采用最小二乘法来解决的。对非线性函数模型线性化的习惯作法是,将非线性函数模型按泰勒级数展开,保留一次项,略去二次及二次以上的高次项。它是建立在观测值和未知数近似值与观测值的真值和未知数的真值都充分接近的基础
13、上的。如果该条件不满足,线性化必然会影响到线性函数模型的真实性,从而影响平差质量。全面最小二乘法(TLS)是上世纪 70 年代发展起来的一种新的数据处理方法,已经广泛地应用于声学、自动控制、系统识别、信号处理等各个学科。该方法从一个新的角度来研究线性矛盾方程组,全面考虑了观测向量与系数矩阵中的误差,更符合实际情况。5.1 全面最小二乘法原理无论是直接使用广义逆阵 A+还是使用 A 的奇异值分解（SVD ）求解最小二乘问题,它们都是求 x 使之满足： （1）2|mine及 。()berangeA其中 为 范数，定义为：|*2L，221|miie且矩阵 A 的值域定义为 。(); n nrangA
14、bRAxR对 某 个因此,最小二乘问题等同于用一个最小的 e 去扰动 b 以便 b+e 可以用 A 的各列来预测。或者说,一般最小二乘问题只考虑了观测向量 b 的扰动,而没有考虑系数矩阵 A 的扰动。显然,更合理的方法是同时考虑 b 和 A 二者的扰动。这就是全面最小二乘(TLS)的基本思想。换句话说,在 TLS 问题中,我们考虑矩阵方程：（2）()Exe的求解。 （2）式可以变换为（3a）1(|).0bAex或 （3b）()0BDz其中1|,|,.bAeEzx这样一来,对齐次方程(3)的全面最小二乘解可以简单表示为:求一个解向量z 使得：（4）|minFD式中，Frobenius 范数 （5
15、） 。1/21|()nFjijd5.2 TLS 与 LS 在数据处理方法对比研究5.2.1 设计平差网形,给出已知条件设计一平差网形如图 5-1,已知 A, B, C, D, P1, P2,P3,P4, 4 点的坐标,坐标如下表 5-2。图 5-1.平差网形表 5-2.已知点的真实坐标根据已知点坐标求出各个边长的真实长度,分别为:L1=5760.7132m， L2=5187.3387m， L3=7838.8726m， L4=5483.1580m， L5=5731. 8220m， L6=8720.1288m， L7=5598.6018m， L8=7494.8989m， L9=7493.2662m
16、， L10=5438.4036m， L11=5487.0595m， L12=8884.5594m， L13=7228.3699m。5.2.2 设计两种方案把 P1，P2，P3，P4 点作为待定点,对以上网形进行同精度观测 ,为了便于比较设计 2 组观测值,方案 1 为观测值与真实值相差不大的情况,即待定点坐标与真实坐标相差不大的情况,此时系数矩阵误差不大;方案 2 为观测值与真实值相差较大的情况,即待定点坐标与真实坐标相差较大,此时系数矩阵误差较大的情况,2 种方案观测值如下:方案 1:同精度测得如图 1 中的 13 个边长,其结果为 L1=5760.706m， L2=5187. 342m，L
17、3=7838.880m，L4=5483.158m，L5=5731.788m，L6=8720.162m，L7=5598.570m，L8=7494.881m ，L9=7493.323m，L10=5438.382m，L11=5487.073m，L12=8884.587m，L13=7228.367m。方案 2：同精度测得如图 1 中的 13 个边长，其结果为L1=5761.706m，L2=5186.342m，L3=7837. 880m，L4=5484.158m，L5=5730.788m，L6=8721.162 m，L7=5597.570m，L8=7493.881m，L9=7492.323m，L10=5
18、437.382m，L11=5488.073m，L12=8883.587m ，L13=7229.367m。5.3 精度比较与分析表 5-3 为以上两节获得的数据，以及真实坐标与经平差以后的坐标值的比较：图 5-3. 两种数据处理方法平差结果(单位/m)由上表可以看出：(1)最小二乘法处理方案 1 的数据精度可以达到 0.1mm，而处理方案 2 的数据精度的只能达到 1 mm。如果方案 2 中观测值误差更大一点，结果误差可能会更大。由此可见：最小二乘在处理非线性函数模型平差的时候，适用于待定点近似坐标与真实坐标相差很小的情况，相差较大的时候，由于最小二乘没有考虑系数矩阵的误差导致精度不高，数据可靠
19、性不高。(2)全面最小二乘处理方案 1 和方案 2 数据精度都可以达到 0.1mm 甚至更高。由此可见：全面最小二乘在处理非线性函数模型平差的时候，由于考虑了系数矩阵的误差，所以对于两种方案都能达到要求，平差出来的数据符合要求，数据可靠性有保障。5.3 结论最小二乘在处理非线性函数模型平差时,仅仅适用于待定点近似坐标与真实坐标相差不大的情况,即观测值误差不是很大的情况下,反之,则数据可靠性可能受到影响,要进行多次平差来验证。而采用全面最小二乘法则可以兼顾系数矩阵和观测值两者的误差,数据精度符合要求,可靠性得到保证,但是全面最小二乘也有它的不足,即数据处理比较复杂,随着计算机科学的发展,数据处理复杂的问题可以借助于程序设计让计算机来处理。参考文献1 费业泰. 误差理论与数据处理（第四版）. 北京：机械工业出版社，2000.2 贾小勇，徐传胜，白欣. 最小二乘法的创立及其思想方法. 西北大学学报, 2006,36(3):507-511.3 陈希孺. 最小二乘法的历史回顾与现状. 中国科学院研究生院学报,1998,15(1):4-11.4 万保峰,程新文,欧龙. TLS 与 LS 数据处理方法对比研究. 城市勘测,2007:74-76.
