1、1目录前言第1章 估计方法和广义测量平差原理 (1)1-1概述1-2多维正态分布 1-3极大似然估计1-4最小二乘估计)1-5极大验后估计1-6最小方差估计1-7线性最小方差估计1-8贝叶斯估计1-9广义测量平差原理第2章最小二乘平差的统一理论和方法2-1概述2-2秩亏自由网平差2-3附加系统参数的自由网平差2-4极大验后滤波与推估2-5最小二乘配置2-6静态逐次滤波2-7随机模型具有奇异协因数阵的平差2-8广义G-M 模型的平差问题2-9广义G-M 模型下的精度和统计性质第3章平差随机模型的验后估计3-1概述3-2赫尔墨特方差分量估计法3-3方差一协方差分量估计3-4二次无偏估计法3-5方差
2、分量估计中的精度评定第4章动态线性系统的卡尔受滤波4-1连续线性系统的数学模型4-2离散线性系统的数学模型4-3离散线性系统的卡尔曼滤波4-4动态测量系统的卡尔曼滤波4-5离散型卡尔曼滤波的推广24-6离散线性系统的预测4-7离散线性系统的平滑第5章稳健估计的基本理论5-1统计稳健性5-2稳健性的数学描述5-3位置参数的稳健估计第6章有偏估计6-1概述6-2岭估计6-3广义岭估计参考文献1 崔希璋，於宗祷，陶本藻，刘大杰广义测量平差北京：测绘出版社，19822 崔希璋，於宗祷，陶本藻，刘大杰，于正林广义测量平差（第二版）北京：测绘出版社， 19923 黄琳系统与控制理论中的线性代数北京：科学出
3、版社，19844 袁天鑫最佳估计原理，北京：国防工业出版社，19795 王松桂线性模型的理论及其应用合肥：安徽教育出版社，19876 贾沛璋，朱征桃最优估计及其应用北京：科学出版社，19847 黄维彬近代平差理论及其应用北京：解放军出版社，19928 李庆海，陶本藻概率统计原理和在测量中的应用（第二版）北京：测绘出版社，19909 陶本藻自由网平差与变形分析北京：测绘出版社,198410 周江文误差理论北京：测绘出版社，197911周江文，陶本藻，庄昆元等拟稳平差论文集北京：测绘出版社，198712王新洲稳健二次估计理论及其在GPS 随机模型估计中的应用：博士论文武汉：武汉测绘科技大学，199
4、413孙海燕P 范分布理论及其在测量数据处理中的应用：博士论文武汉：武汉测绘科技大学，199514 方开泰，金辉，陈庆云实用回归分析北京：科学出版社，198815 刘大杰，陶本藻等实用测量数据处理方法北京：地图出版社，200016陈希孺，方兆本等非参数估计上海：上海科学技术出版社，198917MoritzHLeast-Squares KolloKationDGK-A75，Mnchen 197318Wolf. HAusgleichungsrechnung Formeln Zur Praktischen Anwendung. Dmrnler： Bonn，1975319Huber ， PJRobus
5、t Statistics. JohnwilleyNew York，198620Kocb K R Parameterschtung und Hypothesentests in Linearen Modellen Dmmler.Bonn，198021Rao. C. RLenear Statistical Inferences and Its ApplicationJohn Wiley：New York， 1973第1章 估计方法和广义测量平差原理1-1概述在测量、通讯和控制等学科中，为了求得某些未知参数，常常要进行一系列的观测。由于测量上的局限性，往往只能观测未知量的某些函数，且观测值中必然含有
6、误差（或称为噪声）。这就产生了根据含有误差的观测值求定未知参数估值的问题。下面举几个例子。(1)为了确定平面或三维控制网中各点的坐标，对控制网的边长和方向进行了观测，当然，观测值包含有误差。设各点的坐标为未知参数向量X，而包括边长和方向的观测值向量为L，则L和X之间有函数关系 )(XFL式中表示误差向量。通过含有误差的观测向量L来求定待定点坐标的最佳估值，就是一个估计问题。在测量中，就是一个平差问题。(2)通讯理论中的一个重要间题是从接收到的信号中，提取被发送的信号。设被发送的信息调制成信号 ，而接收到的信号也就是信号的观测值 ，由于大气噪)(tS )(tL声和电路噪声的干扰，因此有 )(tn
7、SL其中 是噪声，t表示时间。通讯中的主要问题就是从 中将有用的信号)(n )(t分离出来，也就是由 求定 的最佳估值。信号 也是一种未知参数。tS)(t)(tS(3)生产过程的自动化可以达到高效率和高精度。在实现生产过程的控制中，需要通过对生产系统进行状态的不断测量，得到与系统运行状态有关的观测值；然后对观测值进行分析处理得到控制信号，实时地控制生产系统按要求运行。但由于观测值中存在误差，所以，为了得到控制信号，就要求由观测值来估计系统的运行状态。(4)卫星（或其它运动体）的轨道往往可以由如下微分方程确定 )(,)()(tUtXft式中 t 表示时间； 表示卫星的轨道参数，在此处称为状态向量
8、； 为)(tU控制向量； 是随机的状态噪声（不是观测值的噪声）。为了精确估计或预测卫星)(的轨道，就需要对卫星进行观测，从而得到大量的观测数据 ，然后实时地由含有)(tL误差的观测值 来估计卫星的轨道，即估计卫星的轨道参数。tL4以上例中所述的信号或状态都可以说是一种未知参数。在测量平差中，通常称非随机的未知参数向量为参数，而称随机参数向量为信号，而称随时间t变化的动态系统中的未知参数向量为状态向量，或简称为状态。可以看到，在上面的例子中，都存在一个对未知参数进行估计的问题。一般说来，若设X为 t 阶未知参数向量（简称为参数），L为 n 阶观测向量（或称观测值），表示 n 维误差（或噪声）向量
9、。那么，所谓估计问题，就是根据含有误差乙的观测值L，构造一个函数 ，使 成为未知参数向量X的最佳估计)(X)(L量，其具体数值称为最佳估值（以后一般不区分其含义）。通常将 简记为 ，)(LX并记 X)( 称 为 的估计误差。X)(L可以看到，当 的数学期望等于零时， 的方差就等于X X ；而当X 为非随机量时，未知参数的估值 的方差 也就等)(DTE XXD于其误差方差 。在估计理论中，通常是用估计量 的误差方差 来衡)( )(量其精度的。但在经典的最小二乘平差中，由于X 一般都是非随机参数，所以习惯上都用估值（平差值）的方差 衡量精度。XD在根据观测值L求未知参数X 的估值 时，总是希望所得
10、到的估值是最优的。)(L由估计理论知道，最优估计量主要应具有以下几个性质：(1)一致性。由观测值得到的估值 通常与其真值是不同的，我们希望当观测值个数n增加时，估计量变得更好些；当n无限增大时，估计量向被估计的参数趋近的概率等于1。即如果对于任意 0，有（1-1-1 ）1)(XPimln则称估计量 具有一致性；若有X（1-1-2 ）0)Tnil则称此估计量是均方一致的。估计量的一致性是从它的极限性质来看的。(2)无偏性。若估计量 的数学期望等于被估计量X的数学期望，即（1-1-3）)(E如果X是非随机量，上式即为（1-1-4）则称 为无偏估计量。如果 ，则称 为渐近无偏。 )()(nX(3)有
11、效性。若由观测向量L得到无偏估计量X 的误差方差 ，)(TE小于由L 得到的任何其它无偏估计量X* 的误差方差 ，即*)(TXE*)(T5或写为 （1-1-5）)(XD)(*则称 是有效估计量，也称 具有有效性或方差最小性X以不同的准则来求定未知参数的最佳估值，可得到不同的估计方法。估计方法主要有极大似然估计，最小二乘估计，极大验后估计，最小方差估计和线性最小方差估计等；经典的测量平差法都是以最小二乘估计或极大似然估计为根据导出的；而滤波、配置和动态系统的卡尔曼滤波等，最初是以极大验后估计或最小方差估计为根据导出的。因此，概率统计中的估计理论是广义测量平差的理论基础。1-2多维正态分布正态分布
12、是测量平差理论中最常用的误差分布，是最小二乘平差误差理论的基础。本节在已学过一元正态分布基础上，对多维正态分布作全面阐述。广义测量平差理论中还牵涉到其它分布，则将分别在相应章节中一一介绍。1。多维正态分布的定义和性质设有m个互相独立的标准正态随机变量构成的随机向量 ，TmZZ,21则称它们的有限个线性函数（1-2-1）1221nmnnZAX为n维正态随机向量。此时，X 的数学期望和方差阵为（1-2-2)TXADE)(X的分布函数和概率密度都简称为 n维（或n元）正态分布，简记为，或写为 。),(TnAN),(XN由互相独立的标准正态随机变量组成的随机向量Z，可写为 ，),0(nENZ为n阶单位
13、阵。E多维正态分布具有以下性质：（1）正态随机向量的线性函数还是正态的。例如，设 ，Y = ),(TnAXBXb，则 ),(TnBANY（2）设 ，记X， ，212121DT6则 ， ),(11DNXr),(22DNXrn2。多维正态分布设有n维正态随机向量 ，其中方差阵 为可逆阵，即det（ ）n XXD，则它的概率密度为0（1-2-3） )()(2exp)( 121TXXn xxf式中 表示 的行列式。XD对于二维正态随机向量 ，若它有可逆方差阵和数学期望为TY和2YX21则由（1-2-3) 式可得其概率密度为 )( )()(exp)(21),( 22 222 XYXYXXY xxyxf
14、因相关系数 ，所以上式可写为XY 2222 )()()()(1exp2),( YYXXYXXYYX xxxyf （1-2-4 ）这就是二维正态随机向量概率密度。当 或 时，即当X 和Y 是互不相关的两个正态随机变量时，则有0XYY（1-)( 2)(exp21)exp21)(),( 222yfyxfx YYXXYX 2-5）这就是说，当 时，X 和Y 是互相独立的。所以，对于正态分布来说，随机0Y变量的“互不相关”与“互相独立”是等价的。根据(1-2-4)式绘制二维正态曲面（密度曲面）如图1-1 。曲面在点 处取得),(yx最大值。如果用平行于XOY面的平面ZZo（常数）截此曲面，即得到一族椭圆
15、，椭7圆上所有点的概率密度值均相等，因此，称这些椭圆为等密度椭圆。3。正态随机向量的条件概率密度设有n+t 维正态随机向量 X，且设， ，21X2121DX1和X 2分别是由X的前n个分量和后t个分量构成的正态随机向量，即， 。X 的概率密度是),(1DN),(2Nt（1-2-6） 2112121expxxf XTXtn按分块矩阵求逆公式，有（1-2-7） 121211 DDX或为（1-2- 121212211DX8）其中（1-2-9 ）1212D可将（1-2-7）和（1-2-8 ）两式分别写为（1-2-10） 011211 DEEttX（1-2-11） 12121211nn8因 还分解为XD
16、 EDED21211221 000所以， 的行列式之值为X121利用（1-2-10）和（1-2-9 ）和（1-2-13 ）式，可将概率密度式（1-2-6 ）改写为（1-2-14） )(21exp)2(,)( 21221 11 xDDxff Ttn或（1-2-15） )(21exp)2(,)( 1121 21221 xxff Tnt其中（1-2-16）)(21221xD根据边际概率密度和多维正态分布的性质知（1-2-17） )(ep)( 11111 xDxf Tn（1-2-18）(2x2 2222ft又由条件概率密度公式知（1-2-19）)(,)/(1212xff（1-2-20）,2x将（1-2
17、-14）和（1-2-17 ）两式代入（1-2-19 ）式，得（1-2-21） )(1ep)2(/( 21222112 xDDxf Tt而将（1-2-15）和（1-2-18 ）两式代入（1-2-20 ）式，即得9（1-2-22） )(21exp)2(/( 11211 xDDxf Tn显然，上两式仍然是正态概率密度，根据条件期望和条件方差的定义和正态概率密度的性质可得（1-2-23）)()/( 112212 21xxXE（1-2-24）121212/ DD因此， （1-2-21）和（1-2-22 ）又可写为 )/()/()/(exp)/()2(/( 12211222112 xXExxXEXxf T
18、t/ 12fn（1-2-25）正态分布的条件期望具有以下性质：（1） 由（1-2-23）式知， 是 的线性组合，所以，它是正态随机向量；)/(21xXE当然， 也是正态随机向量。)/(12x（2） 设 X 和 Y 为正态随机向量，且设（1-2-26）AZy)/(则 是与 Z 互相独立的随机向量。因为 YXXYYX YXDEDE D11 11)(AZ0由协方差传播律可得 0),(1TYXTXY TXADAEZD（3） 设 ， ， ，且 ，),(N),(1N),(22DNY0),cov(21Y而 ，则有,121 X（1-2-27）XyEyyEy /(/10证 因为)(),/()/( 121 YXY
19、DyXEy 212021yDY所以XXYXYy )()(),/( 211121 2= Ey/)/(2（4） 设 ， ，且,NX,YDN， ，21Y 21DY TXYYX21令 ，则有)/(12yE XyEyy )/()/(,/( 121证 因为 1221121122 DYDYY所以，0)(2E212 12121DDEE （1-2-29）),(12Y1XY2 XYYD12利用分块求逆公式和（1-2-29）式得 )(,/ 121XyyXE= 2112121 YDY= 2112 021 YDEEDXYX= 211122112)(21 YXXY= XYXD )()(, 111111 XyEyX)/()
20、/(214。矩阵反演公式由于正定矩阵的逆阵惟一，故由（1-2-7）、(1-2-8)两式直接可得：（1-2-30） 1212121211 )(DDD（1-2-31）2)(由此可知，对于任意矩阵A、 B和任意可逆阵C、D，只要在下式中它们可以相乘，就有上两式关系，-般形式为（1-2-32）1111 )()( BA（1-2-33）AC通常称（1-2-32）、（1-2-33）两式为矩阵反演公式，是两个非常重要的关系式，在测量平差推导公式时常要用到。矩阵反演公式也可直接证明。令 ，则有1)(ACBDHEEHBD或,)(（1-2-34）1将上式左乘B，得 )(1或 BABC11此即（1-2-33）式，代入
21、（1-2-34）式，即得（1-2-32 ）式。1-3极大似然估计设有参数向量 ，它可以是未知的非随机量，也可以是随机向量，为了估计X 进1t行了n次观测，得到了观测向量 的观测值 ，又假定对X 的所有可能取值为 ，在1nL1nl xX 的条件下得到的观测向量 L的条件概率密度为 。容易理解， 是x )/(xlf )/(lf和 的函数，但对具体的观测值 来说， 可以认为只是 的函数。因此，如l l/lf果 是 中的一个，而 是 中的最大值，那么， 是X 的准确值的可能)/(xlf)/(f 性最大。此时把 叫做X的极大似然估值，并记作 或 。这就是说，极大 )(LM似然估计是以max （1-3-1
22、）)/(lf为准则求最佳估值戈的方法。显然，它满足于（1-3-2）0)/()(LXxMlf12由于对数是单调增加函数，因此 与 在相同的 值达到最大，亦)/(lnxf)/(lfx即(1-3-2)式等价于（1-3-3）0)/(l)(LXxMf此方程称为似然方程， 称为似然函数，而 称为对数似然函数。/lf )/(lnxf如果参数X是非随机量，则 ),()/(lfxlf而（1-3-1) 式变为max （1-3-4),)/(lf此时， 是 的概率密度，其中的 只是表示函数与参数X 有关。),(xlf1nL由似然方程或（1-3-2）式可见，极大似然估值 是观测值 L的函数。在采用极ML大似然估计求 ，
23、需要首先知道似然函数 或对数似然函数 ln 。MLX )/(xlf )/(xlf例1-3-1 设有观测方程为（ k1,2，n）k并且已知 与 互相独立， 的概率密度为j)(kX22)(1exp21)( xkxkxf 试由观测向量 ，求 和 的极大似然估值。1nL解 由于 与 具有相同的分布，所以有似然函数kjXnkxxnxx lflflf 122212 )(ep)()(,/( 下面分几种情况讨论：（1）当 为已知，求 的极大似然估值。2x因对数似然函数为 nkxxnxx llf 1222 )()(l),/(n 故由似然方程可得： 0)(1),/(l 22 xMLxMLnkxx lf 即130)
24、(1nkxMLl因此 nkxLl1又因为 xnkknkxMLXElE11)()()(所以 是 的无偏估计量。xMLx（2）当 为已知，求 的极大似然估值。2x由对数似然函数和似然方程可得： 0)()(21),/(ln 2222 nkxxMLxLx lnfMLx 可得 nkxxl12)(因为 212)()( xnkxxMLlE所以 是 的无偏估计量。2xMLx(3)当 和 均为未知时，求 和 的极大似然估值。x2由于这时有两个参数，若设 ，则似然方程为TxX0),/(ln,),/(ln 222 MLML XxxxXxff 可得 0)(1nkxl)()(2122nkxMLxMLxLl因此 nkxl
25、114nkxMLxMLl122)(且xnkknkxMLXElE11)()()( 222 xkxMLx 即 是 的无偏估计量； 是 的的有偏估计量，但当 时， L n，因此， 是 的渐近无偏估计量。)(2xME2x2xLx上例中的似然函数是正态条件概率密度。一般来说，当 是正态条件概率密)/(xlf度时，有（1-3- )/)/(21ep)/()2(/ 121 LElDxLElDlf Tn5）式中（1-3-6）)()(/(1XxLEXL（1-3-7）L则似然方程等价于min)/()/)/(1xElDlT也等价于 0/ 1 MLXxlxLElx由此可得： )/()/()()( 11dXl TMLXL
26、而 1/XLDdxE所以有 0)()/()()/( 111 LElxXDxLMLX即得（1-3-9）/ 1xEXLXM 上式就是当 为正态条件概率密度时求极大似然估值 的公式。)/(lf ML例1-3-2 设有线性模型（1-3-10）BL若 ， ， ， ，且 ，0)(D)(XE)(XD)(015正定，由（1-3-10)式知XD， ，XBLE)( DBTXL XLB因此，（1-3-6）、（1-3-7 ）式为 )()()(/ 11 XLDEx TXTXLXL(代入（1-3-9) 式，可得（1-3-11）BDBTTM111)(结果说明，对于线性模型（1-3-10），尽管X 是随机参数，其极大似然估计
27、并不受其先验期望和先验方差的影响。例1-3-3 设对被观测量X进行了n次独立的同精度观测，得观测值L1，L 2，Ln ，其真误差分别为 1， 2，n：，若假设 X的极大似然估值为 ，且满足x(1-3-12)0(mi1 pxLnpii试根据极大似然估计原理求观测误差的概率分布密度函数。解 设误差的概率密度函数为 f(A) ，则 的联合概率密度为)(f n.,21(1-3-13)niiff21)(.,(将上式取对数并对 求导，考虑到 ，可得xiLx(1-3-14)niiffd121)().,(ln记 ，由于 为极大似然估值，所以由 知iiLxvx 0).,l2xndx（1-3-15 ）0)(1ni
28、ivf令 /)(fv（1-3-15）成为（1-3-16）01nii由于 满足（1-3-12)式，所以应有x1xnipiLd16即 012inipv记 （1-3-17）iiiy则有 （1-3-18）1ni由（1-3-17）知 可表达为 的函数，所以 亦可表达为 的函数，不妨记ivi )(iviy 。将 展开为 的幕级数)(iviyg)(y i)(ig3210kyk将上式求和，考虑到（1-3-16)式得 0)( 1312101 ninininii ykv由此式及（1-3-18)式并顾及到 可取任意值，知)(0ki及 iiykv1)(即 （1-3-vfp21/19）对上式取积分，并写成指数形式得 p
29、vkAef1)(所以观测误差 的概率密度函数为（1-3-20）pk1由偶然误差的特性知 为偶函数，则 随 的增加而减小，所以k 10，)(f )(f记 ，（ ）则（1-3-20）可写成phk10（1-3-21）pAef)(1)(考虑到 及1)(20dfdf 2022)()( dfdf可得和 2)1(3ph)1(3pA式中 为观测误差 的母体方差。 为伽玛函数，将A、h代入（1-3-21)式即2x得17（1-3-22）pepf )1(3()12)( )0式（1-3-22) 称为 -元p范分布的概率密度函数。本例说明当x的极大似然估值满足(1-3-12)式时，其随机误差服从-元p范分布，概率密度为
30、（1-3-22)式。181-4最小二乘估计设被估计量是 维未知的参数向量X ，观测向量为 ，其观测误差（或称为t )(1tnL噪声）向量为 ，观测方程1n（1-4-1)BXL式中B的秩rk(B）t， ， ，设X的估值为 ，则有0)(ED)(（1-4-2)V所谓最小二乘估计，就是要求估值 使下列二次型达到最小值，即（1-4-3)min)()()( LPPTT其中， 是-个适当选取的对称正定常数阵， 称为X的最小二乘估值，记为nP或 （L）。LSX当参数X的各个分量 之间没有确定的函数关系，即它们是函数独立的参数时，iX可将 对 求自由极值，令其- 阶导数为零，得)(（1-4-4)02)( PBV
31、TT转置后，得 )(LX或 （1-4-5)PBTT解得 （1-4-X1)(6)又因为 02)(2PBT所以 使 达到极小值。X)(最小二乘估计量 的估计误差为（1-4-7) PXPBTTTT 11 )()()(由此式按协方差传播律可得 的误差方差阵为（1-4-8） BPDDX将对称正定阵 表示为 （R为可逆阵），并令T11)(baT则得：19EPBRBabTT11)(且由“矩阵形”许瓦茨不等式可得： )()()(TTX abD即 111 )(DPDBTT只有当 或 （ 为常数）时，上式才取等号，而使P20的误差方差阵达到最小，此时有（1-4-9)2011 )()()( PBBVaxTTXX有时
32、将 取为 或 时的估计称为马尔柯夫估计，此时应将(1-4-3)式写为120（1-4-10)minP可以看到，最小二乘估计具有如下性质：(1)最小二乘估计是-种线性估计，即 X的估计量 比是观测值的线性函数。(2)当观测误差的数学期望为 时，因0)(EBL所以 XPPBXETTTT 11)()()即 具有无偏性。LS(3）当观测误差的方差阵为 ，而取 或 时，D1D201的误差方差阵达到最小值。S(4)最小二乘估计不需要X的任何先验统计信息。当 X是非随机量，或X虽然是随机量，但完全不考虑其先验统计信息时，由观测方程(1-4-1)和(1-4-6)式按协方差传播律可知（1-4-11)L（1-4-1
33、2)(LSXSXD上面是不考虑概率分布，直接将（1-4-3)式作为-种估计准则。当观测误差和参数X是正态随机向量时，这种最小二乘估计准则还可以从极大似然估计导出。设 ， 由于X 和-般是互相独立的，故设如),0(DN),(x。则由观测方程（1-4-1)式可得：（1-4-13）XLTxBE而在 条件下的条件概率密度为xX20 )/()/)/(21exp)/()2(/ 121 xLElDxLElLDxlf Tn式中/1xXLLELx)(将（1-4-13) 式代入上式得：BBxx)(/ DBDDTXTXLTX )()(由于似然方程等价于min/)/)/(1xElEl所以也等价于（1-4-14)min
34、BT考虑到或1DP201LXBV则（1-4-14）式也就是最小二乘估计的准则(1-4-10)。这就由极大似然估计导出了最小二乘估计。从上述讨论看到，在由极大似然估计导出最小二乘估计的过程中，虽然将参数X作为随机向量，但是在求最小二乘估值 时，并不需要知道X的先验期望和先验方LS差。因此，从这个意义上可以说，最小二乘估计实际上并没有考虑参数的随机性质。正因为如此，当不知道参数的先验期望和先验方差，或者参数是非随机量时，可以应用上述最小二乘估计求其估值。本节是以间接平差的函数模型为例，说明了最小二乘估计的准则。至于其它的各种经典平差法（如条件平差、附有参数的条件平差、附有限制条件的间接平差），尽管
35、它们各具自己的函数模型，但它们所依据的估计准则不变，其差别仅在于：在不同的函数模型下，它们的具体求解方法有所不同。因此可以说，各种经典平差方法，都是依据最小二乘估计准则 ，去求未知参数X的最小二乘估值 和观测minPVT LSX值L 的平差值 。1-5 极大验后估计如1-3中所述，极大似然估计是以“ =min”为准则的估计方法，而极大验)/(xlf后估计则是以（1-5-1)a)/(lxf为准则的估计方法。这里 是随机参数向量 在观测向量 的条件下的1tX1nlL条件概率密度， 仍然表示L的观测值。这个准则的含义在直观上是较明显的。它的含l义是：给定了L的-组子样观测值 ，由这组 可以按-定的概
36、率取得参数 X的不同估值ll，其中最佳估值的条件概率密度 应为极大值。- 般用 或 表示X )/(xf MA)(21由极大验后估计得到的最佳估值，称之为极大验后估值，显然 应满足MAX(1-5-2)0)/(lnMAXxlf此方程称为验后方程。因为 )(ln),(l)/(ln,22fxfxf将上式对 求导，则有xlf,)/(ln由此可知，极大验后估计的准则（1-5-1)式也等价于max （1-5-3),(xlf例1-5-1 设有观测值 ，观测方程为TnLL21， (i1,2，n）iixL3其中参数 与观测误差 均为相互独立的正态随机变量，且有 ，i ),0(2Nx，试求 的极大验后估值 。),0
37、(2NMAX解 因 和 的概率密度为i 21exp2)(xxf 2if由此可得 23)(exp21)/( lxlf ii 213)()()/ninxllf所以 )(,)/(21lfxlxf22221321 )(exp)()2( xnixnllf 则由验后方程得： 0)(2213MAXxnixl即有 02)(3221 xAni iMAlx或写为 1321252 MAxAniMAlx解此方程就可得到极大验后估值 。下面讨论X和L均为正态随机向量的情况。因为此时条件概率密度为（1-5- )/()/)/(2exp)/()2(/ 121 lXExlDlXElXDxlf Tt4）其中（1-5-5）)()/
38、(1LXLxlE（1-5-6）X上式中各个符号的意义均与1-3中相同。将（1-5-4)式代入验后方程（1-5-2)，有 0)/()/)/( 1 MAXxTlElDlx则得 /(1llXTMA所以 )亦即 （1-5-8 ）)/(lEMA )(1LXLxD估值 的估计误差为MAX23MAXMA)(1LXLxD= (1-5-9)1 xLXE由协方差传播律可得 的误差方差阵为A 11)( LXLXLXX DEDDMA即得：(1-5-10)/()(1 lMA （1-5-8) 和（1-5-10)式就是当 X、L为正态随机向量时，极大验后估计求X的估值及其误差方差的基本公式。MA由（1-5-8）式不难看出，
39、 是X 的无偏估值。A例1-5-2 设有观测方程（1-5-11)B也设X和为正态随机向量， ， ，cov（X，）),0(DN),(x0。此时有 XLTxBE将它们代入（1-5-8)式即得： （1-5-12)/(lXEMA )()(1xTTx BLD它的误差方差阵为(1-5-13)XXDA 从上面的讨论可知，由于极大验后估计考虑了参数X 的先验统计特性，因此，当参数的先验期望 和先验方差 已知时，极大验后估计改善了最小二乘估计，此时，x极大验后估值 的误差方差要小于其最小二乘估值 的误差方差。MA LS1-6最小方差估计最小方差估计是-种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L
40、 求得参数X的估值，如果它的误差方差比任何其它估值的方差小，就认为这个估值是最优枯值。记X 的最小方差估值为 或 。MVX)(设任-估值为 ，其估计误差为 ，而误差方差阵为 dxlfxEDTTX ),()()()( （1-6-1)lf)(/224当 取最小值时的 就是最小方差估值 。因（1-6-1) 式表示的方差阵是)(XDXMVX-个非负定对称阵，所以，为了求得使 取得最小值的 ，只需要求下式的最)(DV小值，即得：(1-6-2)dxlfxT)/()(由上式可写出 dxlflXEllXElx T)/()/()/(/因为1)/(dlf 0)/(xlfx化简得（1-6- TT xlXExldxl
41、flXEl )/()/()/(/)/( 3)由于 总是-个非负定阵，所以xXE)(（1-6-4)dlfllT)/()/(/欲使 取得最小值，就应使上式取等号，此时应使 0xXE即得参数的最小方差估值为（1-6-5)/(lMV而最小方差估值 的误差方差阵为VX)(MVDTllE/)/(dlfxlfXExx )()/()(2即 （1-6-6)(MVXdlflD/2它是估计误差的最小方差阵。（1-6-7)()(,)(/()12XEdxfldlfflE25因 )(),(1xfdlf可见， 是X的无偏估计量。MV可以看到，当X和L都是正态随机向量时， X的最小方差估值 和它的极大验后MVX估值 是相等的
42、。然而，当X和L不都是正态随机向量时， 就不-定等于A了。1-7线性最小方差估计前面所述的极大似然估计、极大验后估计和最小方差估计，均要求知道观测向量L和未知参数向量x的条件概率密度或联合概率密度，它们所得到的估计量 可以是LX的任意函数。而最小二乘估计可以不需要知道任何统计性质，所得到的估计量 是SL的线性函数，所以说最小二乘估计是-种线性估计。本节的线性最小方差估计则是放宽对概率密度的要求，只要求已知L和X的数学期望和方差、协方差，以及限定所求的估计量是观测向量L的线性函数，再以估计量的均方误差达到极小为求最优估计量的准则。这样得到的估计量称为线性最小方差估计量，并记为 或 。)(L设已知观测向量L的数学期望和方差为 和 ，参数向量X的先验期望和方差为1nLD和 ，L和X 的协方差为 ，又设估计量 是L 的线性函数1txtDtnLX（1-7-1)式中 和 ：只是非随机常数向量和系数矩阵。此时， 的误差向量是1tnt (1-7-2)LX则 的数学期望和方差分别为X(1-7-3)xE)(1-7-4)LXTXLTLXDD而 的均方误差阵为XTXT EE )()()()()( XTXE( 即得 )(TX )()TXDE( LXTXLTLD将上式配方，则有 )(TXTX)(1-7-5)LX
