1、超定方程组最小二乘解最小二乘法广泛地应用于工程计算中，用最小二乘法消除（平滑）误差，用最小二乘法从有噪声的数据中提取信号，从海量数据中找出数据变化的趋势，。甚至利用简单函数计算复杂函数的近似值，我们并不期望它的近似值多么精确（事实上很多时候也不用很精确） ，尽管如此还是希望计算出的近似数据与原始数据之间有相似之处。如果从线性代数角度来理解最小二乘法，实际上是将一个高维空间的向量投影到低维子空间所涉及的工作。一、超定方程组的最小二乘解当方程组 GX=b 的方程数多于未知数个数时，对应的系数矩阵 G 的行数大于列数，此时方程组被称为是超定方程组。设 G=(giu)mn，当 mn 时即所谓的高矩阵，
2、绝大多数情况下，超定方程组没有古典意义下的解。超定方程组的最小二乘解是一种广义解，是指使残差 r = b GX 的 2-范数达取极小值的解，即 22*|i| GXbGXbmR该问题是一个优化问题。命题 1：如果 X*是正规方程组 GTGX=GTb 的解，则 X*是超定方程组 GX=b 的最小二乘解证 由题设可得，G T (b GX*)=0。对任意 n 维向量 Y，显然有(X* Y)TGT (b GX*)=0考虑残差 2-范数平方，由 2*2 |)()(| Xb上式右端利用内积，得 2*2*2*2 |)(| GbYGXGY从而有| b GY |2 | b GX *|2等式仅当 Y=X*时成立。所
3、以 X*是超定方程组 GX=b 的最小二乘解。命题 2：如果 X*是超定方程组 GX=b 的最小二乘解，则 X*满足正规方程组 GTGX=GTb证 由题设， ，利用 2-范数与内积关系，知 X*是下面二次22|min| GbGbRX函数的极小值点(X) = (GX，GX) 2(GX，b) + (b，b)取任意 n 维向量 v，对任意实数 t，构造一元函数g(t) = (X* + t v)显然， g(t) 是关于变量 t 的二次函数g(t) = (G (X* + t v)，G (X * + t v) 2(G (X* + t v)，b ) + (b，b)= g(0) + 2t (GX*，Gv )
4、(Gv，b)+ t 2 (Gv，Gv )由题设 t=0 是 g(t)的极小值点。由极值必要条件，得 。即0)g(GX*，Gv) ( Gv，b)=0将左端整理化简，便得(Gv，GX * b ) =0利用内积性质，得( v，G T(GX* b ) )=0由 v 的任意性，得 GT(GX* b ) =0二、最小二乘解的几何意义首先考虑一个简单的超定方程组 63121534yx该方程组的右端向量是三维向量，系数矩阵的每一列也是三维向量，但待求的未知向量却是二维向量。将系数矩阵按列分块，G =1， 2，记右端向量为 。则方程组求解问题可表示为求组合系数 x 和 y 使x1 + y2 = 的向量的线性组合问题。由于两个向量 1， 2 不构成三维空间的一组基，所以一般情况下这一问题无解。而由向量 1， 2 张成的子空间 span1， 2是一张平面，记为 。则超定方程组的最小二乘解实际上是求 X*，使 GX* 恰好等于 在平面 上的投影。而最小二乘解所对应的残差向量则垂直于向量 GX*。事实上，由正规方程组GTGX=GTb得GT (b GX * ) = 0GX* rmin =b GX*上式的几何意义可解释为：最小二乘解的残差向量与超定方程组的系数矩阵 G 的所有列向量正交。从而(X*)T GT (b GX * ) = 0所以(GX *，b GX * ) = 0
