1、对比分析最小二乘法与回归分析摘要最小二乘法是在模型确定的情况下对未知参数由观测数据来进行估计，而回归分析则是研究变量间相关关系的统计分析方法。关键词：最小二乘法 回归分析 数据估计目录摘要 .2目录 .3一：最小二乘法 .4主要内容 .4基本原理 .4二：回归分析法 .6回归分析的主要内容 .6回归分析原理 .7三：分析与总结 .10一：最小二乘法主要内容最小二乘法又称最小平方法是一种数学优化技术。它通过定义残差平方和的方式，最小化残差的平方和以求寻找数据的最佳函数匹配，可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式.利用最小二乘法可以十分简便地求得未知的数据，并使得
2、这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。基本原理考虑超定方程组（超定指未知数大于方程个数）：其中 m 代表有 m 个等式，n 代表有 n 个未知数 （mn） ；将其进行向量化后为：，显然该方程组一般而言没有解，所以为了选取最合适的让该等式“尽量成立“，引入残差平方和函数 S（在统计学中，残差平方和函数可以看成 n 倍的均方误差 当 时，取最小值，记作：通过对 进行微分求最值，可以得到：如果矩阵 非奇异则有唯一解：二：回归分析法回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种统计分析方法
3、。回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，建立不同的回归模型，确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。当自变量的个数等于一时称为一元回归，大于 1 时称为多元回归，当因变量个数大于 1 时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性回归。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，叫一元线性回归。回归分析的主要内容从一组数据出发，确定某些变量之间的定量关系式，即建立数学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。对这些关系式的可信程度进行检验
4、。在许多自变量共同影响着一个因变量的关系中，判断哪个（或哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。利用所求的关系式对某一生产过程进行预测或控制。回归分析原理在回归分析中自变量 是影响因变量 的主要因素， 1 ),(21mxxy是人们能控制或能观察的，而 还受到随机因素的干扰，可以合理y地假设这种干扰服从零均值的正态分布，于是模型记作 ),0(21Nxym其中 未知。现得到 个独立观测数据 ， ，n),(1iiy mn,1由上式得 niNxxyi iim,1),0(21记， nmnxX
5、11nyY1，Tn1Tm10表为 ),0(2NXY参数估计 2用最小二乘法估计模型中的参数 。由这组数据的误差平方和为 ni TXYQ12)()()( 求 使 最小，得到 的最小二乘估计，记作 ，可以推出)(YXT1)(将 代回原模型得到 的估计值ymxx10而这组数据的拟合值为 ，拟合误差 称为残差，可作为XYYe随机误差 的估计，而niniiiyeQ1122)(为残差平方和（或剩余平方和） ，即 。统计分析 3不加证明地给出以下结果：（i） 是 的线性无偏最小方差估计。指的是 是 的线性函数； Y的期望等于 ；在 的线性无偏估计中， 的方差最小。（ii） 服从正态分布 )(,12XNT（i
6、ii）对残差平方和 ， ，且Q2)1(mnE2由此得到 的无偏估计2221mnQs是剩余方差（残差的方差） ， 称为剩余标准差。2s（iv）对 的样本方差 进行分解，有YniiyS12)(， UQniiy12)(其中 残差平方和，反映随机误差对 的影响， 称为回归平方和，QU反映自变量对 的影响。y回归模型的假设检验 4因变量 与自变量 之间是否存在如模型所示的线性关系是需ymx,1要检验的，显然，如果所有的 都很小， 与|j),1(mjy的线性关系就不明显，所以可令原假设为mx,1 ),1(0:0jHj当 成立时由分解式定义的 满足0HQU, )1,()1/(mnFnF在显著性水平 下有 分位数 ，若 ，1, )1,(1mnF接受 ；否则，拒绝。0H三：分析与总结最小二乘法是基于既定模型对未知参数的一种估计方法，以函数残差和最小的条件对未知参数进行估计。回归分析包括：建立带有参数的函数模型（即经验公式） ，通过最小二乘法、最大似然估计法等方法对模型参数进行估计；讨论有关的点估计、区间估计、假设检验等问题；通过函数模型进行预测等内容。总而言之，回归分析属于统计推断问题，最小二乘法是一种参数估计方法，在回归分析的模型建立阶段，可选择最小二乘法对参数进行估计。
