1、回归直线方程的推导山东 王加祥 范玉峰设 与 是具有线性相关关系的两个变量,且相应于样本的一组观测值的 个点的坐xy n标分别是: ,下面给出回归方程的推导123()()()nxyxy,设所求的回归方程为 , 显然,上面的各个偏差的符号有iiba123)i,正、有负,如果将他们相加会相互抵消一部分,因此他们的和不能代表 个点与回归直线n的整体上的接近程度,因而采用 个偏差的平方和 来表示 个点与相应直线(回归直线)nQ在整体上的接近程度,即 22222311()()()()()nni ii nii iQyybxaybxaybxaybxa求出当 取最小值时的 的值,就求出了回归方程,一、先证明两
2、个在变形中用到的公式公式(一) ,其中2211()nniiixx12nxx证明: 22()()i ni 2211(nnxxx 2 2222 11()()nix 211nniiixx公式(二) 1()niiiiyxy证明: 221()()()nii nnixxyxy 212() )n nyyxy 121()ni nxxyx 12)niyyy ,1 12ni ixxx()niiiiyy二、推导:将 的表达式的各项先展开,再合并、变形Q22221 3()()()()nybxaybxaybxaybxa展开212 n 合并同类项2211111nnnniiiiiybxyabxa 以 的次数为标准整理2 2
3、 211111nniinnniiia y ab,转化为平均数22 2111()nnniiinybxbx xy,配方法2 21() niiia y 展开22 211()nniiinybxnybxbxy 整理221()()()i i ia y 用公式(一) 、 (二)2 211()nnni iiii i inybxxbxy 变形配方22 2121 1()()() ()niin nii ii iiixynaybxxby 222 12 212 21 1()()()() ()nn iiiin niii ii iii ixyxynaybxxb y 配方法在上式中,共有四项,后两项与 无关,为常数;前两项是两个非负数的和,因此ab,要使得 取得最小值,当且仅当前两项的值都为 0所以 ,Qaybx或12()niiiiixyb用公式(一) 、 (二)变形得12niixyb 三、总结规律上述推导过程是围绕着待定参数 进行的,只含有 的部分是常数或系数,用ab,ixy,到的方法有:配方法,有两次配方,分别是 的二次三项式和 的二次三项式;变形时,b用到公式(一) 、 (二)和整体思想;用平方的非负性求最小值实际计算时,通常是分步计算:先求出 ,再分别计算 , 或 ,xy,1()niiixy21()niix1nixy的值,最后就可以计算出 的值21nixab,