1、一元线性回归线性回归多元线性回归讨论如何从数据推断回归模型基本假设的合理性回归诊断当基本假设不成立时如何对数据进行修正自变量选择的准则回归变量的选择回归分析逐步回归分析方法岭回归参数估计方法的改进主成分回归非线性回归 可化 为线性回归的曲线回归自变量含定性变量的情况含有定性变量的回归因变量是定性变量的情况一元线性回归1 一元线性回归模型2 参数 0、 1的估计3 最小二乘估计的性质4 回归方程的显著性检验5 残差分析6 回归系数的区间估计7 预测1 一元线性回归模型一元线性回归模型 y=0+1x+2)v a r (0)(E回归方程 E（ y|x） =0+1x01 yx经验回归方程2 参数 0、
2、 1的估计一、普通最小二乘估计(Ordinary Least Square Estimation,简记为 OLSE) niiiniiixyxyQ1210,121010)(m i n )(),(10最小二乘法就是寻找参数 0、 1的估计值 使离差平方和达极小2 参数 0、 1的估计得 OLSE 为 niniiixx xnxxxL1 1222 )()( niiiniiixy yxnyxyyxxL11)(xxxy LLxy/110记2 参数 0、 1的估计二、最大似然估计在假设 i N(0,2)时 , 知 yi服从正态分布 :),( 210 ii xNy xxxy LLxy/110220111 ()
3、niiiyxn 3 最小二乘估计的性质一、线性 是 y1,y2,yn的 线性函数 ：niiniiiniiniiiyxxxxxxyxx1121211)()()(10 、其中用到3 最小二乘估计的性质二、无偏性1110121121)()()()()(niinjjiniinjjixxxxxyExxxxE 0)( xx i )( )( 2xxxxx iii3 最小二乘估计的性质三、 的方差 njjniinjjixxyxxxx12212121)()v a r ()()v a r (10 、2220 )()(1)v a r ( xxxn i210 ),c o v ( xxLx3 最小二乘估计的性质三、 的
4、方差10 、)(1(,( 2200 xxLxnN ),(211xxLN 在正态假设下, n ), ( i , jj , ij , i),( , n, , , i)E( jii210c o v2102Gauss Markov条件4 回归方程的显著性检验一、 t 检验原假设： H0 ： 1=0对立假设： H1 ： 10),(211xxLN 由当原假设 H0 ： 1=0成立时有：), 0(21xxLN 4 回归方程的显著性检验一、 t 检验构造 t 统计量121 L x xLtxx niiinii yynen12122 2121其中4 回归方程的显著性检验二、 F检验平方和分解式niiiniinii
5、 yyyyyy121212 )()()(SST = SSR + SSE构造 F检验统计量)2/(1/nS S ES S RF4 回归方程的显著性检验三、相关系数的显著性检验)()()(12121niiniiniiiyyxxyyxxryyyyxxxyLLLLLxx14 回归方程的显著性检验五、三种检验的关系212rrnt121 L x xLtxx)2/(1/nS S ES S RFH0: =0H0: r=0H0: 回归无效4 回归方程的显著性检验六、样本决定系数niiniiyyyyS S TS S Rr12122)()(222 )( rLLLSSTSSRryyxxxy 可以证明6 回归系数的区间
6、估计等价于),(211xxLN )2( )(/11211 ntLLt xxxx 1)2( )(2/11 ntLP xx 1)( 2/112/1xxxx LtLtP),( 2/12/1xxxx LtLt 1的 1-置信区间因变量新值的区间预测 1)2(12/0000 nthyyPy0的置信概率为 1-的置信区间为 1)2( 002/0 hnty y0的置信度为 95%的置信区间近似为20 y因变量平均值的区间估计得 E(y0)的 1-的置信区间为E(y0)=0+1x0是常数)(1(,0()( 22000 xxLxxnNyEy )2( 002/0 hnty 多元线性回归1 多元线性回归模型2 回归
7、参数的估计3 参数估计量的性质4 回归方程的显著性检验5 中心化和标准化6 相关阵与偏相关系数1 多元线性回归模型一、多元线性回归模型的一般形式y=0+1x1+2x2+ pxp+2)v a r (0)(E1 多元线性回归模型一、多元线性回归模型的一般形式写成矩阵形式为 : y=X + , 其中 ,nyyy21y)1(111pnnpn2n12p22211p1211x x xx x xx x xXp10n211 多元线性回归模型二、多元线性回归模型的基本假定在正态假定下 :y N(X, 2In)E(y)=Xvar(y)= 2In2 回归参数的估计一、回归参数的普通最小二乘估计最小二乘估计要寻找 使
8、得， ,210 p niippiiiniippiiipxxxyxxxyQp 1222110,1222110210)(m i n )(),(210yXXX -1)(2 回归参数的估计二、回归值与残差cov(e,e)=cov(（ I-H） Y,（ I-H） Y)=（ I-H） cov(Y,Y)（ I-H） = 2（ I-H） In（ I-H） = 2（ I-H）得 D(ei)=(1-hii)2， i=1,2, nH)y-(IHyyyye 2 回归参数的估计二、回归值与残差niiepnpnSSEpn12211 (1111 )ee是 2的无偏估计2112 )1()()( pneDeEniinii得2
9、回归参数的估计三 、回归参数的最大似然估计y N(X, 2In)yXXX -1)(3 参数估计量的性质性质 1 是随机向量 y的一个线性变换。 yXXX -1)(性质 2 是 的无偏估计。XXXXXXXXyXXXyXXX)1-1-1-1)()E()()E()()(E( E3 参数估计量的性质性质 3 D （ )= 2 ( X X ) - 1 yXXXyXXXEE11E)(E()(E(), c o v ()(D )11 -XXX-XXXXXXXXXXX 11()(EE 1111111XXXXXIXXXXX)XXXXXXXXXX2n2 )E(E(E3 参数估计量的性质性质 4 Gauss-Markov定理预测函数020210100 pp xxxy 是 的线性函数Gauss-Markov定理在假定 E(y)=X, D(y)=2In时 ,的任一线性函数 的最小方差线性无偏估计 (Best Lnear Unbiased Estimator简记为 BLUE)为 c, 其中 c是任一 p+1维向量 , 是 的最小二乘估计。C
