1、1,第三章,多元回归分析,2,第一节 定义及假设前提,多元回归的定义 多元回归模型研究地是被解释变量y和一系列解释变量x1 x2 xk之间的关系。一般模型写作yi= 0+1x1i +2x2i + +kxki +i,3,多元回归的假设前提,关于误差项的假设前提与简单回归相同。但是增加了一项即：假设所有的x之间不存在线性关系。如果解释变量中存在线性关系，估计的模型就会发生变化。 例如，y= 0+1x1i +2x2i +i 如果x1、x2之间存在线性关系，假设： 2x1 + x2 =4,即x2= 4-2x1,带入上述模型，变成 Y= 0+1x1i +2 ( 4-2x1) +i,4,这样我们的回归模型
2、变成 Y= (0+ 42 )+(1 -22 )x1i + 所以y对x1回归估计的是0+ 42 和1 -22 而不是初始模型中的参数了。,5,第二节多元回归模型的估计方法最小二乘法,一，以双变量的模型为例 使用和简单回归模型中相同的参数估计方法 最小二乘法，即使残差平方和最小，然后利用求极值的方法求出所估计的参数。在二元回归模型中，要估计的参数有三个。常数项和两个解释变量前的系数。详细推导见板书。,6,二，使用最小二乘法，但是将多元回归模型表示成矩阵的形式。下面我们来进行推导。假设模型为： yi= 1x1i +2x2i + +kxki +i为简单起见，先省略常数项。可以把上述模型写成矩阵形式：Y
3、 =X+ ,7,其中，Y是n1矩阵，X是 nk矩阵是k1矩阵是n1矩阵 假设： i服从于正态分布，期望是0，方差是2，x为非随机的，与干扰项不相关。x之间不存在线性关系， xx秩与x的秩相等，均为k,这表明xx的逆矩阵存在。该假设事实上要求kn，相当于要求样本容量足够大。因为如果样本容量过小，误差方差的估计值就会偏大，因为n-k-1(包括常数项）过小， 就不容易通过显著性检验， 的置信区间、总体y0和平均y0的置信区间过大，失去预测的意义。,8,残差平方和= hat hat =(Y -Xhat)( Y Xhat) = Y Y - Y Xhat -hat X Y + hat X Xhat = Y
4、 Y -2 hat X Y + hat X Xhat,9,hat= (xx)-1 xy,10,最小二乘估计的结果:BLUE,hat= (xx)-1 xy= (xx)-1 x(x+ )= + (xx)-1 x 高斯马尔可夫定理的证明： 1,线性， hat既是y又是的线性组合 2, 无偏性，E(hat）E(+ (xx)-1 x )= + (xx)-1 x E()= ,11,3, 有效性 令* = (xx)-1 xy+cy= (xx)-1 x+cy c为一常数矩阵,因为* 是的无偏估计,所以 E(* )= ,由此推出cx=0 * = (xx)-1 x+c(x+ )= +cx+ (xx)-1 x +
5、c E(* - )(*- ) =E(xx)-1 x + c (xx)-1 x + c = 2(xx)-1 +2 c c c c主对角线上的值均大于等于零,所以，任意设定的无偏估计量的方差不比最小二乘估计的方差小,有效性由此得证,12,例题1，消费函数模型，数据如下： 消费 收入 70 80 65 100 90 120 95 140 110 160 115 180 120 200 140 220 155 240 150 260,13,10 1700 xx= 1700 3220001110xy= 205500,14,0.97576 -0.005152 (xx)-1= -0.005152 0.000
6、0303,15,0.97576 -0.005152 1110 hat= -0.005152 0.0000303 205500 24.4545 =0.5079,16,残差平方和582.055， 方差的估计值为582.055/872.7569 ESS=131517.95-123210=8307.945 TSS=132100-123210=8890 R2=8307.945/8890=0.934527,17,例题2 19561970美国人均消费支出和可支配收入（1958年美元)消费 可支配收入 时间 1956 1673 1839 1(1956) 1957 1688 1844 2 1958 1666 1
7、831 3 1959 1735 1881 4 1960 1749 1883 5 1961 1756 1910 6 1962 1815 1969 7 1963 1867 2016 8 1964 1948 2126 9 1965 2048 2239 10,18,续前表 1966 2128 2336 11 1967 2165 2404 12 1968 2257 2487 13 1969 2316 2535 14 1970 2324 2595 15,19,计算结果如下：,15 31895 120xx= 31895 68922.513 272144120 272144 1240,20,29135xy=
8、62905821247934,21,37.232491 -0.0225082 1.336707 (xx)-1= -0.0225082 0.0000137 -0.00083191.336707 -0.0008319 0.054034,22,300.28625 hat = (xx)-1 xy = 0.741988.04356,23,残差平方和1976.85574 方差的估计值为1976.85574/12=164.73797 得到协方差方差矩阵：6133.650 -3.70794 220.20634 Var-cov(hat)= -3.70794 0.00226 -0.13705220.20634 -
9、0.13705 8.90155 ESS=828144.47786 TSS=830121.333 R2=0.99761,24,第二节例题用矩阵方法估计参数,收入决定模型5 25 50 xx= 25 141 26250 262 51040.825 4.375 -6.25 (xx)-1= 4.375 0.625 -0.75-6.25 -0.75 1,25,150xy= 812 yy=47721552-23.75 hat= -0.255.5,26,残差平方和=4772-4770.5=1.5 方差的估计值为1.5/2=0.75 估计值的方差分别是30.62875,0.46875 及0.75.,27,第三
10、节多元回归模型的统计推断：区间估计和假设检验,一，几个结论： 1，0hat、1hat、2hat分别是0、1、2的偏估计值。 2，Var(0hat)=2/n +x1bar2Var(1hat)+2x1bar x2barcov(1hat 2hat)+x2bar2var(2hat)Var(1hat)= 2 /S11(1-r122)Var(2hat)= 2 /S22(1-r122)Cov(1hat, 2hat)= -2 r122 /S11(1-r122)r122 =S122/S11S22,28,3,RSS/ 2 -服从于具有n-3个自由度的卡方分布 4， 2 hat=RSS/n-3 5, 0hat- 0
11、 /SE(0 hat), 1hat- 1 /SE(1 hat),2hat-2 /SE(2hat)服从于具有n-3个自由度的t分布。,29,例题,估计一个生产函数模型，已知 y=log output,x1=log labor input x2=log capital inputn=23, x1 bar=10 , x2 bar =5 , y bar= 12 S11=12, S12=8 ,S22=12 S1y=10, S2y=8 ,Syy=10,30,估计的结果如下：, 0hat4、1hat0.7、2hat0.2 R2=(0.7*10+0.2*8)/10=0.86 经过校正的R2=1-(1-0.86
12、)*(23-1)/23-2-1=0.846 RSS= Syy(1- R2)=10*(1-0.86)=1.4 2 hat=RSS/n-3=1.4/20=0.07,31,r122 =S122/S11S22=82/12*12=64/144 S11(1-r122)=12*5/9=20/3 S22(1-r122)=12*5/9=20/3 Var(1hat)= 2 /S11(1-r122)= 2 /20/3=3/20 2 Var(2hat)= 2 /S22(1-r122)= 2 /20/3=3/20 2 Var(0hat)=8.79352 将2hat0.07代入上面，计算出 SE(1 hat) SE(2
13、hat)0.102 SE(0 hat)0.78y= 4.0 + 0.7x1 + 0.2x2 ,R2=0.86 (0.78) (0.102) (0.102) 经过校正的R2=0.846,32,有了上面的结果，我们就可以进行相应参数的区间估计和相关的假设检验了,关于估计参数的区间估计，根据前面的论得出:0hat + SE(0 hat) t, 4.0 + 2.086*0.78(2.37, 5.63)1hat + SE(1 hat) t, 0.7 + 2.086*0.102(0.49, 0.91)2hat + SE(2hat) t, 0.2 + 2.086*0.102(-0.01, 0.41)分别是参
14、数0、1、2的置信区间,33,关于参数的单个检验，多元回归与简单回归没有其差别，同样使用t检验就可以了。例如： 分别检验10、或20，只需要计算t值，即用参数估计值除以其标准差，然后与查表获得的临界值比较，如果t值大于临界值，拒绝零假设，反之不拒绝零假设。 检验11，计算0.7-1/0.102=-2.94.-2.94绝对值大于2.086，所以拒绝零假设，即认为1不等于1。 在多元回归模型中，很多时候需要进行不止一个参数的检验，即联合检验。这时我们不能在使用t检验，而需要使用F检验。,34,第四节 方差分析，多元回归总体显著型检验，联合检验,一，简单回归的方差分析表 变化来源 平方和 自由度 均
15、方和 来自回归 ESS 1 ESS/1 来自参差 RSS n-2 RSS/ n-2 总体 TSS n-1 ESS/1F= RSS/ n-2,35,二元回归的方差分析表： 变化来源 平方和 自由度 均方和 来自回归 ESS 2 ESS/2 来自参差 RSS n-3 RSS/ n-3 总体 TSS n-1 ESS/2F= RSS/ n-3 推及一般，具有k个解释变量时：ESS/kF= RSS/ n-k-1,36,二，关于参数的线性组合的检验： 例如关于生产函数模型中检验规模收益是否是不变的等等。 需要使用F检验，具体方法如下：RRSS URSS/r F = _URSS/n-k-1 其中，URSS（
16、Unrestricted RSS)为没有限制条件的RSS，RRSS(Restricted RSS)为加了限制条件的RSS r为加进限制条件的数量,37,关于生产函数模型规模收益不变的检验,log Y= + K logK + L logL+ H0: K + L =1 首先估计初始模型，计算出残差平方和，即为URSS。 假设H0成立，则初始模型变为： log Y= + K logK + L logL+= + K logK + （1- K ）logL+,log Y= + K logK + L logL+,38,logY -logL = + K （logK -logL）+ 即logY -logL 对l
17、ogK logL回归 可以计算出新的残差平方和，即RRSS 代入RRSS URSS/1 F = _URSS/n-3 将计算结果与查表所得的临界值比较就可以下结论了,39,第五节稳定性检验,当我们估计了一个多元回归模型后，使用该模型进行预测或估计时，通常假定所估计的参数在整个预测或估计期内是固定不变的。但是参数是否是固定的需要我们进行相关的检验，这一检验被称为稳定性或固定性检验。 具体检验的过程如下：,40,假设有两组独立的数据，样本容量分别是n1、n2, yi= 10+11x1i +12x2i + +1kxki +1i yi= 20+21x1i +22x2i + +2kxki +2i,41,稳
18、定性检验检验的是： H0: 10= 20, 11 = 21 1k=2k 定义RSS1为第一组数据回归后的RSS，RSS2为第二组数据回归后的RSS， RSS1/ 2 服从于具有n1-k-1个自由度的卡方分布 RSS2/ 2服从于具有n2-k-1个自由度的卡方分布,42,RSS1+RSS2=URSS,自由度为n1+n22k-2 将两组数据合起来进行回归，计算得出的RSS为RRSS，自由度为n1+n2k-1.(RRSS URSS)/(k+1) F = _URSS/(n1+n22k-2),43,例题,192741 194260 所有观测值 4.555 5.052 4.050 -0.235 -0.23
19、7 -0.120 0.243 0.141 0.242 n 15 15 30 R2 0.9066 0.8741 0.9731 102*RSS 0.1151 0.0544 0.2866 d.f 12 12 27URSS=0.1151+0.0544=0.1695 d.f.=24 RRSS=0.2866 d.f.=27,44,0.2866-0.1695/3 F=_0.1695/24=5.533.01 拒绝零假设，即结构发生了变化，是不稳定的，不能将两组数据合起来估计合预测。,45,第五节多元回归模型的预测问题,参见赵国庆书第8891页。,46,习题,1，下表是以进出车站的乘客为主要服务对象的10家便利
20、店的数据， y是 日均销售额，x1为店铺面积，x2为店铺距车站的距离。(1)估计多元回归模型:yi= 0+1x1i +2x2i +i 计算决定系数和经过校正的决定系数。(2)假设其他条件不变，店铺面积增加1平方米，日均销售额能增加多少？ （3)假设其他条件不变，店铺离车站距离比现在远100米，日均销售额 会减少多少？,47,日均销售额 店铺面积 离车站距离 （万日元）y （平方米）x1 （百米）x240 60 345 100 580 85 260 50 150 75 320 55 415 70 690 95 130 45 370 65 2,48,2,在多元回归模型中，y= 0+1 x1i +2
21、x2i +i 回答如何进行 1 2 ， 3 1， 描述检验的过程即可 3,y = 2.20 + 0.104x1 + 3.48x2 + 0.34x3(3.4) (0.005) (2.2) (0.15)ESS=112.5 RSS=19.5 n=80 哪个斜率系数显著不为零？（0.05） 计算多重决定系数及经过校正的决定系数 进行总体回归显著性检验（0.05）,49,4，下面模型是根据10个家庭的月均储蓄（y).月收入（x1)及家庭人数（x2)所估计的结果：y= 2.267718 + 0.247759x1 - 1.296761x2(0.470897) (0.015123) (0.067914) R2=0.9835 1)计算经过校正的R2。 2）计算所有的t值，检验哪个系数显著不为零（0.05） 3）请解释该模型的含义 4）估计所有参数的置信区间 5）检验总体回归的显著性。,50,5，19711978p=128.78 +0.7845tR2=0.8586, RSS1=4.25871979-1985p=95.029 + 4.9250tR2=0.9135, RSS2=64.31681971-1985P= 120.16 + 2.7918tR2=0.8557, RSS=368.0904 上述三个回归模型是就中综合物价指数p的变化，自20世纪70年代末经济改革以来，物价水平是否发生变化？,
