1、多元线性回归分析,程建华 2018年9月10日,安徽大学经济学院,计量经济学讲义,多元线性回归分析,包含多个解释变量的回归模型，称为多元回归。 多元是指有多种因素对因变量的影响。 多元回归模型需要回答一下问题： 如何估计多元回归模型？多元回归模型的估计过程与一元回归模型有何不同？ 多元回归模型的假设检验与一元回归模型有何不同？ 多元回归模型有没有在一元回归模型中没有遇到的特殊问题？ 既然一个多元回归模型能够包含多个解释变量，那么如何决定解释变量的个数？,4.1 最简单的多元线性回归分析,总体多元线性回归方程:,随机形式:,其中，Y因变量，X2、X3解释变量；u随机扰动项B1截距，表示了当X2、
2、X3为零时Y的平均值； B2、B3偏回归系数。,(4.1),(4.2),问题：消费与收入之间的线性回归模型C = a + b*Y，其中回归系数a和b在西方经济学的含义？,4.1 最简单的多元线性回归分析,随机形式:,任何一个Y值可以表示成为两部分之和： （1）系统成分或确定性成分B1B2X2B3X3，即Y的均值； （2）非系统成分或随机成分u，由X2、X3为以外的其他因素决定。,4.1 最简单的多元线性回归分析,随机形式:,偏回归系数的含义： （1）B2度量了在X3保持不变的情况下，X2变动引起Y均值E(Y)的改变量。 （2）B3度量了在X2保持不变的情况下，X3变动引起Y均值E(Y)的改变量
3、。,假定1 回归模型参数是线性的，但不一定是变量线性的，回归模型形式如下：,4.2 多元线性回归模型的若干假定,假定2 解释变量X2、X3与扰动误差项u不相关。如果X是非随机的，则该假定自然满足。,假定3 给定X，扰动误差项u的数学期望或均值为0，即E（u） 0。,X,Y,0,u,u,u,u,u,u,4.2 多元线性回归模型的若干假定,假定4 误差扰动项u的方差为常数，即Var（u）2，称之为同方差(homoscedasticity),X,Y,0,u,u,u,u,u,u,X,Y,0,u,u,u,u,u,u,同方差(homoscedasticity),异方差(heteroscedasticity
4、),4.2 多元线性回归模型的若干假定,假定5 无自相关假定，即两个误差项之间不相关。Cov（ui,uj） = 0 （ij）,正 相 关,负 相 关,不 相 关,4.2 多元线性回归模型的若干假定,假定6 解释变量X2、X3之间不存在完全共线性，即两个解释变量之间无确切的线性关系。所谓的完全共线性是指一个变量可由另一个变量线性表示，如X2= 3+4X3。不存在完全共线性，也即是两变量之间不能相互线性表示。,4.2 多元线性回归模型的若干假定,假定7 在总体回归函数中，误差项u服从均值为0，方差为2的正态分布。即u N(0，2),4.2 多元线性回归模型的若干假定,要求OLS估计量，与PRF相应
5、的样本回归函数SRF为：,其中e为残差项，简称残差，b是总体系数B的估计量。b1是B1的估计量，b2是B2的估计量，b3是B3的估计量。,4.3 多元线性回归参数的确定,(4.3),(4.4),(4.5),最小二乘法,基本数学要求：,4.3 多元线性回归参数的确定,(4.6),求偏导数，得线性方程组：,4.3 多元线性回归参数的确定,其中小写字母表示变量与其均值离差。,(4.7),(4.8),(4.9),4.4 OLS估计量的方差与标准误,计算标准误的目的：（1）建立真实参数的置信区间；（2）检验统计假设。,(4.10),(4.11),4.4 OLS估计量的方差与标准误,计算标准误的目的：（1
6、）建立真实参数的置信区间；（2）检验统计假设。,(4.12),(4.13),4.4 OLS估计量的方差与标准误,计算标准误的目的：（1）建立真实参数的置信区间；（2）检验统计假设。,(4.14),(4.15),4.4 OLS估计量的方差与标准误,在所有上述这些表达式中，2表示总体误差项u的方差，这个未知方差的OLS估计量是：,(4.16),4.5 估计多元回归的拟合优度多元判定系数R2,在一元回归模型中，判定系数r2度量了样本回归直线SRL的拟合优度，即r2给出了单个解释变量X对因变量Y变动的解释比例或解释百分比。同理，在多元回归模型中，用多元判定系数度量X2和X3对因变量Y变动的联合解释比例
7、，用R2表示，在含义上与r2类似。TSS ESS RSS (4.17) 其中，TSS因变量Y的总平方和；ESS回归平方和；RSS残差平方和。,4.5 估计多元回归的拟合优度多元判定系数R2,与一元线性回归模型类似，定义下式：,(4.18),即R2是解释平方和与总平方和的比值。与一元回归模型唯一不同的是，现在的ESS与多个解释变量相关。可以证明：,(4.19),(4.20),(4.21),4.6 多元回归的假设检验,虽然R2度量了估计回归直线的拟合优度，但是R2本身却不能判定估计的回归系数是否是统计显著的，即是否显著不为零。有的回归系数可能是显著的，有些可能不是。如何判断呢？与一元回归模型相同，
8、如果用真实的但不可观察的2的无偏估计量代替2，则OLS估计量服从自由度为 n3的 t 分布，而不是正态分布。,(4.22),(4.23),(4.24),4.6 多元回归的假设检验,(4.1),(4.25),4.7 多元回归对偏回归系数进行假设检验,对上述回归模型(4.1)假定做如下假设：,在上述零假设下，服从自由度为n3的t分布：,4.7.1 置信区间法,假定显著性水平为，查表得对应于自由度为n3的t值为t0：,1、置信区间法：检验H0：B20，H1：B2 0,在给定显著性水平下，检验B2的置信区间是否包含0，若没有 拒绝原假设，否则接受原假设。,(4.26),2、显著性检验法：检验H0：B2
9、0，H1：B2 0,计算 t 值，比较给定显著性水平下对应自由度n3的t检验的临界值，绝对值大于临界值拒绝原假设；否则接受原假设。,4.7.2 显著性检验法,(4.27),4.8 检验联合假设：B2B30或R20,现考虑零假设：H0：B2B30 (4.28)这个零假设称为联合假设，即B2、B3联合同时或同时为0。这个假设表明两个解释变量联合对因变量Y无影响，等同于：H0：R20 (4.29)即两个解释变量对因变量变化的解释比例为零。假设(4.28)和假设(4.29)等价，称为多元回归的总体显著检验，即Y是否与X2与X3线性相关。,4.8 检验联合假设：B2B30或R20,现考虑零假设：H0：B
10、2B30 (4.28)对式(4.28)的假设进行检验的思路：既然B2、B3各自均显著不为0，那么它们也一定联合或集体显著不为0，即拒绝(4.28)这个零假设。在多元回归模型中，一个或多个解释变量各自对因变量没有影响，但联合却有影响。这表示前面讨论的t检验虽然对于检验单个回归系数的统计检验式有效的，但对于联合整体假设却是无效的。,4.8 检验联合假设：B2B30或R20,联合假设检验的方差分析（ANOVA）：TSS = ESS + RSS,(4.30),式(4.30)将TSS分解为两个部分，一部分ESS由回归模型解释，另一部分不能由回归模型解释。对TSS各个组成部分进行研究称为方差分析，即ANO
11、VA。,4.8 检验联合假设：B2B30或R20,三变量回归模型的方差分析表,注：MSS平方和的均值,4.8 检验联合假设：B2B30或R20,如果满足古典线性回归模型基本假定以及误差项同方差假定，在零假设下：H0：B2=B3=0，可以证明变量：,服从分子自由度为2，分母自由度为n3的F分布。如果回归模型有k个解释变量（包括截距），则F值的分子自由度为k1，分母自由度为nk。,(4.31),4.8 检验联合假设：B2B30或R20,利用给出的F值检验X2和X3对Y有没有影响。从(4.31)可以看到：如果(4.31)中的分子比分母大，即如果Y由回归解释的部分比未被回归解释的部分大，则F值将大于1
12、。因此，随着解释变量对因变量Y变异的解释比例逐渐增大，F值也将逐渐增大。因此，F值越大，则拒绝零假设的理由越充分：两个（或多个）解释变量对因变量Y无影响。,4.8 检验联合假设：B2B30或R20,根据式(4.31)计算F值，并在所选显著水平（犯第一类错误的概率）将其与临界F值（分子自由度为2，分母自由度为n3）进行比较。如果计算的F值超过临界F值，则拒绝零假设，即所有解释变量不能同时为零。如果F值不超过临界F值，则不能拒绝零假设，即解释变量对因变量无任何影响。,(4.31),4.8 检验联合假设F与R2之间的关系,判定系数R2与方差分析中用到的F值之间有如下重要关系：,(4.32),其中n为
13、观察值的个数，k为包含截距在内的解释变量的个数。式(4.32)表明了F与R2之间的关系。当R20（因变量与解释变量无关）时，F0；R2值越大，F值越大。当R2取其极限值1时，F值趋于无穷大。,4.8 检验联合假设F与R2之间的关系,前面讨论过的F检验（用于度量总体回归直线的显著性）也可用于检验R2的显著性即R2是否显著不为零。即式(4.28)与式(4.32)是等价的。用R2的形式进行F检验的一个优点是便于计算，仅需知道R2值即可。,(4.32),H0：B2B30 (4.28),4.8 检验联合假设R2形式的方差分析表,R2形式的方差分析表,注：MSS平方和的均值,4.9 从多元回归模型到一元回
14、归模型设定误差,如果从多元模型中删除个变量，会导致模型的设定偏差（specification bias）或设定误差（specification error）。更具体的说，导致了模型中遗漏相关变量的设定误差。注意：在研究的模型中，尽可能考虑合理的因素，不可轻易简化模型。,4.10 比较两个R2值：校正的判定系数,从例4 .1看到一元回归模型的R2值比多元回归模型的R2值小，是偶然还是必然？回答是：判定系数R2的一个重要性质就是模型中解释变量的个数越多，R2值就越大看来要用更大的比例解释因变量的变异，仅仅需要不断增加解释变量的个数就可以了。但是，在R2ESS/TSS并没有考虑到自由度。在有k个变量
15、的模型中（包括截距），ESS自由度为（k1）。因此，如果模型中有5个解释变量，则ESS自由度为4。,4.10 比较两个R2值：修正的判定系数,为此，需要调整拟合优度的度量指标，它应能根据模型中解释变量的个数进行调整。修正的判定系数R2以符号 表示。,(4.33),修正的判定系数 有如下性质： 如果k 1，则 。即随着模型中解释变量个数增加，修正判定系数 越来越小于未修正判定系数R2，这似乎是对增加解释变量的“惩罚”。 虽然未修正判定系数R2总为正，但修正判定系数 可能为负。,4.11 如何修正模型？,在实际工作中，为了解释某个现象，往往面临着在若干解释变量间进行取舍的问题。通常的做法是：只要修
16、正的判定系数 增加，就可以增加新的解释变量。但是什么时候 值开始增加呢？可以证明：如果增加变量系数的| t |值大于1， 就会增加，这里的t值是在零假设：总体系数为零下计算得到的。,4.11 如何修正模型？,PRICE = 807.950154.57*BIDDERse = (231.09) (23.266)t =(3.4962) (2.3456) R2=0.15497p =(0.0015) (0.0258),当做拍卖价格对常数项和竞标人数回归时，竞标人数的t值为2.3456。如果把这个t值平方，得（2.3456）2=5.501由于t值大于1，且R2与其修正判定系数都增加了，计算得t值也是显著的
17、，表明竞标人数应该纳入模型。,总结,从逻辑基础上看，多元回归模型是一元回归模型的推广，理论基础与研究问题的方法基本相同，但多元回归与一元回归还是有很大差别。相同点：（1）回归系数都是用OLS方法计算；（2）在扰动项服从均值为0，方差为2的正态分布假定下，每个估计系数都服从正态分布；（3）每个多元回归系数服从自由度为nk的t分布，可用t分布进行检验。 不同点：（1）联合假设检验需要用F检验；（2）利用t检验和F检验决定什么时候在模型中增加新变量。,问题：钟表年限与竞标人数对价格的影响？,事实是：钟表年数越久越值钱 竞标人越多价格越高,竞标人数与价格的散点图,钟表年限与价格的散点图,1、价格对年限
18、的回归,PRICE = - 191.666210.4856*AGEse = (264.44) (1.794)t =(-0.725) (5.846) R2=0.5325p =(0.4722) (0.000),2、价格对竞标人的回归,PRICE = 807.950154.57*BIDDERse = (231.09) (23.266)t =(3.4962) (2.3456) R2=0.15497p =(0.0015) (0.0258),3、钟表年限与竞标人对拍卖价格的影响,4 关于价格、年限以及竞标人数的多元回归方程,PRICE = -1336.04912.7413*Age+85.764*BIDDE
19、Rse = (175.2725) (0.9123) (8.8019)t =(-7.6226) (13.9653) (9.7437)p =(0.0000) (0.0000) (0.00000) R2=0.8906 F=118.0585,5 关于多元回归方程的联合检验,PRICE = -1336.04912.7413*Age+85.764*BIDDERse = (175.2725) (0.9123) (8.8019)t =(-7.6226) (13.9653) (9.7437)p =(0.0000) (0.0000) (0.00000) R2=0.8906 F=118.0585,6 钟表拍卖价格多
20、元回归方程的输出结果,例4.2 税收政策如何影响公司资本结构？,为了解释哪种税收政策导致了美国制造业中不断增加的债务/产权资本比率（即用债务资本替代产权资本，即杠杆利率）Pozdenna估计了下面的回归方程：Yt=B1+B2*X2t+B3*X3t+B4*X4t+B5*X5t+B6*X6t+ut (4.44) 其中，Y杠杆利率（债务/债权），X2公司税率，X3个人税率，X4资本所得税，X5非债务避税，X6通货膨胀率。,例4.2 税收政策如何影响公司资本结构？,制造业中的杠杆利率（t（486） t40 = 2.021，5%）,习题：数据文件为,1、先验的预期CM和各个变量之间的关系。 2、做CM对FLR的回归，得到回归结果。 3、做CM对FLR和PGNP的回归，得到回归结果。 4、做CM对FLR，PGNP和TFR的回归结果，并给出ANOVA。 5、根据各种回归结果，选择哪个模型？为什么？ 6、如果回归模型（4）是正确的模型，但却估计了（2）或（3），会有什么后果？ 7、假定做了（2）的回归，如何决定增加变量PGNP和TFR？使用了哪种检验？给出必要的计算结果。,64国家婴儿死亡率与文盲率之间的关系（多元回归作业）.xls,
