第二章 经典线性回归模型.ppt

1、第二章 经典线性回归模型,（Classical Linear Regression Model）,第一节 线性回归模型的概念第二节 线性回归模型的估计第三节 拟合优度第四节 非线性关系的处理第五节 假设检验第六节 预测第七节 虚拟变量,第一节 线性回归模型的概念 一. 双变量线性回归模型,我们在上一章给出的需求函数的例子 Q =+P + u （2.1）是一个双变量线性回归模型，模型中只有两个变量，一个因变量，一个解释变量，由解释变量的变动来解释因变量的变动，或者说用因变量对解释变量进行线性回归，因而称为双变量线性回归模型，亦称简单线性回归模型。让我们再看一个例子。 C =+D + u (2.2

2、) 这是凯恩斯消费函数，其中C为消费支出，D为个人可支配收入，u为扰动项（或误差项）。,此模型中，方程左端的消费支出（C）为因变量（或被解释变量），方程右端的个人可支配收入（D）为解释变量（或自变量）。和是未知参数，由于双变量线性回归模型的图形是一条直线，因而和习惯上又分别称为截距和斜率。这里斜率的含义是解释变量增加一个单位所引起的因变量的变动。例如在(2.2)式中，的含义是个人可支配收入增加一个单位所引起的消费的增加量，经济学中称之为边际消费倾向（MPC）。截距的含义是解释变量为0时的值。截距有时有经济含义，但大多数情况下没有，因此，在计量经济分析中，通常不大关注的取值如何。,在教学中，我们

3、习惯上采用Y表示因变量，X表示解释变量，双变量线性回归模型的一般形式为： Y =+X + u 在实践中，此模型被应用于因变量和解释变量的一组具体观测值 和 （t=1,2,n），因而模型表示为： =+ + ut t =1,2,n (2.3) 它表明，对于n个时期t =1,2,n，该模型成立。更一般的形式为： = + + ui , i = 1, 2, .,n (2.4) 即模型对X和Y的n对观测值（i=1,2,n）成立。 (2.3)式一般用于观测值为时间序列的情形，在横截面数据的情形，通常采用(2.4) 式。,二、 多元线性回归模型 在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量

4、有关。因此，有必要考虑线性模型的更一般形式，即多元线性回归模型： t=1,2,n 在这个模型中，Y由X1、X2、X3、 XK所解释，有K+1个未知参数0、1、2、K 。 这里，“斜率”j的含义是其它变量不变的情况下，Xj改变一个单位对因变量所产生的影响。,例2.2 食品需求方程 其中，Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数 用美国1959-1983年的数据，得到如下回归结果（括号中数字为标准误差）：,Y和X的计量单位为10亿美元 (按1972不变价格计算).,多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10亿美元（1

5、个billion），食品消费支出增加1.12亿元（0.112个 billion）。 收入不变的情况下，价格指数每上升一个点， 食品消费支出减少7.39亿元（0.739个billion）,回到一般模型 t=1,2, ，n即对于n组观测值，有,其矩阵形式为： 其中,第二节 线性回归模型的估计 一经典线性回归模型的统计假设（1）E(ut)=0, t=1,2,n 即各期扰动项的均值（期望值）均为0。均值为0的假设反映了这样一个事实：扰动项被假定为对因变量的那些不能列为模型主要部分的微小影响。没有理由相信这样一些影响会以一种系统的方式使因变量增加或减小。因此扰动项均值为0的假设是合理的。,（2）E(ui

6、 uj)=0, ij 即各期扰动项互不相关。也就是假定它们之间无自相关或无序列相关。 实际上该假设等同于： cov( ui, uj) = 0, ij这是因为： cov(ui, uj) = Eui - E(ui)uj - E(uj) = E(uiuj) 根据假设（1） （3）E(ut2)=2, t=1,2,n 即各期扰动项的方差是一常数，也就是假定各扰动项具有同方差性。这是因为： Var(ut)=Eut-E(ut)2= E(ut2) 根据假设（1）,（4）Xjt是非随机量， j=1,2, k t=1,2, n （5）（K+1） n; 即观测值的数目要大于待估计的参数的个数 （要有足够数量的数据来

7、拟合回归线）。（6）各解释变量之间不存在严格的线性关系。上述假设条件可用矩阵表示为以下四个条件：,A1. E(u)=0 A2.由于 显然， 仅当 E(ui uj)=0 , ij E(ut2) = 2, t=1,2,n 这两个条件成立时才成立，因此， 此条件相当前面条件(2), (3)两条，即各期扰动项互不相关，并具有常数方差。,A3. X 是一个非随机元素矩阵。 A4. Rank(X) = (K+1) n. -相当于前面 (5) (6) 两 条 即矩阵X的秩 =（K+1) n 满足条件（A1）（A4）的线性回归模型称为经典线性回归模型或古典线性回归模型（CLR模型）。 当然，为了后面区间估计和

8、假设检验的需要，还要加上一条： A5.各期扰动项服从正态分布。 ，t=1,2,n,二、最小二乘估计1. 最小二乘原理 为了便于理解最小二乘法的原理，我们用双变量线性回归模型作出说明。 对于双变量线性回归模型Y = +X + u， 我们的任务是，在给定X和Y的一组观测值 (X1 , Y1), (X2 , Y2) , ., (Xn , Yn) 的情况下, 如何求出 Yt = + Xt + ut 中 和 的估计值 和 , 使得拟合的直线为“最佳”。 直观上看，也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳”直线，如下图所示。,* * * * * et * * * * * * * * * *

9、* *,Y,X,Xt,图 2.2,Yt,残差 拟合的直线 称为拟合的回归线. 对于任何数据点 (Xt, Yt), 此直线将Yt 的总值 分成两部分。 第一部分是Yt的拟合值或预测值 ： , t=1,2,n第二部分，et ，代表观测点对于回归线的误差，称为拟合或预测的残差 （residuals）： t=1,2,n 即 t=1,2,n,残差平方和 我们的目标是使拟合出来的直线在某种意义上是最佳的，直观地看，也就是要求估计直线尽可能地靠近各观测点，这意味着应使残差总体上尽可能地小。要做到这一点，就必须用某种方法将每个点相应的残差加在一起，使其达到最小。理想的测度是残差平方和，即,最小二乘法 最小二乘

10、法就是选择一条直线，使其残差平方和达到最小值的方法。即选择 和 ，使得,达到最小值。,运用微积分知识，使上式达到最小值的必要条件为：,即,整理，得：,此二式称为正规方程。解此二方程，得：,其中：,样本均值 离差,2多元线性回归模型的最小二乘估计在多元线性回归模型的情况下，我们的模型是： 问题是选择 ，使得残差平方和最小。 残差为：,要使残差平方和 为最小，则应有：我们得到如下K+1个方程（即正规方程）：,按矩阵形式，上述方程组可表示为：,=,即,三. 最小二乘估计量 的性质 我们的模型为 估计式为 1 的均值,（由假设3） (由假设1),即 这表明，OLS估计量 是无偏估计量。,2 的方差为求

11、Var( )，我们考虑,由上一段的(2.19)式，我们有因此,请注意，我们得到的实际上不仅是 的方差，而且是一个方差-协方差矩阵，为了反映这一事实，我们用下面的符号表示之：,为方便起见，我们也常用 表示 的方差-协方差矩阵，因此上式亦可写作：需要注意的是，这里 不表示方差向量，而是方差-协方差矩阵。,4 高斯-马尔科夫定理对于 以及标准假设条件A1A4,普通最小二乘估计量(OLS估计量）是最佳线性无偏估计量（BLUE）。我们已在上一段中证明了无偏性，下面证明线性和最小方差性。,由OLS估计量 的公式 可知, 可表示为一个矩阵和因变量观测值向量 的乘积： 其中 是一个 (K+1)*n 非随机元素

12、矩阵。因而 是线性估计量。,现设 为 的任意一个线性无偏估计量，即其中 是一个(K+1)*n非随机元素矩阵。则 显然，若要 为无偏估计量，即 ，只有 ， 为（K+1）阶单位矩阵。,的方差为： 我们可将 写成 从而将 的任意线性无偏估计量 与OLS估计量 联系起来。,由 可推出：即 因而有 由 从而 ，因此上式中间两项为0，我们有,因此 最后的不等号成立是因为 为半正定矩阵。这就证明了OLS估计量 是 的所有线性无偏估计量中方差最小的。 至此，我们证明了高斯-马尔科夫定理。,4 的分布 我们在前面列出的假设条件（A5）表明， N (0, ), t=1,2,n即各期扰动项服从均值为0、方差为 的正

13、态分布。考虑到假设条件（A3），即 是一个非随机元素矩阵，则由前面(2.20)式： 我们有：,这表明， 是N个正态分布变量 的线性函数，因而亦为正态分布变量，即 （2.22） 由此可知，系数估计量向量的每个元素都是正态分布的，即 j0,1,k （2.23） 其中cjj为矩阵中 的（j1, j1）元素（主对角线上第j1个元素）。,第三节 拟合优度一决定系数R2 在估计了线性回归模型之后，一个很自然的问题是，估计出的回归线与观测值拟合得好不好？这就是拟合优度要解决的问题。拟合优度的一个通行的测度是因变量Y的（样本）变差被模型所解释的比例，也就是因变量Y的变差被诸解释变量所解释的比例。这个统计量称为

14、决定系数（coefficient of determination），记做 ，定义为：,其中， =残差平方和,ESS为Explained Sum of Squares的缩写； RSS为Residual Sum of Squares的缩写； TSS为Total Sum of Squares的缩写。,决定系数 R2 计量了Y的总变差中可以归因于X和Y之间关系的比例，或者说Y的变动中可以由X的变动来解释的比例。它是回归线对各观测点拟合紧密程度的测度。我们有： ： 完全拟合， ：X与Y完全不存在线性关系，,的值越高，拟合得越好。但什么是高？并没有绝对的标准，要根据具体问题而定。此外，回归中使用时间序列

15、数据还是横截面数据也有不同的标准。对时间序列数据来说， 的值在0.8、0.9 以上是很常见的事, 而在横截面数据的情况下，0.4、0.5的 值也不能算低。 为方便计算，我们也可以用矩阵形式表示 。,我们有：残差 其中，残差平方和：,而 将上述结果代入R2的公式，得到：,这就是决定系数R2 的矩阵形式。,二修正决定系数： 残差平方和的一个特点是，每当模型增加一个解释变量，并用改变后的模型重新进行估计，残差平方和的值会减小。 由此可以推论，决定系数是一个与解释变量的个数有关的量： 解释变量个数增加 减小 R2 增大也就是说，人们总是可以通过增加模型中解释变量的方法来增大 R2 的值。因此，用 R2

16、 来作为拟合优度的测度，不是十分令人满意的。,为此，我们定义修正决定系数 （Adjusted )如下：,是经过自由度调整的决定系数，称为修正决定系数。我们有：（1） （2）仅当K=0时，等号成立。即 （3）当K增大时，二者的差异也 随之增大。 （4） 可能出现负值。,三例子 下面我们给出两个简单的数值例子，以帮助理解这两节的内容. 例2.3Yt = 1 + 2X2 t + 3X3 t + u t 设观测数据为：Y： 3 1 8 3 5 X2：3 1 5 2 4 X3：5 4 6 4 6 试求各参数的OLS估计值，以及 。 解：我们有,例2.4 设 n = 20, k = 3, R2 = 0.7

17、0 ， 求 。 解： 下面改变n的值，看一看 的值如何变化。我们有 若n = 10，则 = 0.55 若n = 5， 则 = - 0.20 由本例可看出， 有可能为负值。 这与R2不同 （ ）。,第四节 非线性关系的处理 迄今为止，我们已解决了线性模型的估计问题。但在实际问题中，变量间的关系并非总是线性关系，经济变量间的非线性关系比比皆是。如大家所熟悉的柯布-道格拉斯生产函数: 就是一例。 在这样一些非线性关系中，有些可以通过代数变换变为线性关系处理，另一些则不能。下面我们通过一些例子来讨论这个问题。,一. 线性模型的含义 线性模型的基本形式是: 其特点是可以写成每一个解释变量和一个系数相乘的

18、形式。 线性模型的线性包含两重含义： （1）变量的线性 变量以其原型出现在模型之中，而不是以X2或X之类的函数形式出现在模型中。 （2）参数的线性 因变量Y是各参数的线性函数。,二线性化方法 对于线性回归分析，只有第二种类型的线性才是重要的，因为变量的非线性可通过适当的重新定义来解决。例如，对于 此方程的变量和参数都是线性的。,参数的非线性是一个严重得多的问题，因为它不能仅凭重定义来处理。可是，如果模型的右端由一系列的X或eX项相乘，并且扰动项也是乘积形式的，则该模型可通过两边取对数线性化。例如，需求函数 其中，Y=对某商品的需求 X=收入 P=相对价格指数 =扰动项可转换为：,用X,Y,P的

19、数据，我们可得到logY,logX和logP,从而可以用OLS法估计上式。 logX的系数是的估计值，经济含义是需求的收入弹性，logP的系数将是的估计值，即需求的价格弹性。,弹性（elasticity）是一变量变动1%所引起的另一变量变动的百分比。其定义为,本例中， 需求的收入弹性是收入变化1%，价格不变时所引起的商品需求量变动的百分比。 需求的价格弹性是价格变化1%，收入不变时所引起的商品需求量变动的百分比。,三例子例2.5 需求函数 本章1中，我们曾给出一个食品支出为因变量，个人可支配收入和食品价格指数为解释变量的线性回归模型例子（例2.2）。现用这三个变量的对数重新估计（采用同样的数据

20、），得到如下结果（括号内数字为标准误差）： 回归结果表明，需求的收入弹性是0.64,需求的价格弹性是-0.48，这两个系数都显著异于0。,例2.6 柯布-道格拉斯生产函数 用柯布和道格拉斯最初使用的数据（美国1899-1922年制造业数据）估计经过线性化变换的模型得到如下结果（括号内数字为标准误差） ： 从上述结果可以看出，产出的资本弹性是0.23，产出的劳动弹性为0.81。,例2.7 货币需求量与利率之间的关系,M = a(r - 2)b这里，变量非线性和参数非线性并存。对此方程采用对数变换 logM=loga+blog(r-2),令Y=logM, X=log(r-2), 1= loga,

21、2=b 则变换后的模型为： Yt=1+2Xt + ut,将OLS法应用于此模型，可求得1和2的估计值 ，从而可通过下列两式求出a和b估计值： 应当指出，在这种情况下，线性模型估计量的性质（如BLUE,正态性等）只适用于变换后的参数估计量 ，而不一定适用于原模型参数的估计量 和 。,例2.8 上例在确定货币需求量的关系式时，我们实际上给模型加进了一个结束条件。根据理论假设，在某一利率水平上，货币需求量在理论上是无穷大。我们假定这个利率水平为2%。假如不给这一约束条件，而是从给定的数据中估计该利率水平的值，则模型变为： M = a(r - c)b 式中a,b,c均为参数。仍采用对数变换，得到 lo

22、g(Mt) = loga + blog(rt - c) + ut t=1,2,n 我们无法将log(rt-c)定义为一个可观测的变量X, 因为这里有一个未知量c。也就是说，此模型无法线性化。在这种情况下，只能用估计非线性模型参数值的方法。,四非线性回归 模型 Y = a(X - c)b是一个非线性模型，a、b和c是要估计的参数。此模型无法用取对数的方法线性化，只能用非线性回归技术进行估计，如非线性最小二乘法（NLS）。该方法的原则仍然是残差平方和最小。计量经济软件包通常提供这类方法，本书第五章将对非线性回归方法作较深入的介绍，这里仅给出有关非线性最小二乘法的大致步骤如下：,非线性回归方法的步骤

23、1首先给出各参数的初始估计值（合理猜测值）;2用这些参数值和X观测值数据计算Y的各期预测 值（拟合 值） ; 3计算各期残差，然后计算残差平方和e2; 4对一个或多个参数的估计值作微小变动； 5计算新的Y预测值 、残差平方和e2； 6若新的e2小于老的e2，说明新参数估计值 优于老估计值，则以它们作为新起点； 7重复步骤4，5，6，直至无法减小e2为止。 8最后的参数估计值即为最小二乘估计值。,第五节 假设检验 本节讨论经典线性回归模型的区间估计和假设检验问题。我们的模型是： 在第二节中我们证明了在扰动项服从正态分布的假设（A5）下， j0,1,k 其中 cjj 为矩阵 中的（j1, j1）元

24、素（主对角线上第j1个元素）。 这一结果为基于OLS估计量的假设检验提供了坚实的基础。,一、的置信区间 我们可构造一个检验统计量 该变量服从均值为0、标准差为1的标准正态分布。 与估计量相联系的概率分布的标准差，通常称为标准误差（standard error），用Se表示。 的标准误差为：,如果为已知，则由于检验统计量z服从标准正态分布，因而我们可以立即给出总体参数 的95%的置信区间为：,但实际上，我们一般无法知道扰动项分布的方差 ，而必须根据观测值数据估计出 ，然后再来考虑 的置信区间的计算问题。,1 2 的估计可以证明， 2的无偏估计量是 式中 是残差平方和，分母是 的自由度，这是因为我

25、们在估计 的过程中，失去了（K+1）个自由度。2. 的置信区间我们重新定义 的标准误差为：,则检验统计量 不再服从标准正态分布，而是服从自由度为（n-k-1）的t分布，即,这里n和k分别为观测值和解释变量的数目。故 的（1）置信区间为： 其中为显著性水平，通常取0.05。,例2.9 回到食品需求的例子（例2.2）： 其中，Y=在食品上的总支出， X=个人可支配收入 ，P=食品价格指数 用美国1959-1983年的数据，得到如下回归结果（括号中数字为标准误差）： 求 的95置信区间。,由回归结果可知， ，我们不难得到 的95置信区间为：,即为0.10580.1182。,二、假设检验的逻辑和步骤

26、假设检验始于一个给定的假设，即所谓“原假设”，亦称“零假设”，然后计算检验统计量，这个检验统计量在原假设成立的假定下的概率分布是已知的。下一步是判断计算出的检验统计量的值是否不大可能来自此分布，如果判断是不大可能，则表明原假设不大可能成立。 我们用一个例子来说明上述有关假设检验的思路。设有一个原假设规定 的值为 ，这里 是研究人员选择的一个值，如果这个原假设（H0： ）成立，我们知道统计量,应服从自由度为 (n-k-1) 的t分布，即,如果原假设不成立，则备择假设H1： 成立。,用于计算t的所有的量都是已知的，可以用估计值 及其标准误差Se( )算出t的值，因此t可作为检验统计量用于假设检验，

27、如果算出的t值绝对值过大，落入t分布的尾部，意味着原假设不大可能成立，因为在原假设成立的情况下，得到这样一个t值的概率很小。,由上面的说明不难看出，假设检验可以说就是检验是否出现了小概率事件，如果出现小概率事件，则拒绝原来关于总体参数的假设；如果检验表明得到的样本值并不属于小概率事件，即若我们的假设成立，得到该样本值的概率不算小，则我们不能拒绝原来的假设，或者说，我们“接受”原假设。 问题是，我们上面提到的概率究竟应该小到什么程度才算小。一般说来，这取决于我们愿意承担的拒绝一个正确的假设和接受一个错误的假设这两方面的风险。在实践中，一般习惯于取5%作为拒绝假设的临界水平，称为5%的显著性水平。

28、,假设检验的具体步骤是：（1）建立关于总体参数的原假设和备择假设；（2）计算检验统计量，检验原假设（是否出现小概率事件）；（3）得出关于原假设是否合理的结论。例2.10 仍用食品需求的例子（例2.2）,试检验原假设： 。,原假设： H0：1 = 0.12备择假设：H1：10.12我们有： 用= n-k-1 = 25-2-1 = 22查t表，截断两侧5%面积的t临界值 tc = 2.074 故拒绝原假设H0: 。,三、系数的显著性检验 在假设检验中，有关斜率系数 是否为0 的假设检验特别重要。如果通过检验，接受 的原假设，则表明Xj和Y没有关系，即Xj对Y的变动没有影响。在这种情况下，可考虑从模

29、型中剔除Xj。 这类检验称为系数的显著性检验。1单个系数显著性检验 目的是检验某个解释变量的系数j是否为0，即该解释变量是否对因变量有影响。 原假设 H0： j=0 备择假设 H1： j0,单个系数显著性检验的检验统计量是自由度为 n-k-1 的 t 统计量： t(n-k-1)其中， 为矩阵 主对角线上第 j+1个元素。而,例2.11 仍用食品需求的例子（例2.2），回归结果如下（括号中数字为标准误差）： 试检验价格的系数的显著性。解： 原假设 H0： 备择假设 H1： 查t表， 故拒绝原假设H0。结论： 显著异于0，P对Y有影响。,2若干个系数的显著性检验（联合假设检验） 有时需要同时检验若

30、干个系数是否为0，这可以通过建立单一的原假设来进行。 设要检验g个系数是否为0，即与之相对应的g个解释变量对因变量是否有影响。不失一般性，可设原假设和备择假设为： H0: 1 =2 = =g =0 H1: H0不成立 (即X1, Xg中某些变量对Y有 影响),分析： 这实际上相当于检验g个约束条件 1= 0，2 = 0， ，g = 0 是否同时成立。若H0为真，则正确的模型是： 据此进行回归（有约束回归），得到残差平方和 SR是H0为真时的残差平方和。,若H1为真，正确的模型即原模型：,据此进行无约束回归（全回归），得到残差平方和,S是H1为真时的残差平方和。,如果H0为真，则不管X1, Xg

31、这g个变量是否包括在模型中，所得到的结果不会有显著差别，因此应该有： S SR如果H1为真，则由上一节中所讨论的残差平方和e2的特点，无约束回归增加了变量的个数，应有 S SR 通过检验二者差异是否显著地大，就能检验原假设是否成立。,所使用的检验统计量是： F(g, n-k-1)其中， g为分子自由度， n-k-1为分母自由度。使用 的作用是消除具体问题中度量单位的影响， 使计算出的 F 值是一个与度量单位无关的量。,例2.12 给定20组Y, X1, X2, X3的观测值，试检验模型 中X1和X3对Y是否有影响？解：（1）全回归 估计 得到：S =e2 = 25 （2）有约束回归 估计 得到

32、：SR =e2 = 30,原假设 H0: 1 = 3 = 0 备择假设 H1: H0不成立 我们有：n=20, g=2, k=3,用自由度（2，16）查F分布表，5%显著性水平下， F=1.6 FC =3.63, 故接受H0。 结论：X1和X3对Y无显著影响,3全部斜率系数为0的检验 上一段结果的一个特例是所有斜率系数均为0的检验，即回归方程的显著性检验： H0： 1 =2 = = K = 0 也就是说，所有解释变量对Y均无影响。 注意到 g=K， 则该检验的检验统计量为：,分子分母均除以 ，有,从上式不难看出，全部斜率为0的检验实际是检验R2的值是否显著异于0，如果接受原假设，则表明因变量的

33、行为完全归因于随机变化。若拒绝原假设，则表明所选择模型对因变量的行为能够提供某种程度的解释。,四检验其他形式的系数约束条件 上面所介绍的检验若干个系数显著性的方法，也可以应用于检验施加于系数的其他形式的约束条件，如 检验的方法仍是分别进行有约束回归和无约束回归，求出各自的残差平方和 SR 和 S，然后用 F 统计量进行检验。 当然，单个系数的假设检验，如 H0： 3=1.0，亦可用t检验统计量进行检验。,例2.13 Cobb-Douglas生产函数 Y=AKL 试根据美国制造业1899-1922年数据检验规模效益不变的约束：+=1解：（1）全回归,（2）有约束回归： 将约束条件代入，要回归的模型变为： Y=AKL1- 为避免回归系数的不一致问题， 两边除以L，模型变换为： Y/L=A(K/L),回归，得：,由回归结果得到的约束回归和全回归的残差平方和分别为 SR=0.0716 S=0.0710 （3）检验 原假设 H0:+1 备择假设 H1:+1 本例中，g=1, K=2, n=24,