1、1,多元回归分析：估计（1） Multiple Regression Analysis: Estimation(1),y = b0 + b1x1 + b2x2 + . . . bkxk + u,2,本章大纲,使用多元回归的动因 普通最小二乘法的操作和解释 估计量的期望值 OLS估计量的方差 OLS的有效性：高斯马尔可夫定理,3,课堂大纲,使用多元回归的动因普通最小二乘法的操作和解释假定MLR.1 MLR.4 OLS估计值的无偏性,4,动因：优点,经验研究中使用简单回归模型的主要缺陷是：它很难得到在其它条件不变的情况下，x对y的影响。 多元回归分析更适合于其它条件不变情况下的分析，因为多元回归分
2、析允许我们明确地控制其它许多也同时影响因变量的因素。 多元回归模型能容纳很多可能相关的解释变量，所以在简单回归分析可能误导的情况下，可以寄希望于多元回归模型来推断因果关系。,5,动因：优点,在实证工作中使用简单回归模型的主要缺陷是：要得到在其它条件不变的情况下， x对y的影响非常困难。 在其它条件不变情况假定下我们估计出的x对y的影响值是否可信依赖，完全取决于条件均值零值假设是否现实。 如果影响y的其它因素与x不相关，则改变x可以保证u不变，从而x对y的影响可以被识别出来。,6,动因：优点,可以解释更多的因变量变动。它可以表现更一般的函数形式。多元回归模型是实证分析中最广泛使用的工具。,7,动
3、因：一个例子,考虑一个简单版本的解释教育对小时工资影响的工资方程。 exper：在劳动力市场上的经历，用年衡量在这个例子中，“在劳动力市场上的经历”被明确地从误差项中提出。,8,动因：一个例子,考虑一个模型：家庭消费是家庭收入的二次方程。Cons = b0 + b1 inc+b2 inc2 +u现在，边际消费倾向可以近似为 MPC= b1 +2b2,9,含有k个自变量的模型,一般的多元线性回归模型可以写为,10,类似于简单回归模型,b0仍是截距b1到bk都称为斜率参数u仍是误差项（或干扰项）仍需作零条件期望的假设，所以现在假设E(u|x1,x2, ,xk) = 0仍然最小化残差平方和，所以得到
4、k+1个一阶条件,11,如何得到OLS估计值,普通最小二乘法选择能最小化残差平方和的估计值，,12,如何得到OLS估计值,k+1个一阶条件：,13,在估计之后，我们得到OLS回归线，或称为样本回归方程（SRF）得到OLS回归式之后，对每次观测都得到一个拟合值或预测值，对观测点i，其拟合值就是第i个观测的残差为：,如何得到OLS估计值,14,OLS拟合值和残差的性质,残差项的均值为零每个自变量和OLS协残差之间的样本协方差为零。点 总位于OLS回归线上。,15,对多元回归的解释,由可知所以，保持 不变意味着：即，每一个j都有一个偏效应(partial effect)，或其他情况不变(ceteri
5、s paribus)的解释。,16,例子：大学GPA的决定因素,两个解释变量的回归pcolGPA:大学成绩预测值 hsGPA : 高中成绩绩ACT :成绩测验分数(achievement test score)pcolGPA = 1.29 + 0.453hsGPA+0.0094ACT一个解释变量的回归pcolGPA = 2.4 +0.0271ACT ACT的系数大三倍。 如果这两个回归都是对的，它们可以被认为是两个不同实验的结果。,17,“保持其它因素不变”的含义,多元回归分析的优势在于它使我们能在非实验环境中去做自然科学家在受控实验中所能做的事情：保持其它因素不变。,18,对“排除其它变量影
6、响”的解释,考虑回归线的一种表达式为：是由以下回归得出的残差：,19,“排除其它变量影响”（续）,上述方程意味着：将y同时对x1和x2回归得出的x1的影响与先将x1对x2回归得到残差，再将y对此残差回归得到的x1的影响相同。这意味着只有x1中与x2不相关的部分与y有关，所以在x2被“排除影响”之后，我们再估计x1对y的影响。,20,“排除其它变量影响”（一般情况）,在一个含有k个解释变量的一般模型中， 仍然可以写成但残差 来自x1对x2 , xk的回归。于是 度量的是，在排除x2 , xk等变量的影响之后， x1对y的影响。,21,比较简单回归和多元回归估计值,比较简单回归模型和多元回归模型一
7、般来说， ，除非：或 样本中x1和x2不相关。,22,比较简单回归和多元回归估计值,这是因为存在一个简单的关系这里， 是x2对x1的简单回归得到的斜率系数。,23,24,简单回归和多元回归估计值的比较,25,简单回归和多元回归估计值的比较,在k个自变量的情况下，简单回归和多元回归只有在以下条件下才能得到对x1相同的估计（1）对从x2到xk的OLS系数都为零（2） x1与x2 , xk中的每一个都不相关。,拟合优度,每一个观察值可被视为由解释部分和未解释部分构成： 定义：SST= SSE + SSR,26,27,拟合优度（续）,我们怎样衡量我们的样本回归线拟合样本数据有多好呢？ 可以计算总平方和
8、（SST）中被模型解释的部分，称此为回归R2R2 = SSE/SST = 1 SSR/SST,28,拟合优度（续）,我们也可以认为R2等于实际的yi与估计的 之间相关系数的平方,29,更多关于R2,当回归中加入另外的解释变量时，R2通常会上升。例外：如果这个新解释变量与原有的解释变量完全共线，那么OLS不能使用。此代数事实成立，因为当模型加入更多回归元时，残差平方和绝不会增加。,30,更多关于R2,考虑从一个解释变量开始，然后加入第二个。 OLS性质：最小化残差平方和。 如果OLS恰好使第二个解释变量系数取零，那么不管回归是否加入此解释变量，SSR相同。 如果OLS使此解释变量取任何非零系数，
9、那么加入此变量之后，SSR降低了。 实际操作中，被估计系数精确取零是极其罕见的，所以，当加入一个新解释变量后，一般来说，SSR会降低。,31,OLS估计量的期望值,我们现在转向OLS的统计特性，而我们知道OLS是估计潜在的总体模型参数的。统计性质是估计量在随机抽样不断重复时的性质。我们并不关心在某一特定样本中估计量如何。,32,假定 MLR.1（线性于参数）,总体模型可写成 y= b0+ b1x1+ b2x2+ +bkxk+u其中， b1, b2 , bk 是我们所关心的未知参数(常数)，而u则是无法观测的随机误差或随机干扰。上述方程规范地表述了总体模型或真实模型。由于因变量y与自变量都可以为
10、任意函数，所以上式是灵活多变的。,33,假定 MLR.2（随机抽样性）,我们有一个包含n次观测的随机样本 (xi1, xi2, xik; yi): i=1,n，它来自假定MLR。1中的总体模型。有时我们将模型写为yi= b0+ b1xi1+ b2xi2+ +bkxik+ui 其中，i 表示观测次数，j=1,k代表第j个回归元(变量序号),34,假定MLR.3 （不存在完全共线性）,在样本(因而在总体)中，没有一个自变量是常数，自变量之间也不存在严格的线性关系。如果方程中一个自变量是其它自变量的一个线性组合时，我们说此模型遇到完全共线性(perfect collinearity)问题，此时不能用
11、OLS估计参数。,35,假定MLR.3,完全共线性的例子：y= b0+ b1x1+ b2x2+ b3x3+u， x2 = 3x3y= b0+ b1log(inc)+ b2log(inc2 )+uy= b0+ b1x1+ b2x2+ b3x3+ b4x4+u，x1 +x2 +x3+ x4 =1当y= b0+ b1x1+ b2x2+ b3x3+u , n(k+1) 也发生完全共线性的情况。 在完全共线性情况下，OLS估计量的分母为零，因此OLS估计量不能得到。,36,假定 MLR.4（条件均值为零）,给定自变量的任何值，误差u的期望值为零。换句话说， E(u| x1, x2, xk)=0.当该假定
12、成立时，我们说具有外生解释变量(exogenous explanatory variables)；若出于某种原因xj仍与u相关，则称xj为内生解释变量(endogenous explanatory variables)。我们将特别注意当重要变量缺省时导致假定3不成立的情况。,37,定理 3.1（OLS的无偏性）,在假定MLR.1MLR.4下，下式对总体参数 的任意值都成立，即OLS估计量是总体参数的无偏估计量。,38,定理 3.1（OLS的无偏性）,无偏性是估计量的特性，而不是估计值的特性。估计量是一种方法（过程），该方法使得给定一个样本，我们可以得到一组估计值。我们评价的是方法的优劣。不正确
13、的说法： “5%是教育汇报率的无偏估计值。”,39,总结,在本次课中，我们介绍了多元回归。 重要概念： 解释多元回归中OLS估计值的意义 偏效应（Partialling effect,其它情况不变效应） OLS的性质 什么时候简单回归和多元回归的估计值相同 OLS的无偏性,40,多元回归分析：估计（2） Multiple Regression Analysis: Estimation (2),y = b0 + b1x1 + b2x2 + . . . bkxk + u,41,本章大纲,使用多元回归的动因 普通最小二乘法的操作和解释 OLS估计量的期望值 OLS估计量的方差 OLS的有效性：高斯马
14、尔科夫定理,42,课堂大纲,模型设定不足或过度设定遗漏变量的偏误OLS斜率估计量的抽样方差,如果我们在设定中包含了不属于真实模型的变量会怎样？ 尽管一个（或多个）自变量在总体中对y没有局部效应，但却被放到了模型中，则此模型被过度设定。过度设定对我们的参数估计没有影响，OLS仍然是无偏的。但它对OLS估计量的方差有不利影响。,43,变量太多还是太少了？,44,变量太多还是太少了？,如果我们在设定中排除了一个本属于真实模型的变量会如何？ 如果一个实际上属于真实模型的变量被遗漏，我们说此模型设定不足。 此时OLS通常有偏。推导由遗漏重要变量所造成的偏误，是模型设定分析的一个例子。,45,遗漏变量的偏
15、误,假设真实模型如下：但我们估计的是所以,46,遗漏变量的偏误（续）,回想真实模型：所以分子为:,47,遗漏变量的偏误（续）,对上式取期望，由于E(u)=0，所以得到,48,遗漏变量的偏误（续）,考虑x2对x1的回归，因此：,49,遗漏变量的偏误 总结,两种偏误为零的情形 b2 = 0，也就是，x2实际上不属于模型 样本中x1与x2不相关 如果x2与 x1间相关性和x2与y间相关性同方向，偏误为正。 如果x2与 x1间相关性和x2与y间相关性反方向，偏误为负。 当 ，我们说 上偏。 当 ，我们说 下偏。,50,偏误方向总结,51,遗漏变量偏误,但是，通常我们不能观测到b2 ，而且，当一个重要变
16、量被缺省时，主要原因也是因为该变量无法观测，换句话说，我们无法准确知道Corr(x1, x2)的符号。怎么办呢？我们将依靠经济理论和直觉来帮助我们对相应符号做出较好的估计。,52,例3.6：小时工资方程,假定模型 log(wage) = b0+b1educ + b2abil +u，在估计时遗漏了abil。 b1的偏误方向如何？ 因为一般来说ability对y有正的局部效应，并且ability和education years正相关，所以我们预期b1上偏。,53,更一般的情形,从技术上讲，要推出多元回归下缺省一个变量时各个变量的偏误方向更加困难。注意：若有一个对y有局部效应的变量被缺省，且该变量至
17、少和一个解释变量相关，那么所有系数的OLS估计量都有偏。,54,更一般的情形,假设总体模型满足假定MLR.1MLR.4。但我们遗漏了变量x3，并估计了模型假设X2和X3无关， X1和X3相关。是1的一个有偏估计量，但 是否有偏？,更一般的情形,此时，我们通常假设X1和X2无关。当X1和X2无关时，可以证明：,55,56,更一般的情形,57,更一般的情形,58,OLS估计量的方差,现在我们知道估计值的样本分布是以真实参数为中心的。我们还想知道这一分布的分散状况。在一个新增假设下，度量这个方差就容易多了：,59,假定MLR.5（同方差性）(Homoskedasticity),同方差性假定： Var
18、(u|x1, x2, xk) = s2 .意思是，不管解释变量出现怎样的组合，误差项u的条件方差都是一样的。如果这个假定不成立，我们说模型存在异方差性。,60,OLS估计量的方差（续）,用x表示(x1, x2,xk)假定Var(u|x) = s2，也就意味着Var(y| x) = s2假定MLR.1-5共同被称为高斯马尔可夫假定(Gauss-Markov assumptions),61,定理 3.2（OLS斜率估计量的抽样方差）,给定高斯-马尔可夫假定,62,对定理3.2的解释,定理3.2显示：估计斜率系数的方差受到三个因素的影响： 误差项的方差 总的样本变异 解释变量之间的线性相关关系,63
19、,对定理3.2的解释（1）：误差项方差,更大的s2意味着更大的OLS估计量方差。更大的s2意味着方程中的“噪音”越多。这使得得到自变量对因变量的准确局部效应变得更加困难。引入更多的解释变量可以减小方差。但这样做不仅不一定可能，而且也不一定总令人满意。s2 不依赖于样本大小,64,对定理3.2的解释（2）：总的样本变异,更大的SSTj意味着更小的估计量方差，反之亦然。其它条件不变情况下， x的样本方差越大越好。增加样本方差的一种方法是增加样本容量。 参数方差的这一组成部分依赖于样本容量。,65,对定理3.2的解释（3）：多重共线性,更大的Rj2意味着更大的估计量方差。如果Rj2较大，就说明其它解
20、释变量解释可以解释较大部分的该变量。当Rj2非常接近1时， xj与其它解释变量高度相关，被称为多重共线性。严重的多重共线性意味着被估计参数的方差将非常大。,66,对定理3.2的解释（3）：多重共线性（续）,多重共线性是一个数据问题可以通过适当的地舍弃某些变量，或收集更多数据等方法来降低。注意：虽然某些自变量之间可能高度相关，但与模型中其它参数的估计程度无关。,67,总结,本堂课重要的几点： 高斯马尔科夫假定 模型过度设定和设定不足的后果 遗漏变量偏差是什么 被估计参数方差的三个组成部分是什么，以及它们如何影响被估计参数方差的大小。,68,多元回归分析：估计（3） Multiple Regres
21、sion Analysis: Estimation (3),y = b0 + b1x1 + b2x2 + . . . bkxk + u,69,本章大纲,使用多元回归的动因普通最小二乘法的操作和解释OLS估计量的期望OLS估计量的方差OLS的有效性：高斯马尔可夫定理,70,课堂大纲,误设模型中偏误和方差间的替代关系估计误差项方差高斯马尔可夫定理,71,误设模型中的方差,在考虑一个回归模型中是否该包括一个特定变量的决策中，偏误和方差之间的消长关系是重要的。假定真实模型是 y = b0 + b1x1 + b2x2 +u， 我们有,72,误设模型中的方差,考虑误设模型是估计的方差是当x1和x2不相关时
22、否则,73,舍弃x2的后果,74,误设模型中的方差,如果 ，一些计量经济学家建议，将因漏掉x2而导致的偏误的可能大小与方差的降低相比较以决定漏掉该变量是否重要。现在，我们更喜欢包含x2 ，因为随着样本容量的扩大， 增加x2导致的多重共线性变得不那么重要，但舍弃x2导致的遗漏变量误偏却不一定有任何变化模式。,75,不同情形下估计量的期望和方差,估计量 期望,估计量方差,估计量 期望,估计量方差,估计量 期望,估计量方差,模型设定 不足时,模型过度 设定时,模型设定正确时,76,估计误差项方差,我们希望构造一个s2 的无偏估计量如果我们知道 u，通过计算 u 2的样本平均可以构造一个s2的无偏估计
23、量我们观察不到误差项 ui ，所以我们不知道误差项方差s2。,77,估计误差项方差,我们能观察到的是残差项i 。我们可以用残差项构造一个误差项方差的估计df = n (k + 1), or df = n k 1df (自由度，degrees of freedom)df=观察点个数被估参数个数,78,估计误差项方差,上式中除以n-k-1是因为残差平方和的期望值是(n-k-1)s2. 为什么自由度是n-k-1 因为推导OLS估计时，加入了k+1个限制条件。也就是说，给定n-k-1个残差，剩余的k+1个残差是知道的，因此自由度是n-k-1 。,定理3.3（ s2的无偏估计） 在高斯马尔可夫假定 ML
24、R.1-5下，我们有定义术语：s2 正的平方根称为 标准偏差（标准离差）（SD），正的平方根称为 标准误差（标 准 差）（SE）。的标准误差是,79,估计误差项方差,80,OLS的有效性：高斯马尔可夫定理,问题：在假定 MLR.1.5下有许多bj的估计量，为什么选OLS？ 在假定 MLR.1.5下， OLS是最优线性无偏估计量（BLUE）。 最优(Best)：方差最小 线性(Linear)：因变量数据的线性函数 无偏(Unbiased)：参数估计量的期望等于参数的真值。 估计量(Estimator)：产生一个估计量的规则,81,高斯马尔科夫定理图示,线性 估计量,线性无偏 估计量,无偏 估计量
25、,所有估计量,设此点估计量方差最小， 则该估计量为OLS估计量,82,高斯马尔可夫定理的重要性,当标准假定成立，我们不需要再去找其它无偏估计量了。如果有人向我们提出一个线性无偏估计量，那我们就知道，此估计量的方差至少和OLS估计量的方差一样大。,83,OLS估计量为线性的一些细节,84,OLS估计量为线性的一些细节,85,复习,多元回归中OLS估计量的性质 高斯马尔科夫假定和OLS估计量的无偏性 模型过度设定和设定不足是什么，两种情况下，期望和方差间的替代关系 遗漏变量偏误是什么，什么情况下此偏误为零，如何确定偏误符号 OLS斜率估计量方差由什么决定，如何计算它们的标准离差和标准差，如何估计误差项方差，以及如何推导被估参量的标准离差 新加的假定和高斯马尔可夫定理,
