1、横截面数据的回归分析 简单回归模型2 简单回归的术语1 在简单线性回归模型（ the simple linear regression model ） Y= = 0 + 1 X + u Y被称为 因变量（Dependent Variable），或 被解释变量（Explained Variable），或 响应变量（response variable），或 回归子（Regressand ）3 简单回归的术语2 在简单线性回归模型（ the simple linear regression model ） Y = 0 + 1 X + u （2.1） X被称为 自变量（independent vari
2、able ），或 解释变量（explanatory variable ），或 控制变量（control1 variable ），或 回归元（Regressor ），或 协变量（covariate） 变量u 被称为关系式中 的误差 项 （error term ）或者干扰项 （disturbance ），表示除 X 之外其他影响y 的因素。 简单回归分析有效地把除 X 之外其他所有影响y 的因素都看 成无法观测的因素。 保持u 中其他因素不变 ， 1 是Y 和 X 的关系式中的斜率参 数（slope parameter ）， 0 被称为截距参数（intercept parameter ）例2.1
3、大豆收成与施肥量 假设大豆收成由以下模型所决定： yield= b 0 + b 1 fertilizer+ u （2.2 ） 于是，y= 收成（yield） ，而x=施肥 量（fertilizer）。 农业研究者感兴趣的是，在其他因素 不变的 情况下 ，施 肥量如何影响大豆收成。这个影响由 b 1 给出，误差项u 包括了诸如土地质量、降雨量等因素 。系数 b 1 度量了 在其他条件不变的情况下施肥量对产 出量的 影响：6 简单假设 假设总体中u 的平均值 为0，即 E(u) = 0 （2.3） 式（2.3）的约束性不是特别强 ，我们 可以用b 0 来进行标准 化 ，令（2.3）成立。 对解释变
4、量的假设 假设1 、 解释变 量X是 确 定变量 ，不 是随机 变量； 假设2 、 解释变 量X在 所 抽取的 样本 中具有 变异性 ，随 着 样本容量的无 限增 加 ，解 释变 量X的 样 本方差 趋于一 有 限常数。即； 假设3 旨在排除时间序列数据出现持 续上升 或下降 的 变量作为解释变量，因为这类数据不 仅使大 样本统 计推 断变得无效，而且往往产生所谓的伪 回归 问题 （spurious regression problem ）。对 随 机干扰项的 假设 假设3 、随机误差项 具有零均值 、同方 差和不 序列相 关性： E( i )=0 i=1,2, ,n Var ( i )= 2
5、 i=1,2, ,n Cov( i, j )=0 ij i,j= 1,2, ,n 假设4、随机误差项 与解释变 量X 之间不 相关： Cov(X i , i )=0 i=1,2, ,n 假设5、 服从零均值、同 方差、 零协方 差的正 态分布 i N(0, 2 ) i=1,2, ,n以上假设也称为线性回归模型 的经典 假设 或高斯 （Gauss ） 假设 ，满足该假设的线性回归模型， 也称为 经典 线性回 归模型 （Classical Linear Regression Model, CLRM ）。 在施肥的 例子中， 如果施肥 量与该地 区的其他 条件没有 关系， 那么式E(u|X) = E
6、(u) 成立：土地的平均质量不会依 赖于施 肥 量。然而，如果更多的肥 料被施 用在更 高质量 的土地 上，那 么u 的期望值就会随着 肥料的 用量而 改变， 式E(u|x) = E(u) 也就不成立了。 式（2.4）表明，总体回归函数 （population regression function ，PRF ） E(y|x) 是x的一个线性函数。线性意味 着x 变化一个单位，将使y 的 期望值 改变 1 之多，如下图所示， 对任何给定的X值，y的分布都 以 E(Y|X) 为中心。11 . . x 1 x 2 E(y|x) as a linear function of x, where fo
7、r any x the distribution of y is centered about E(y|x) E(y|x) = 0 + 1 x y f(y)12 最小二乘法（Ordinary Least Squares ） 令 (X i , Y i ): i=1, ,n 表示从总体中抽取的一个容量 为n 的随 机样本，样本的每个观测 ，一元 线性回 归模型 可以写 为 Y i = 0 + 1 X i + u i 这里，u i 包括除X i 之外所有影响Y i 的因素，所以它是第i 次 观测的误差项。13 . . . y 4 y 1 y 2 y 3 x 1 x 2 x 3 x 4 u 1 u 2
8、 u 3 u 4 x y Population regression line, sample data points and the associated error terms E(y|x) = 0 + 1 x 14 OLS 估计的推导 为了推导OLS 估计，假定 of E(u|X) = E(u) = 0 和 （2.5） Cov(X,u) = E(Xu) = 0 （2.6） 因为（Cov(X,Y) = E(XY) E(X)E(Y) ） 用可观测变量X和Y 以及未知参数 和 来表示，（2.5）和（2.6）可分别写为 （2.7） （2.8） （2.7）（2.8）意味着总体中的联合概率分布的两个
9、限制，为矩限制 （ moment restrictions ）。15 用矩估计法推导OLS 矩估计法，利用样本矩来估计总体中相应的参数. 最简单的矩估 计法是用一阶样本 原点矩来估计总体的期望而用二阶样本中心矩 来估计总体的方差. 根据矩估计法，和 （2.7）（2.8），我们有16 由第一个条件，我们有17Economics 20 - Prof. Anderson 18 得到斜率参数估计19 斜率参数估计总结： 斜率参数 估计是x 和y 的样 本协方差 与x的 样 本方差之 比。 （分子、分母同时除以n-1 ，对结果不会产生 影响） 。 如果x 和y 正相关，则 为正；如果X 和Y 负相关，则
10、 为负。 样本需要X 在总体中有变化，即保证20 More OLS 实际上，OLS 是通过样本点拟合一 条直线 ，拟合 时是令 残差平 方和 最小化 残差 是干扰项 的估计，是拟合直线和样本点之 间的差 。21 . . y 1 x i x y Sample regression line, sample data points and the associated estimated error terms = 拟合值 = 残差例 ： 在上述家庭可支配收入- 消费支出例中，对于所抽出的一组样本数， 参数估计的计算可通过下面的表2.2.1进行。最小二乘估计量的性质 当模型参数估计出后，需考虑参数
11、估 计值的 精度， 即是否 能代 表总体参数的真值，或者说需考察参 数估计 量的统 计性质 。 一个用于 考察总体 的估计量 ，可从如 下几个方 面考察其 优劣性： （1）线性性 ，即它是否是另一随机 变量的 线性函 数； （2）无偏性 ， 即它的均 值或期望 值是否等 于总体的 真实值； （3）有效性 ，即它是否在所有线性 无偏估 计量中 具有最 小 方差。（4 ） 渐近无偏性 ， 即样本容量趋于无穷大时 ， 是否它的均值序列趋 于总体真值； （5 ） 一致性 ， 即样本容量趋于无穷大时 ， 它是否依概率收敛于总体 的真值； （6 ） 渐近有效性 ， 即样本容量趋于无穷大时， 是否它在所有的
12、一致 估计量中具有最小的渐近方差。 这三个准则也称作估计量的小 样本 性质。 拥有这类性质的估计量称为最 佳线 性无偏 估计量 （best liner unbiased estimator, BLUE ）。 当不满 足小样本 性质时， 需进一步 考察估计 量的大样 本 或 渐近 性质 ：高斯马尔可夫 定理(Gauss-Markov theorem) 在给定经典线性回归的假定下 ， 最小二乘估计量是具有最小方差的线性 无偏估计量。 证明： 其中证： 易知 故 同样地，容易得出 2、无偏性 ，即估计量的均值（ 期望） 等于总 体回归 参数。3 、有效性（最小方差 性）， 即在所 有线性 无偏估 计
13、量中 ，最 小二乘估计量 具有最小方差。 （1 ）先求 的方差（2）证明最小方差性 假设 是其他估计方法得到的关于 的线性无偏估计量，令 其中，c i =k i +d i ，d i 为不全 为零的 常数 则容易证明 同理，可以证明 的最小二乘估计量 具有最小方差。 普通最小二乘估计量 （ordinary least Squares Estimators ）称 为最佳线性无偏估 计 量 （best linear unbiased estimator, BLUE ）由于最小二乘估计 量 拥有 一个“ 好” 的估 计量 所应具 备的小 样本 特性，它自然 也拥 有 大样 本特 性 。 如：考察 的一
14、致性参数估计量的概率分布及 随机干 扰项方 差的估 计 1 、参数估计量 和 的概率分布 普通最小二乘估计量 分别是 的线性组合，因 此， 的概率分布取决于Y 的分布特征。 在 是正态分布的假设下，Y 是正态分布，则 也 服从正态分布，因此的标准差为2、随机误差项 的方差 2 的 估计 在估计的 参数 的方差 表达式中 ，都含有 随机扰动 项 的方差 。 由于 实际上是未知的，因此 的方差实际上无法计算，这就 需 要的对其进行估计。 由于随机项 i 不可观 测，只 能从 i 的估计残差e i 出发，对总体 方差进 行估计。 可以证明 ， 2 的最小二乘估计量 为 它是关于 2 的无偏估计量。在极大似然 法 中， 因此， 2 的 极大似然估计量不具无偏性 ， 但却具有一致 性 。
