1、2.2 一元线性回归模型及参数估计 Simple Linear Regression Model and Its Estimation,一、 “线性”回归模型的特征及含义 二、一元线性回归模型的基本假设 三、参数的普通最小二乘估计(OLS) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干扰项方差的估计,一、 线性回归模型的特征,一个例子 凯恩斯绝对收入假设消费理论：消费C是由收入Y唯一决定的，是收入的线性函数：,但实际上上述等式不能准确实现。,原因 (1)消费除了受收入影响外还受其他因素因影响。 (2)线性关系是一个近似，收入变量的观察值是近似的，数据本身并不绝对准确地反映收入水平
2、。,因此，一个更符合实际的数学描述是：,线性回归模型的特征：是通过引入随机误差项将变量之间的关系用线性随机方程来描述，并用随机数学的方法来估计方程中的参数。在线性回归模型中，被解释变量的特征由解释变量和随机误差项共同决定。,计量经济学中“线性”回归模型的含义,对参数为线性、对变量非线性的函数：,对参数非线性、对变量线性的函数：,对参数非线性、对变量非线性的函数：,对变量间存在非线性关系的线性模型的处理方法 (1)变量置换 例如，描述税收与税率之间关系的拉弗曲线：s = a+br+cr2 (c 0)s：税收，r：税率 设，X1= r, X2= r2，则原方程变为s = a+bX1+cX2,(2)
3、对数变换例如，Cobb-Dauglas生产函数：幂函数,Q:产出量，K：投入的资本，L：投入的劳动 方程两边取对数：,结论： 实际经济活动中的许多问题，变量之间的非线性关系都可以最终化为线性关系。所以，线性回归模型具有普遍意义。 即使对于无法采取任何变换方法使之变成线性的非线性模型，目前适用较多的参数估计方法非线性最小二乘法，其原理仍然是以线性估计方法为基础。 线性模型理论方法在计量经济学理论方法中占据重要地位。,其他条件不变的概念(ceteris paribus),包括经济学在内的许多社会科学中的假设都具有“其他条件不变”的特点：在研究两个变量之间关系时，所有其他相关因素都必须固定不变。例如
4、，经济学中在分析消费需求时，想知道之中商品价格的变化对其需求量的影响，而让所有其他因素收入、其他商品的价格和个人偏好等都保持不变。 计量经济分析中的其他条件不变意味着“其他(相关)因素保持不变，这一概念在因果分析中有重要作用。,二、线性回归模型的基本假设,技术路线： 由于回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。即通过：,采用最小二乘或最大似然方法。,一元线性回归模型：只有一个解释变量,i=1,2,n,Y 为被解释变量，X为 解释变量，0 与1为待估参数， 为随机干扰项。,估计方法有多种，其中最广泛使用的是普通最小二乘法（ordinary
5、least squares, OLS）。,为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。,注：实际这些假设与所采用的估计方法紧密相关。,一元线性回归模型的基本假设,假设1：解释变量X是确定性变量，不是随机变量； 假设2：随机误差项具有零均值、同方差和不序列相关性：E(i| Xi)= E(i) = 0 i=1,2, ,nVar (i | Xi) = 2 i=1,2, ,nCov(i, j)=0 ij i, j= 1,2, ,n假设3：随机误差项与解释变量X之间不相关：Cov(Xi, i)=0 i=1,2, ,n假设4：服从零均值、同方差、零协方差的正态分布i N(0, 2 ) i=
6、1,2, ,n,如果假设1和2满足，则假设3也满足； 如果假设4 满足，则假设2 也满足。,注意：,假设1-4假设也称为线性回归模型的经典假设或高斯(Gauss)假设，满足该假设的线性回归模型称为经典线性回归模型(Classical Linear Regression Model, CLRM) 。,假设5：随着样本容量的无限增加，解释变量X的样本方差趋于一个有限常数，即：假设6：回归模型是正确设定的。,假设4： i N(0, 2 ) i =1,2, ,n例：测度教育的回报问题 问题提出：如果从总体中选择一个人，并让他或她多受一年教育，那么，他或她的工资会提高多少？ 工资水平与可测教育水平及其他
7、非观测因素的关系：工资：小时工资(元)，教育：受教育的年数。 其他非观测因素：工作经验、天生素质、职业道德等。E(i|Xi) = 0 假设是天生能力，这个假定就是要求，不论受教育的年数是多少，平均能力水平都一样。例如，E(abil|8) = E(abil|6)；,Var(i |Xi ) =2，Var(Yi | Xi ) =2 Var(wage|educ)=2，虽然平均工资E(wage|educ)可随着教育水平的提高而增长，但工资相对于它的均值的变异却被假定为对所有的教育水平都不变。 i N(0, 2) 的理由：由于是影响wage而又观测不到的许多因素之和，所以我们可以借助中心极限定理来断定具有
8、近似正态分布。,三、参数的普通最小二乘估计（OLS）,给定一组样本观测值（Xi, Yi）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值。普通最小二乘法(Ordinary least squares, OLS)给出的判断标准是：二者之差的平方和最小。,方程组（*）称为正规方程组（normal equations）。由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinary least squares estimators）。,四、参数估计的最大似然法(ML),最大或然法(Maximum Likelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种
9、参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。基本原理：对于最大似然法，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n 组样本观测值的联合概率最大。,在满足基本假设条件下，对一元线性回归模型：,随机抽取n组样本观测值（Xi, Yi）（i=1,2,n）。,那么Yi 服从如下的正态分布：,于是，Y 的概率函数为,（i=1,2,n）,假如模型的参数估计量已经求得，为,因为Yi 是相互独立的，所以的所有样本观测值的联合概率，也即似然函数(likelihood function)为：,将该似然函数极大化，即可求得到模型参数的极大似然估计量。,由于似然
10、函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下：,解得模型的参数估计量为：,在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。,但是，随机误差项的方差的估计量是不同的。,即可得到 的最大似然估计量为：,解似然方程：,记,上述参数估计量可以写成：,称为OLS估计量的离差形式（deviation form）。,关于参数估计量的离差形式(deviation form)：,记,则有,可得,（*）式也称为样本回归函数的离差形式。,（*）,注意：在计量经济学中，往往以小写字母表示对均值的离差。,五、最小二乘估计量的统计性质,（1）线性性(lin
11、ear)，即它是否是另一随机变量的线性函数；（2）无偏性(unbiased)，即它的均值或期望值是否等于总体的真实值；（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。,样本回归线的数学性质(numerical properties),样本回归线通过Y 和X 的样本均值； Y 估计值的均值等于观测值的均值； 残差的均值为零。,高斯马尔可夫定理(Gauss-Markov theorem)在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。,证：,易知,故,同样地，容易得出,（2）证明最小方差性,其中，ci=ki+di，di为不全为零的常数 则容易证明,显然这些优良的
12、性质依赖于对模型的基本假设。,结论： 普通最小二乘估计量（ordinary least Squares Estimators）具有线性、无偏性、最小方差性等优良性质。具有这些优良性质的估计量又称为最佳线性无偏估计量（best linear unbiased estimator, BLUE）,六、参数估计量的概率分布及随机干扰项方差的估计,2、随机误差项 的方差2的估计,由于随机项i 不可观测，只能从i的估计残差ei出发，对总体方差进行估计。,2又称为总体方差。,可以证明，2 的无偏估计量为,它是关于2的无偏估计量。,例2.2：在例2.1家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表2.2.1进行。,由该样本估计的回归方程（样本回归函数）为：,复 习,单方程计量经济学模型的特征 经典线性模型的基本假设 最小二乘原理和最大似然原理 一元线性模型最小二乘估计量的统计性质,
