1、浙江工商大学金融学院姚耀军讲义系列1计量经济学讲义浙江工商大学金融学院 姚耀军目录第一讲 OLS 的代数 2第二讲 OLS 估计量 .17第三讲 假设检验 33第四讲 异方差 63第五讲 自相关 81第六讲 多重共线 .106第七讲 虚拟变量 .121第八讲 时间序列初步：平稳性与单位根 .133第九讲 协整与误差修正模型 .157第十讲 ARCH 模型及其扩展 .164浙江工商大学金融学院姚耀军讲义系列2第一讲 OLS 的代数一、 问题假定 y 与 x 具有近似的线性关系：，其中 是随机误差项。我们对01这两个参数的值一无所知。我们的任务是利用,样本去猜测 的取值。现在，我们手中就有一个01
2、,样本容量为 N 的样本，其观测值是：。问题是，如何利用该样本12(),.()yxyx来猜测 的取值？01一个简单的办法是，对这些观察值描图，获得一个横轴 x，纵轴 y 的散点图。既然 y 与 x 具有近似的线性关系，那么我们就在散点图中拟合一条直线：。该直线是对 y 与 x 的真实关系的近似，01y而 分别是对 的猜测（估计） 。问题是，如,01,何确定 与 ，以使我们的猜测看起来是合理的呢？01二、 OLS 的两种思考方法法一：与 是 N 维空间的两点，12(,.)Ny12(,.)y与 的选择应该是这两点的距离最短。这可以归0浙江工商大学金融学院姚耀军讲义系列3结为求解一个数学问题： 01
3、012 201 , ,()()NNi iii iMnynyx在这里 定义了残差 。i i法二：给定 ，看起来 与 越近越好（最近距离是 0） 。ixiyi然而，当你选择拟合直线使得 与 是相当近的时候，iiy与 的距离也许变远了，因此，存在一个权衡。jyj一种简单的权衡方式是，给定 ，拟合直线12,.Nx的选择应该使 与 、 与 、.、 与 的距离1y2yy的平均值是最小的。距离是一个绝对值，数学处理较为麻烦，因此，我们把第二种思考方法转化求解数学问题： 01 012 201 , ,()/()/NNi iii iMnyMnyxN由于 N 为常数，因此上述两个数学问题对于求解与 的值是无差异的。
4、01三、 求解定义 ，利用一阶条件，有：2011()NiiiQyx浙江工商大学金融学院姚耀军讲义系列40102()(0 (1)iiiiiQyx0112()(0(2)0iiiiiixQyx方程（1）与（2）被称为正规方程。由（1） ，有： 01yx把 带入（2） ，有：01yx11 2()iiiiiiyxyNx关于正规方程的直觉：无论用何种估计方法，我们都希望残差所包含的信息价值很小，如果残差还含有大量的信息价值，那么该估计方法是需要改进的！对模型 利用01yx浙江工商大学金融学院姚耀军讲义系列5OLS，至少我们能保证（ 1）：残差均值为零；（2）残差与解释变量 x 不相关【一个变量与另一个变量
5、相关是一个重要的信息】 。练习：(1)利用离差之和为零的代数性质，验证： 21 2()()()iiii iiyxxyyx补充：定义 y 与 x 的样本协方差为：；x 的样本方差为()(,)iiyCovxN，则2ixVar1(,)CovVar我们用 表示总体协方差， 表示总体方差。上述xy2x定义的样本协方差及其样本方差分别是对总体协方差及其总体方差的一个有偏估计；及其()(,)11iixyxyNsCovxy才分别是对总体协方22 )ix VarN差及其总体方差的一个无偏估计。浙江工商大学金融学院姚耀军讲义系列6(2)假定 ，用 OLS 法拟合一个过原点的直线：yx，求证在 OLS 法下有： 2
6、ixy并验证： 222iiiy笔记：现在只有一个正规方程，该正规方程同样表明。0ix无截距回归公式的一个应用假定 y 与 x 真实的关系是： 010111()2()2()()()3iiiiiiiiiiyxyxDeFe即 ， （ ）对（3 ） ，按照无截距回归公式，有： 22()iiiyxD浙江工商大学金融学院姚耀军讲义系列7(3) 假定 ，用 OLS 法拟合一水平直线，即：y，求证 。四、 一些基本的性质对于简单线性回归模型： ，在01yxOLS 法下，存在如下代数性质：（一）拟合直线过点 ， 。()x（二）由正规方程（1）可知，残差之和为零。注释：只有拟合直线带有截距时才存在正规方程（1）
7、。（三）由正规方程（2）可知，残差与 x 的样本协方差为零，即残差与 x 样本不相关。 【注意：该性质的获得也利用了性质（二） 】 。01() 0,()()iii iiiiyxxxCov练习：证明残差与 也是样本不相关的。y（四）定义 222()()()ii iiiTSEyyR其中 TSS、ESS、RSS 分别被称为总平方和、解释平浙江工商大学金融学院姚耀军讲义系列8方和与残差平方和。则：TSS=ESS+RSS。证明： ()()()2(,)yVaryVarCovy011(,0Covvxx222) ()()()i i ii iiryyNN练习：（1） 基于前述对 Var(x)、Cov(x,y)的
8、定义，验证：2()();,)(,)VarbxarCovbxyovxy其中 a，b 是常数 1。（2）对于简单线性回归模型： ，在01OLS 法下，证明 2iiiRSyxy提示： 01011iiiiiiiiyxyx（五）为了判断拟合直线对观测值的拟合程度，我们定义判定系数 。显然，2/RESTRST1 本讲义一般利用 Var(x)及其 Cov(x,y)表示样本方差和协方差，但有时为表述方便，也用它们来表示总体方差和协方差。但无论如何，此处的公式在两种情况下都是可用的。浙江工商大学金融学院姚耀军讲义系列9，而 意味着各残差都为零，即拟合直201R2线与样本数据完全拟合。R 2也是 与 的样本相关系
9、y数 r 的平方。证明： 22 (,)()(,)()yCovyVarCovyVarESrVaT练习：（1）对于简单线性回归模型： ，在01yxOLS 法下，证明 R2 是 y 与 x 的样本相关系数的平方。（2）对于模型： ，在 OLS 法下，证明R2=0。一个警告！软件包通常是利用公式 ，其中21/RST来计算 R2。应该注意到，我们在得到结2iRS论时利用了 的性质，222()()i iiyy0而该性质只有在拟合直线带有截距时才成立，因此，如果拟合直线无截距，则上述结论并不一定成立，因此，此时我们不能保证 R2 为一非负值。总而言之，浙江工商大学金融学院姚耀军讲义系列10在利用 R2 时，
10、我们的模型 一定要带有截距 。当然，还有一个前提是，我们所采用的估计方法是 OLS。五、 R2、调整的 R2、自由度我们估计总体均值至少需要一个观测值，估计总体方差至少需要两个观测值，进而推之，需要估计的参数越多，那么对样本容量的要求越高。如果在模型中增加解释变量，那么总的平方和不变，但残差平方和至少不会增加，一般是减少的。为什么呢？举一个例子。假如我们用 OLS 法得到的模型估计结果是： ， 此时，OLS 法估012iiiyx计等价于求解最小化问题： 012 201, ()Niiiimn令最后所获得的目标函数值（也就是残差平方和）为RSS1。现在考虑对该优化问题再施加约束： 并求解，20则得
11、到目标函数值 RSS2。比较上述两种情况，RSS1 是全局最小而 RSS2 是局部最小。因此，RSS1 小于或等于 RSS2。应该注意到，原优化问题施加约束后对应于模型估计结果： 01iiyx浙江工商大学金融学院姚耀军讲义系列11因此，如果单纯依据 R2 标准，我们应该增加解释变量以使模型拟合得更好。增加解释变量将增加待估计的参数，在样本容量有限的情况下，这并不一定是明智之举。这涉及到自由度问题。什么叫自由度？假设变量 x 可以自由地取 N 个值 ，那么 x 的自由度就是 N，然而，如果12(,.)Nx施加一个约束， ，a 为常数，那么 x 的自由i度就减少了，新的自由度就是 N-1。如果利用
12、公式 来估计总体方2()ixVr差，我们将得到的是一个有偏的估计【什么叫有偏？如果我们 无限次 重复抽取样本容量为 N 的样本，针对每一个样本都可以计算一个方差的估计值。然后，对这些方差的估计值计算平均值，如果该平均值不等于总体真实方差，那么我们所采取的估计法则是有偏的】 。而利用公式 ，我们将得到一个22()1ixSN无偏的估计。事实上，在计算样本方差时，自由度是N-1 而不是 N。为什么？这是因为存在一个约束：【换个思路看，是因为在计算样本方差()0ix时我们先必须利用公式 计算样本均值，这实ixN浙江工商大学金融学院姚耀军讲义系列12际上是一个约束条件】 。再考虑残差 的自由度。对残差有
13、多少约束？根据正规方程（1） （2） ，有： ，因此0;iix存在两个约束。故残差的自由度是 N-2。思考：利用 OLS，当拟合函数（样本回归函数）是：时，残差的自由度为多少？012yxzR2 忽视了自由度问题。 2221/1()()()iiiRSTyVarNy我们已知道在这里 与 都是有偏估计，现ar在，我们对自由度作调整，重新定义一个指标，即所谓的 调整的 R2（ ）： 221/21()iiRSNNTy应该注意到，如果是针对多元线性回归模型，待估计的斜率参数有 k 个，也含有 1 个截距（即总的待估计浙江工商大学金融学院姚耀军讲义系列13系数参数的个数为 k+1 个） ，那么上述公式就是：
14、2 2/11(1)RSNkRTk小于 R2，且存在是负数的情况。思考：如果用增加解释变量的方法来提高 R2，这一定会提高 吗？2笔记：我们已经知道，增加解释变量一般是增加R2(至少不会减少) ，但将减少自由度。直观来看，自由度过少有什么问题呢？举一个例子：对简单线性回归模型，假定我们只有两次观测 ，12,);(,yx（显然，我们可以保证 R2=1，即完全拟合。但我们得到的这个拟合直线很可能与 y 与 x 的真实关系相去甚远，毕竟我们只有两次观测【与抛硬币的例子类比吧，为了说明硬币两面质量均匀，抛一两次硬币能够充分说明问题吗？】 。事实上，此时自由度为 0！六、 简单线性回归模型拓展到多元线性回
15、归模型考虑 ，各系数的估计按照 OLS012yxz是求解数学问题：浙江工商大学金融学院姚耀军讲义系列141,21,22 201 ()()NNi iiii iMnynyxz因此，存在三个正规方程： 012012()0iiiiiiiiiiiiyxzx第一个方程意味着残差之和为零，也意味着 及y其 012yxz第二个方程意味着残差与 x 样本不相关；第三个方程意味着残差与 z 样本不相关。如果样本回归函数是 呢？你应0123yzw该能够推广相关性质！七、 OLS 的矩阵代数（一）矩阵表示总体多元回归模型是： 012.,1.,i iiikyxxN如果用矩阵来描述，首先定义下列向量与矩阵：浙江工商大学金
16、融学院姚耀军讲义系列151012211, ,kN kNkxyYUX 模型的矩阵表示：YU（二）如何得到 OLS 估计量？求解一个最小化问题： ，有：()()MinXY()()()(0YXYX而根据矩阵微分的知识(见文本框 )，有：)()0;(;( ()2YYXXX 故， ，则Y 1()矩阵微分 1()/()/,2,mabbawherisvectorAAntaylix与 都是标量。重要的规则：一个标量关于一个列向量的导数仍是列向量，并且维数保持不变。浙江工商大学金融学院姚耀军讲义系列16注意，为了保证 的存在，OLS 具有一个假设：1()XX 列满秩，即不存在完全共线性。关于矩阵的秩考虑简单线性
17、回归模型 的矩阵表10i iiyx示： 1122 0,NNxyYUX是 矩阵，为了保证 的存在，X(1)k1()X那么 ，基于矩阵知识点：ran，因此这也要求()。 是 矩阵，因此 X 列满()Xnk秩。浙江工商大学金融学院姚耀军讲义系列17X 列满秩意味着 ，其中 为常数，这也12Nx意味着： 【你能证明吗？】 ，注意到21()0ix，而 正是我们121iiy21()0ix所要求的！思考：对于模型 ，如果我们只012i iiy有 2 个观测值，我们能够得到 吗？01、 、第二讲 OLS 估计量一、估计量与估计值对总体参数的一种估计法则就是估计量。例如，为了估计总体均值为 u，我们可以抽取一个
18、容量为 N的样本，令 Yi 为第 i 次观测值，则 u 的一个很自然的估计量就是 。A 、B 两同学都利用了这iN种估计方法，但手中所掌握的样本分别是与 。A、B 两同学分别计12(,.)AANy12(,.)By浙江工商大学金融学院姚耀军讲义系列18算出估计值 与 。因此，在上例AiyuNBiyu中，估计量是随机的，而 是该随机变量可能的取值。估计,AB量所服从的分布称为抽样分布。如果真实模型是： ，其中 是01yx01,待估计的参数，而相应的 OLS 估计量就是：1012();iix我们现在的任务就是，基于一些重要的假定，来考察上述 OLS 估计量所具有的一些性质。二、高斯-马尔科夫假定与高
19、斯-马尔科夫定理 假定一： 真实 模型是： 。有三种01yx情况属于对该假定的违背：（1）遗漏了相关的解释变量或者增加了无关的解释变量；（2）y 与 x间的关系是非线性的；（3） 并不是常数。01, 假定二：在重复抽样中， 被预先固2(.)Nx定下来，即 是非随机的 （进一步的阐12(,.)Nx释见附录） ，显然，如果解释变量含有随机的测量误差，那么该假定被违背。还存其他的违背该假定的情况。 假定三：误差项期望值为 0，即浙江工商大学金融学院姚耀军讲义系列19。()0,12,.iEN 假定四： ，即所谓的同方差假定。i 假定五： ，即所谓的(,)0,ijCovarnceij序列不相关假定。 假
20、定六： ，在多元回归中，该假2()ix定演变为 的逆存在，即各解释变量不完全共线。X笔记：都是关于误差项的假定，如果模型：确实是恰当的，那么误差项应该不01yx含有还可以利用的信息价值。如果误差项是序列相关的，显然这表明误差项还含有可以利用的信息价值。另外，由于假定 是非随机的，12(,.)Nx所以误差项与任意 xi都是不相关的。OLS 估计量作为一种线性估计量，在高斯-马尔科夫假定下，我们将证明它具有良好的统计性质。所谓 OLS 估计量是线性估计量，是指它能够被表示为 的线性函数。例如，iy。注意，在假定二21)(iiixyk下，k i 是非随机的。 练习：把 表示成 的0iy线性函数浙江工
21、商大学金融学院姚耀军讲义系列20（一）无偏性 0121 )()(iiiiixxyk0()1)iiixEEk而 ； ；在重要假定三： 下,ii()i1)(练习：证明 0()（二）最小方差性在 的所有线性无偏估计01,量中，OLS 估计量具有最小的方差。1、关于方差 12 01 ()(i iiVarinceVarincexkk 在重要假定五： 及其(,0,ijCovrj浙江工商大学金融学院姚耀军讲义系列21重要假定四： 下， ，2i12ik而 2()()iiixxk因此， 12i练习：证明在高斯-马尔科夫假定下： 02 2221()()ii xxNN练习：在重要假定四与五下证明： 1()iE练习：
22、证明在高斯-马尔科夫假定下： 1(,0Covarince练习：证明在高斯-马尔科夫假定下： 012(,)()ixvrice2、把任意一种线性估计量表示为 ，当iwy时，该估计量即为 的 OLS 估计2()iixkw1量。在所有无偏的 的线性估计量中，OLS 估计1浙江工商大学金融学院姚耀军讲义系列22量具有最小的方差。首先强调一个前提，即“在所有无偏的 的1线性估计量中” 。现在我们的任务是，在给定前提下（约束条件） ，证明 OLS 估计量所对应的权数使方差（目标函数）取最小值。首先分析前提条件。线性估计量的表达是： 011 )iiiwyx(为了保证 的无偏性，那么应该保证： 10 011)(
23、ii ii iwExxE因此， ;其次分析方差表示。 12 01()()()i ii iVarincewyVarincewxVarince在同方差及其无自相关假定下，有 12 2()iii最后，形成数学问题： 211,.0()NiiwxMnst或者说，浙江工商大学金融学院姚耀军讲义系列23211,2.0()NiiwxMnst对上述极值问题，其拉格朗日函数是： 1212122(4)5(3)()00iNiiiNii grouplwl wxLxxlw应该注意到，把（3group）中各式相加并利用（4）有： ，即 ；把10iNx12x（3group）中第 i 式两边同乘以 并各式相加，然i后利用（5）
24、 ，有： ，即120i2iix因此， ；()ix1()ix因此，浙江工商大学金融学院姚耀军讲义系列242(12()iiiiiixxxw而在前面我们已知道这个权数正是 的 OLS 估计1量所对应的权数！练习：证明 OLS 估计量 在所有 的线性无偏估00计量中方差是最小的。总结：在高斯-马尔科夫假定下， OLS 估计量是最优线性无偏估计量（best linear unbiased estimator,BLUE） ，这被称为 高斯 -马尔科夫定理 。应该注意，线性性质不过是 OLS 估计量在假定一下所具有的代数性质，无偏性与有效性才是 高斯 -马尔科夫定理 所强调。在附录 2 中，本讲义提供了很多
25、教科书对该定理的另外一种证明形式。笔记：由 ，当 N 趋1212()()Niixx浙江工商大学金融学院姚耀军讲义系列25于无穷大时，样本方差 收敛于总体方差，12()Nix故当 N 趋于无穷大时， 趋于 0。由于 ，121)(E因此，当 N 趋于无穷大时， 在概率上收敛于 ，即是 的一致估计量。你能够表明 是 的一致估10计量吗？应该注意到，一致性是估计量应该满足的最低要求。想一想，如果把总体都告诉了你，但你的估计或者猜测却与真实参数不一致，你是不是应该检讨一下你的估计方法？三、补充知识点补充知识点 1：在高斯-马尔科夫假定下对 的2i一个无偏估计是： 22iRSN证明： 222 ()()()
26、ii iEyEyRSTSS浙江工商大学金融学院姚耀军讲义系列2601 212221 ()()()iiiyxiii i iixx 利 用由于 xi 是非随机的，按照假定 ，我们()0iE在练习中也证明了 ，因此，有：2(1iN2221()()1()iii xEy，按照方差公式及01222()()iiyxii利 用其前述已有结论，因22 221 11()()()iEVarinceEx此，有： 222 2211()()()i iiy x故， 22221 1( )()()()i iiiixENxyyE 因此，22()i浙江工商大学金融学院姚耀军讲义系列27笔记： 就是残差的样本方差【在含截距的简单2i
27、N线性回归模型中，残差的自由度是多少？】 。误差是观测不到的，但我们能利用样本得到残差。直观来看，我们可以利用残差的样本方差来作为对误差方差的估计。上述证明结果表明，这个估计还是无偏的。应该注意，尽管在高斯-马尔科夫假定下 是对2的无偏估计，然而 并不是对 的无偏估计，22不过可以证明 是对 的 一致 估计。 被称为“回归的标准误” （standard error of regression,SER ） 。为什么在高斯-马尔科夫假定下 是对 的无偏估计，2但并不能由此推出 是对 的无偏估计？从数学上2可以表明，当 是非线性函数时，由 不能推出()f:()EfXa。事实上由利用 Jensen 不
28、等式有：()fEXa222(),(),()而Jensen 不等式：，当 g 是凸函数（凸向原点）时；()()EgX，当 g 是凹函数（凹向原点）时。另外可以证明， 是对 的一致估计，这意味着， 的22方差随样本容量的增加而趋于零。由于 ，因此，2()E当样本容量无穷大时， 在概率上收敛于 ，即 的概2率极限为 。概率极限运算具有这样一个性质，limnp即： li()lim)nnfxpx由上述性质，则 ，故有：222lin即，如果 是对 的一致估计，则 是对 的一致估计，2反之亦然。浙江工商大学金融学院姚耀军讲义系列28补充知识点 2：基于 OLS 的预测假定真实模型是： ，模型满足高斯马01y
29、x尔科夫假定。利用 OLS 法得到： 。现在01yx我们获得一次新的观测，然而此次观测只得到 x 的取值是 xf。浙江工商大学金融学院姚耀军讲义系列29（一）如何预测 yf?以 作为对 yf 的预测。此时预测误差是：01ffyx101()()f ffex显然，E(e 1)=0。 201012222()()()(,)() 1)1(1f f fiiifiVarxVarCovVarxNxx笔记一： 的随机性来源于 。 N 是样本容01,1,.量，正是基于该样本获得估计结果 。01yx与 是不相关的，因此 与 无关。1,.Nf 01,f笔记二：根据上述表达式可知，当 时，预测误差方差最小。直觉是什么呢
30、？以工资对教育水平回归为例。首先你基于一个样本得到估计结果，该样本主要由具有初中和高中学教育水平的人构成。想一想，如果利用已有的回归结果去预测一位博士的收入，预测精度会高吗？如果利用已有的回归结果去预测一位小学可能都未读完的人的收入，预测精度会高吗？（二）如何预测 E(yf)?浙江工商大学金融学院姚耀军讲义系列30以 作为对 E(yf)的预测。此时预测误差01ffyx是： 201()(ff feEx显然，E(e 2)=0。 201012()()()(,)1f fiVarxVarCovN比较 可知， 更适合作为12()()are、 01ffyx对 E(yf)的预测。上述预测实际上是属于点预测。还有一种预测被称为区间预测，参见第三讲附录 3。附录 1：理解 的非随机假定12(,.)Nx在初级计量经济学中， 被假定是非随机12(,.)Nx的，这样数学处理起来要简单得多。实际上，它并不是
