1、第四章 其他回归方法,本章讨论加权最小二乘估计，异方差性和自相关一致协方差估计，两阶段最小二乘估计（TSLS），非线性最小二乘估计和广义矩估计（GMM）。这里的大多数方法在第十二章的联立方程系统中也适用。本章中某些估计方法中含有AR和MA误差项，这些概念将在第五章中深入介绍。,线性回归模型的基本假设,i = 1 , 2 , , N,在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设：1解释变量之间互不相关；2随机误差项具有0均值和同方差。即,i = 1 , 2 , , N,即随机误差项的方差是与观测时点t无关的常数；3不同时点的随机误差项互不相关（序列不相关），即,
2、s 0, i = 1 , 2 , , N,当随机误差项满足假定1 4时，将回归模型”称为“标准回归模型”，当随机误差项满足假定1 5时，将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假定，普通最小二乘法就不再适用，而要发展其他方法来估计模型。,5随机误差项服从0均值、同方差的正态分布。即,i = 1 , 2 , , N,4随机误差项与解释变量之间互不相关。即,j = 1 , 2 , , k , i = 1 , 2 , , N,古典线性回归模型的一个重要假设是总体回归方程的随机扰动项 ui 同方差，即他们具有相同的方差 2。如果随机扰动项的方差随观测值不同而异，即ui 的方差为i2
3、，就是异方差。用符号表示异方差为E(ui2) = i2 。异方差性在许多应用中都存在，但主要出现在截面数据分析中。例如我们调查不同规模公司的利润，会发现大公司的利润变化幅度要比小公司的利润变化幅度大，即大公司利润的方差比小公司利润的方差大。利润方差的大小取决于公司的规模、产业特点、研究开发支出多少等因素。又如在分析家庭支出模式时，我们会发现高收入家庭通常比低收入家庭对某些商品的支出有更大的方差。,4.1 加权最小二乘估计,表1 中国1998年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出 单位：元,例4.1：我们研究人均家庭交通及通讯支出(CUM)和可支配收入(IN )的关系，考虑如
4、下方程： CUM=0 + 1IN + ui利用普通最小二乘法，得到如下回归模型：CUM= -56.917+ 0.05807*IN (4.1.4) (1.57) (8.96) R2=0.74 D.W.=2.00,从图形上可以看出，平均而言，城镇居民家庭交通和通讯支出随可支配收入的增加而增加。但是，值得注意的是：随着可支配收入的增加，交通和通讯支出的变动幅度也增大了，可能存在异方差。如果我们把回归方程中得到的残差对各个观测值作图，则可以清楚地看到这一点。异方差的存在并不破坏普通最小二乘法的无偏性，但是估计量却不是有效的，即使对大样本也是如此，因为缺乏有效性，所以通常的假设检验值不可靠。因此怀疑存在
5、异方差或者已经检测到异方差的存在，则采取补救措施就很重要。,4.1.1 异方差性检验1. 图示检验法(1) 用X-Y的散点图进行判断观察是否存在明显的散点扩大、缩小或复杂型趋势（即不在一个固定的带型域中）,（2）X - i2的散点图进行判断,首先采用OLS方法估计模型，以求得随机误差项的估计量(注意，该估计量是不严格的)，我们称之为“近似估计量”，用 i2 表示。于是有 (4.1.5),即用 i2 来表示随机误差项的方差。用 X - i2的散点图进行判断看是否形成一斜率为零的直线。,2. White异方差性检验White (1980) 提出了对最小二乘回归中残差的异方差性的检验。包括有交叉项和
6、无交叉项两种检验。普通最小二乘估计虽然在存在异方差性时是一致的，但是通常计算的标准差不再有效。如果发现存在异方差性，利用加权最小二乘法可以获得更有效的估计。,检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的。例如：假设估计如下方程 (4.1.6) 式中b是估计系数，i 是残差。检验统计量基于辅助回归：(4.1.7)EViews显示两个检验统计量：F统计量和 Obs*R2 统计量。White检验的原假设：不存在异方差性（也就是，式（4.1.7）中除0以外的所有系数都为0成立） 。,当存在冗余交错作用，EViews会自动的把它们从检验回归中剔除。例如：一个虚拟变量的平方是它自己
7、，所以EViews剔除其平方项，避免形成完全共线性。选择View/Residual test/White Heteroskedasticity进行White异方差检验。White检验有两个选项：交叉项和无交叉项。有交叉项是White检验的原始形式，它包括所有交叉乘积项。但如果回归右边有许多变量，交叉项的个数会很多，所以不必把它们全包括在内。无交叉项选项仅使用解释变量平方进行检验回归。,例4.2：人均家庭交通及通讯支出(CUM)和可支配收入(IN )的回归方程的 White 异方差检验的结果：,该结果F 统计量和 Obs*R2 统计量的P值均很小，表明拒绝原假设，即残差存在异方差性。,4.1.2
8、 利用加权最小二乘法消除异方差1方差已知的情形假设有已知形式的异方差性，并且有序列w，其值与误差标准差的倒数成比例。这时可以采用权数序列为w 的加权最小二乘估计来修正异方差性。对加权自变量和因变量最小化残差平方和得到估计结果 :,其中 是k 1维向量。在矩阵概念下，令权数序列 w 在权数矩阵W的对角线上，其他地方是零，即W 矩阵是对角矩阵，y 和X是因变量和自变量矩阵。则加权最小二乘估计量为：,估计协方差矩阵为：,2方差未知的情形由于一般不知道异方差的形式，人们通常采用的经验方法是，并不对原模型进行异方差检验，而是直接选择加权最小二乘法，尤其是采用截面数据作样本时。如果确实存在异方差性，则被有
9、效地消除了；如果不存在异方差性，则加权最小二乘法等价于普通最小二乘法。具体步骤是：1选择普通最小二乘法估计原模型，得到随机误差项的近似估计量 t ；2建立 1/| t | 的数据序列；3选择加权最小二乘法，以 1/| t |序列作为权，进行估计得到参数估计量。实际上是以 1/| t |乘原模型的两边，得到一个新模型，采用普通最小二乘法估计新模型。,EViews 的加权最小二乘估计方法为，首先把权数序列用均值除，然后与对应的每个观测值相乘，权数序列已被标准化故对参数结果没有影响同时使加权残差比未加权残差更具可比性。然而，标准化意味着EViews的加权最小二乘在残差序列相关时不适用。,使用加权最小
10、二乘法估计方程，首先到主菜单中选Quick/ Estimate Equation , 然后选择LS-Least Squares (NLS and ARMA)。在对话框中输入方程说明和样本，然后按Options钮,出现如下对话框：,单击Weighted LS/TSLS选项在Weighted 项后填写权数序列名，单击OK。例子：,例4.4：,EViews会打开结果窗口显示标准系数结果（如上图），包括加权统计量和未加权统计量。加权统计结果是用加权数据计算得到的：,未加权结果是基于原始数据计算的残差得到的：,估计后，未加权残差存放在RESID序列中。如果残差方差假设正确，则加权残差不应具有异方差性。如
11、果方差假设正确的话，未加权残差应具有异方差性，残差标准差的倒数在每个时刻t与w成比例。在包含ARMA项方程中加权选项将被忽略。也要注意对于二元的，计数等离散和受限因变量模型加权选项也不适用。,4.1.3 异方差性和自相关一致协方差（HAC） Heteroskedasticity and Autocorrelation Consistent Covariances,当异方差性形式未知时，使用加权最小二乘法提供在异方差存在时的一致参数估计，但通常的OLS标准差将不正确。在描述HAC协方差估计技术之前，应注意：使用White异方差一致协方差或Newey-West异方差一致协方差估计不会改变参数的点估
12、计，只改变参数的估计标准差。可以结合几种方法来计算异方差和序列相关。如把加权最小二乘估计与White 或Newey-West协方差矩阵估计相结合。,1. 异方差一致协方差估计（White）Heteroskedasticity Consistent Covariances（White）,White(1980)得出在存在未知形式的异方差时，对系数协方差进行正确估计的异方差一致协方差估计量。White 协方差矩阵公式为：,其中N是观测值数，k是回归变量数，i 是最小二乘残差。EViews在标准OLS公式中提供White协方差估计选项。打开方程对话框，说明方程，然后按Options钮。接着，单击异方差
13、一致协方差(Heteroskedasticity Consistent Covariance)，选择White 钮，接受选项估计方程。,例4.5：在输出结果中，EViews会包含一行文字说明表明使用了White估计量。,2. HAC一致协方差（Newey-West）,前面描述的White协方差矩阵假设被估计方程的残差是序列不相关的。Newey和West (1987) 提出了一个更一般的估计量，在有未知形式的异方差和自相关存在时仍保持一致。Newey-West估计量为：,其中,q是滞后截尾，一个用于评价OLS随机误差项 ut 的动态的自相关数目的参数。根据Newey-West 假设，EViews
14、中令q为：Newey-West异方差一致协方差估计量，不能和加权最小二乘法一起使用。 使用Newey-West 方法，在估计对话框中按Options钮。在异方差一致协方差项中选Newey-West钮。,Newey-West估计量为：,4.2 二阶段最小二乘法,回归分析的一个基本假设是方程右边变量，即解释变量与随机扰动项不相关。如果违背了这一假设，OLS和加权LS都是有偏的和不一致的。 有几种情况使右边某些解释变量与扰动项相关。如：在方程右边有内生决定变量，右边变量具有测量误差。为简化起见，我们称与残差相关的变量为内生变量，与残差不相关的变量为外生变量或前定变量。解决方程右边解释变量与残差相关的
15、方法是使用工具变量回归。就是要找到一组变量满足下面两个条件：（1）与方程解释变量相关；（2）与扰动项不相关；,这些变量就可成为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关性。二阶段最小二乘（TSLS）是工具变量回归的特例。在二阶段最小二乘估计中有两个独立的阶段。在第一个阶段中，TSLS找到可用于工具变量的内生和外生变量。这个阶段包括估计模型中每个变量关于工具变量的最小二乘回归。第二个阶段是对原始方程的回归，所有变量用第一个阶段回归得到的拟合值来代替。这个回归的系数就是TSLS估计。,不必担心TSLS估计中分离的阶段，因为EViews会使用工具变量技术同时估计两个阶段。令Z为工具
16、变量矩阵，y和X是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来：,系数估计的协方差矩阵为：,其中s 2是回归标准差（估计残差协方差）。,使用二阶段最小二乘估计，打开方程说明对话框，选择Method中的TSLS估计。随着选择的变化，方程对话框也会发生变化，包括一个工具变量列表对话框。,输入工具变量时，应注意以下问题：1. 使用TSLS估计，方程说明必需满足识别的阶条件，即工具变量的个数至少与方程的系数一样多。参见Davidson和MacKinnon(1994)和Johnston和DiNardo(1997)的讨论。2. 根据经济计量学理论，与扰动项不相关的解释变量可以用作工具变量
17、。3. 常数c是一个合适的工具变量，如果忽略了它，EViews会自动把它加进去。,TSLS估计结果：下面我们利用美国1959:11999:4的宏观数据计算CS关于GDP, GDP增量和利率的TSLS估计，工具变量是c、CS(-1) 、GOV、M1 、TIME 。,4.3 非线性最小二乘估计,经典的计量经济学模型理论与方法是在线性模型的基础上发展、完善起来的，因而线性计量经济学模型领域的理论与方法已经相当成熟。但是，现实经济活动并不都能抽象为线性模型，所以非线性计量经济学模型在计量经济学模型中占据重要的位置，关于它的理论与方法的研究是计量经济学理论与方法研究的一个广泛的领域。 假设回归方程为：,
18、其中f 是解释变量和参数 的函数。最小二乘估计就是要选择参数 使残差平方和最小：,如果 f 关于参数的导数不依赖于参数，则我们称模型为参数线性的，反之，则是参数非线性的。例如，是参数线性的，f 关于参数的导数与参数 无关。 而其函数的导数仍依赖于参数，所以它是参数非线性的。对于这个模型，没有办法使用普通最小二乘估计来最小化残差平方和。必须使用非线性最小二乘估计技术来估计模型参数。,非线性最小二乘估计根据参数 的选择最小化残差平方和。最小化的一阶条件是：,其中G()是f (X, )关于 的导数。 估计协方差矩阵为：,关于非线性估计的详细讨论，参见Pindick和Rubinfeld (1991,
19、231 - 245页) 或Davidson和MacKinon(1993)。,即,令,估计非线性最小二乘模型很简单，对于任何系数非线性的方程，EViews自动应用非线性最小二乘估计，会使用迭代算法估计模型。,1. 说明非线性最小二乘估计,对于非线性最小二乘模型，必须使用直接包含系数约束的EViews表达式以方程形式来说明。可以使用缺省系数向量C中的元素(例如，c(1), c(2), c(34), c(87) ) ，也可以定义使用其它系数向量。例如：Y=c(1)+c(2)*(Kc(3)+Lc(4) 就是缺省系数向量C的4个元素从c(1)到c(4)。,例4.6：如果设定例3.1中的消费函数为非线性形
20、式：（4.3.11） 其中：cst 是实际居民消费，inct 是实际可支配收入。利用我国1978年2002年的年度数据估计此非线性方程，由于用迭代法计算，首先要赋初值，比如可以设3的估计值b3初值是1，则可以利用OLS估计值(例3.1中，b1 =414.88，b2 =0.51) 作为b1 ，b2 的初值。经过迭代，得到的非线性消费方程为 （4.3.12） b1，b2 ，b3 的标准差分别为386.3，0.21和0.096。,非线性形式的边际消费倾向为 即MPCt = c(2)*c(3)*inctC(3)-1 = 0.214*1.0857*YDt1.0857-1,图4.3 动态的边际消费倾向,因
21、此，非线性情况下的MPC是时变的，根据式（4.3.11）计算得到的边际消费倾向序列如图4.3所示。注意，inc 的平均值(9795.355)对应的边际消费倾向为 MPC=0.21391.08579795.355(1.0857-1) =0.51 等于线性模型估计值，因为线性模型的参数反映的是变量之间平均意义上的影响关系。,2.估计方法选项,（1）初始值迭代估计要求模型系数有初始值。选择参数初始值没有通用的法则。越接近于真值越好，因此，如果你对参数值有一个合理的猜测值，将是很有用的。在某些情况下，可以用最小二乘法估计严格形式的模型得到良好的初始值。总体说来，必须进行试验以找到初始值。在开始迭代估计
22、时，EViews使用系数向量中的值。很容易检查并改变系数的初始值。要察看初始值，双击系数向量。如果初始值是合理的，可以对模型进行估计。如果想改变初始值，首先确定系数向量表使处于编辑状态，然后输入系数值。完成初始值设定后，关闭系数向量窗口，估计模型。,也可以从命令窗口使用PARAM命令设定初始系数值。只需输入关键词PARAM，然后是每个系数和想要的初值：param c(1) 153 c(2) .68 c(3) .15 中设定c(1)=153，c(2)=0.68 和c(3)=0.15。详情参见附录E。,（2）迭代和收敛选项可以通过说明收敛标准和最大迭代次数来控制迭代过程。按Options钮并输入想
23、要的数值。如果系数变化的最大值低于阈值，EViews报告估计过程已经收敛。例如，设定阈值为0.001，则EViews会通过检查系数的最大变化是不是小于0.001来决定是否收敛。在大多数情况下，不许改变最大迭代次数。然而，对于某些难于估计的模型，在最大迭代次数下迭代过程不收敛。这时，只需单击Options钮，然后，增加最大迭代次数并点OK接受选项 ，开始估计。EViews会使用最后一组参数值作为初始值进行估计。,4.4 广义矩方法（GMM） Generalized Method of Moments,广义矩估计方法（GMM）是基于模型实际参数满足一些矩条件而形成的一种参数估计方法，是矩估计方法的
24、一般化。如果模型的设定是正确的，则总能找到该模型实际参数满足的若干矩条件而采用GMM方法。GMM估计的出发点是参数应满足的一种理论关系。其思想是选择参数估计尽可能接近理论上的关系。把理论上的关系用样本近似值代替，并且估计量的选择就是要最小化理论值和实际值之间的加权距离。,由于传统的计量经济模型估计方法，例如普通最小二乘法、工具变量法、极大似然法等，都有它们的局限性，其参数估计量必须在模型满足某些假设时才具有良好的性质，如只有当模型的随机误差项服从正态分布或某一已知分布，极大似然法估计量才是可靠的估计量；而GMM估计是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差项存在异方差和序
25、列相关，所得到的参数估计量比其他参数估计方法更合乎实际；而且可以证明，GMM包容了许多常用的估计方法，普通最小二乘法、工具变量法、极大似然法都是它的特例。,参数要满足的理论关系通常是参数函数 f ( ) 与工具变量zt 之间的正则条件：,是被估计参数,其中m () =f ()Z, A是加权矩阵；任何对称正定矩阵A都是 的一致估计。然而，可以推出要得到 的（渐近）有效估计的一个必要条件是令A等于样本矩m的协方差矩阵的逆。许多标准估计量，包括所有EViews提供的系统估计量，都可以看作GMM估计量的特例。例如，普通最小二乘估计量可以看作是一个GMM估计量，它是基于方程右边变量与残差不相关的基础之上
26、的。,GMM估计量选择参数估计的标准是使工具变量与函数f 之间的样本相关性越接近于0越好。用函数表示为：,用GMM法估计方程，从说明对话框中选择GMM估计方法，GMM对话框会变为：,要得到GMM估计，应该写出矩条件作为参数表达式和工具变量之间的正交条件。写正交条件的方法有两种：有因变量和没有因变量。如果使用列表法或有等号的表达式法说明方程，EViews会把矩条件理解为工具变量和方程残差之间的正交条件。如果用没有等号的表达式，EViews会正交化表达式和工具变量。在方程说明对话框的工具变量（Instrument list）列表中，必须列出工具变量名。如果要保证GMM估计量可识别，工具变量个数不能
27、少于被估计参数个数。当然常数会自动被EViews加入工具变量表中。例如， 方程说明： y c x 工具变量： c z w 正交条件为：,如果方程说明为： c(1)*log (y)+xc(2) 工具变量表： c z z(-1)则正交条件为：,在方程说明框右边是选择目标函数的权数矩阵A。如果选择基于White 协方差的加权矩阵，则GMM估计对未知形式的异方差将是稳健的。如果选择基于HAC时间序列的加权矩阵，则GMM估计量对未知形式的异方差和自相关是稳健的。对于HAC选项，必须说明核和带宽。,利用例1美国的1959：11999：4的宏观经济数据，GDP、消费CS、利率R、政府支出GOV、货币供应量M
28、1、趋势变量TIME，利用GMM方法计算消费方程：,4.5 多项分布滞后（PDLS）,在经济分析中人们发现，一些经济变量，它们的数值是由自身的滞后量或者其他变量的滞后量所决定的，表现在计量经济模型中，解释变量中经常包含某些滞后变量。以投资函数为例，分析中国的投资问题发现，当年的投资额除了取决于当年的收入（即国内生产总值）外，由于投资的连续性，它还受到前1 个、2个、3个时期投资额的影响。已经开工的项目总是要继续下去的，而每个时期的投资额又取决于每个时期的收入，所以可以建立如下关于投资的计量经济方程,其中I 表示投资额，Y 表示国内生产总值。,对于有限滞后长度的情形，分布滞后模型的一般形式如下,
29、其中系数 描述 x 对 y 作用的滞后。在模型中解释变量与随机误差项不相关的情况下，可以直接使用OLS估计参数。但是，一个显然的问题是解释变量之间，即 x 的当前和滞后值之间具有高度共线性，而共线性问题的一个直接后果是参数估计量失去意义，不能揭示 x 的各个滞后量对因变量的影响，所以必须寻求另外的估计方法。,(4.5.1),一、多项式分布滞后模型的估计方法,可以使用多项式分布滞后（Polynomial Distributed Lags , PDLs）来减少要估计的参数个数，以此来平滑滞后系数。平滑就是要求系数服从一个相对低阶的多项式。p 阶PDLs模型限制 系数服从如下形式的 p 阶多项式,j
30、 = 0 , 1 , 2 , , k (4.5.2),c 是事先定义常数：,PDLs有时被称为Almon分布滞后模型。常数 c 仅用来避免共线性引起的数值问题，不影响 的估计。这种定义允许仅使用参数 p 来估计一个x 的 k 阶滞后的模型（如果 p k，将显示“近似奇异“错误信息）。定义一个PDL模型，EViews用(4.5.2)式代入到(4.5.1)式，将产生如下形式方程,其中,(4.5.3),一旦从(4.5.3)式估计出 ，利用(4.5.2)式就可得到 的各系数。这一过程很明了，因为是 的 线性变换。定义一个PDLs要有三个元素：滞后长度k，多项式阶数（多项式最高次幂数）p和附加的约束条件
31、。一个近端约束限制 x 对 y 一期超前作用为零：,一个远端约束限制 x 对 y 的作用在大于定义滞后的数目衰减：,如果限制滞后算子的近端或远端，参数个数将减少一个来解释这种约束。如果对近端和远端都约束，参数个数将减少二个。EViews缺省不加任何约束。,二、如何估计包含PDLs的模型,通过PDL项定义一个多项式分布滞后，信息在随后的括号内，按下列规则用逗号隔开： 1.序列名2.滞后长度（序列滞后数）3.多项式阶数4.一个数字限制码来约束滞后多项式：1 = 限制滞后近端为零2 = 限制远端为零3 = 两者都限制如果不限制滞后多项式，可以省略限制码。方程中可以包含多个PDL项。例如： sales
32、 c pdl(y , 8 , 3 )是用常数，解释变量 y 的当前和8阶分布滞后来拟合因变量sales，这里解释变量 y 的滞后系数服从没有约束的3阶多项式。,类似地， y c pdl(x , 12 , 4 , 2) 包含常数，解释变量 x 的当前和12阶分布滞后拟合因变量 y，这里解释变量x的系数服从带有远端约束的4阶多项式。PDL也可用于二阶段最小二乘法TSLS。如果PDL序列是外生变量，应当在工具表中也包括序列的PDL项。为此目的，可以定义PDL(*)作为一个工具变量，则所有的PDL变量都将被作为工具变量使用。例如：如果定义TSLS方程为sales c inc pdl(y(-1) , 1
33、2 , 4)使用工具变量：z z(-1) pdl(*) 则y的分布滞后和z，z(-1)都被用作工具变量。PDLs不能用于非线性定义。,三、例子投资INV关于关于GDP的 分布滞后模型的结果如下,逐个观察，GDP滞后的系数统计上都不显著。但总体上讲回归具有一个合理的R2， (尽管DW统计量很低)。这是回归自变量中多重共线的典型现象，建议拟合一个多项式分布滞后模型。估计一个无限制的3阶多项式滞后模型，输入变量列表：INV c PDL(GDP, 3, 2)，窗口中显示的多项式估计系数，PDL01, PDL02, PDL03分别对应方程(4.5.3)中Z1, Z 2 , Z3 的系数1 , 2 , 3 。,方程（4.5.1）中的系数 j 在表格底部显示。,表格底部的滞后值是分布滞后的估计系数值，并且在平稳的假设下有GDP对INV的长期影响的解释。,待估计的方程：INV = c(1) + c(2)*INV(-1) + c(6)*GDP + c(7)*GDP(-1)+ c(8)*GDP(-2) + c(9)*GDP(-3)估计的方程：INV = -15.877 + 0.97188*INV(-1) + 0.2548*GDP- 0.119657*GDP(-1) - 0.185*GDP(-2) + 0.0574*GDP(-3),
