1、双变量模型：假设检验,第3章,本章主要内容,3.1 古典线性回归模型(CLRM) 3.2 普通最小二乘法估计量的方差与标准误 3.3 为什么使用OLS？OLS估计量的性质 3.4 OLS估计量的抽样分布或概率分布 3.5 假设检验 3.6 拟合回归直线的优度：判定系数r2 3.7 回归分析结果的报告 3.8 计算机输出结果 3.9 正态性检验 3.10 综合实例,3.1 古典线性回归模型,古典线性回归模型(CLRM)有如下7个基本假定： 假定3.1 回归模型是参数线性的，但不一定是变量线性的。 假定3.2 解释变量X与扰动误差项不相关。但是，如果X是非随机的(即其值为固定数值)，则该假定自动满
2、足i=1,2, ,n,3.1 古典线性回归模型,假定3.3 扰动项的期望或均值为零。,图3-1 扰动项 的条件分布,假定3.4 同方差(homoscedastic)假定,即每个误差项 的方差为一常数。,3.1 古典线性回归模型,假定3.5 无自相关假定，即两个误差项不相关。,3.1 古典线性回归模型,3.1 古典线性回归模型,假定3.7 在总体回归函数:中,误差项 服从均值为零, 方差为的正态分布:,假定3.6 回归模型是正确设定的。换句话，实证分析的模型不存在设定误差或设定错误。,3.1 古典线性回归模型,以上假设也称为线性回归模型的经典假设或高斯（Gauss）假设，满足该假设的线性回归模型
3、，也称为经典(古典)线性回归模型（Classical Linear Regression Model, CLRM）。,3.2 普通最小二乘估计量的方差与标准误,普通最小二乘估计量(OLS),由于OLS估计是根据一个样本得到的，需要检验估计量的可靠性（reliability）或精密度。在统计学中，一个估计量的精密度由它的方差（variance）及标准误（standard error, se)来衡量。,3.2 普通最小二乘估计量的方差与标准误,普通最小二乘估计量的方差和标准误,一旦知道了 ,很容易计算等式右边的项,从而可以求得OLS估计量的方差和标准差,3.2 普通最小二乘估计量的方差与标准误,随
4、机误差项 的方差 的估计：,它是关于2的无偏估计量。,是残差平方和(RSS),的正根称为估计值的标准差或是回归标准误,3.2 普通最小二乘估计量的方差与标准误,3.2 普通最小二乘估计量的方差与标准误,3.2.1 数学S.A.T一例的方差和标准误,0.000245,1010,1010,10-8,10-8,3.2 普通最小二乘估计量的方差与标准误,3.2.2 数学S.A.T一例的小结估计的数学S.A.T函数如下：,（3-16）,3.3 为什么使用OLS？OLS估计量的性质,高斯马尔柯夫定理（Gauss-Markov theorem）如果满足古典线性回归模型的基本假定，则在所有线性无偏估计量中，O
5、LS估计量具有最小方差性：即OLS估计是最优线性无偏（Best Linear Unbiased Estimator, BLUE）估计量。,3.3 为什么使用OLS？OLS估计量的性质,OLS 统计量的性质：,（1）线性：,为Y的线性函数。,（2）无偏性1：,为,的无偏估计量。,（4）有效估计量（最小方差性）：,（3）无偏性2：误差方差的OLS估计量是无偏的。,3.4 OLS估计量的抽样分布或概率分布,3.4 OLS估计量的抽样分布或概率分布,Kurtosis,3.5 假设检验,回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。 尽管从统计性质上已知，如果
6、有足够多的重复抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。,所谓假设检验，就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原假设。 假设检验采用的逻辑推理方法是反证法。先假定原假设正确，然后根据样本信息，观察由此假设而导致的结果是否合理，从而判断是否接受原假设。 判断结果合理与否，是基于“小概率事件不易发生”这一原理的。,3.5 假设检验,3.5 假设检验,
7、回到数学S.A.T一例，假定家庭年收入对学生的数学S.A.T成绩没有影响：H0：B2=0 （零假设，也称稻草人假设）H1：B20 （备择假设）可以选择两种方法对B2和B1的参数进行假设检验：置信区间法 显著性检验法,3.5 假设检验,由于2未知，以其估计值代替，,要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的置信区间法 。,3.5 假设检验,3.5.1 检验 置信区间法,由于2未知，以其估计值代替，,意味着，如果给定置信度（1-），从分布表中查得
8、自由度为(n-2)的临界值，那么t值处在(-t/2, t/2)的概率是(1- )。表示为：,即：,3.5 假设检验,于是得到:100(1-)%的置信度下, B2的置信区间是,给定置信系数1-，随机的置信区间将有1-包含真值B2。,3.5 假设检验,置信区间为：,100个区间中将有100(1-)个包括真实B2,在上述数学S.A.T一例中，如果给定=0.05，查表得：,由于,于是得到:(1-)的置信度下, B1的置信区间是,3.5 假设检验,同理可以得到:(1-)的置信度下, B2的置信区间是,3.5 假设检验,原假设 H0：B2 = 0 备择假设 H1： B2 0,双边检验,3.5 假设检验,3
9、.5.2 显著性检验法 t检验,3.5 假设检验,继续数学S.A.T一例（双边检验） t统计量的计算结果为：,给定显著性水平=0.05，查t分布表得临界值t 0.05/2(8)=2.306|t|2.306，拒绝零假设，说明家庭收入在95%的置信度下显著，即是数学S.A.T的主要解释变量。 本例中t统计量（5.4354）的p值约为0.0006，小于给定的显著性水平=0.05，所以拒绝零假设。（P52）,1、 双边显著性检验,3.5 假设检验,图3-6 自由度为8的t分布,2、 单边显著性检验,如果预期B2大于零，则,原假设 H0：B2 0 备择假设 H1： B2 0,右侧单边检验,3.5 假设检
10、验,3.5 假设检验,对于数学S.A.T一例，首先计算在零假设H0：B2 = 0 下的t值,右侧单边检验,原假设 H0：B2 0 备择假设 H1： B2 0,3.5 假设检验,如果预期B2小于零，则,左侧单边检验,3.5 假设检验,原假设 H0：B2 0 备择假设 H1： B2 0,3.5 假设检验,3.6 拟合回归直线的优度：判定系数,1.拟合优度检验,拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。度量拟合优度的指标：判定系数（可决系数）r2,2.总离差平方和的分解,已知由一组样本观测值（Xi,Yi），i=1,2,n得到如下样本回归直线,3.6 拟合回归直线的优度：判定系数,Y
11、i的总变异 由X变异所解释的部分 未解释部分或残差的变异,3.6 拟合回归直线的优度：判定系数,对于所有样本点，则需考虑这些点与样本均值离差的平方和，可以证明：,总平方和（TSS）：实测的Y值围绕其均值的总变异 ：,估计的Y值围绕其均值的总变异,未被解释的围绕回归线的Y值的变异,3.6 拟合回归直线的优度：判定系数,总平方和（Total Sum of Squares）,回归（解释）平方和（Explained Sum of Squares）,残差平方和（Residual Sum of Squares ）,3.6 拟合回归直线的优度：判定系数,TSS=ESS+RSS,Y的观测值围绕其均值的总离差(
12、total variation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。,在给定样本中，TSS不变，如果实际观测点Yi离样本回归线越近，则ESS在TSS中占的比重越大，因此拟合优度：回归平方和ESS/Y的总离差TSS,3.6 拟合回归直线的优度：判定系数,3.判定系数r2的计算公式,称 r2 为（样本）可决系数/判定系数（判定coefficient of determination)。判定系数测度了在Y的总变异中，由回归模型解释的部分所占的比例。判定系数越高，回归模型拟合的程度就越好。,r2的两个重要性质：（1）非负性（2）,3.6 拟合回归直线的优度：判
13、定系数,4.数学S.A.T一例中的,根据表2-4中的数据，得到数学S.A.T一例中的判定系数r2值,3.6 拟合回归直线的优度：判定系数,5.相关系数r,判定系数与相关系数的关系：相关系数：表示两个随机变量之间的相关程度。定义为：,以样本方差和样本协方差估计X、Y的方差和协方差，样本相关系数为：,样本相关系数的平方与判定系数相等，但二者的意义不同。,3.6 拟合回归直线的优度：判定系数,3.7 回归分析结果的报告,se= (16.9061) (0.000245),t= (25.5774) (5.4354) r2=0.7869P值=(5.85*10-9) (0.0006) d.f.=8,对于数学
14、S.A.T一例：,3.8 计算机输出结果,3.9 正态性检验,残差直方图：是用于获知随机变量概率密度函数（PDF）形状的一种简单图形工具。 正态概率图：研究随机变量PDF的简单图形工具 。 雅克贝拉（Jarque Bera）检验,如何证实 服从正态分布?,有三种简单的检验方法:,3.10 例子：美国商业部门工资和生产率的关系（1959-2006）-数据,图3-10 美国商业部门19592006年工资和劳动生产率的关系,3.10 例子：美国商业部门工资和生产率的关系（1959-2006）-散点图,3.10 例子：美国商业部门工资和生产率的关系（1959-2006）-EViews输出结果,1. 建
15、立回归分析结果的报告,3.10 例子：美国商业部门工资和生产率的关系（1959-2006）-回归分析过程,2. 对回归结果解释斜率系数0.66表明，如果生产率提高1个单位，则实际工资平均提高0.66个单位。3. 对回归分析的假设检验（1）置信区间法,3.10 例子：美国商业部门工资和生产率的关系（1959-2006）-回归分析过程,在此例中，如果给定 =0.05，查表得：,由于,于是得到:(1-)的置信度下, B1的置信区间是,3.10 例子：美国商业部门工资和生产率的关系（1959-2006）-回归分析过程,同理得到:(1-)的置信度下, B2的置信区间是,3.10 例子：美国商业部门工资和
16、生产率的关系（1959-2006）-回归分析过程,（2） B2显著性检验,t统计量的计算结果为：,给定显著性水平=0.05，查t分布表得临界值t 0.05/2(46)=2.021|t|2.021，拒绝零假设，说明生产率在95%的置信度下显著，即是工资的主要解释变量。 本例中t统计量（42.29178）的p值约为0.0000,小于给定的显著性水平=0.05，所以拒绝零假设。,原假设 H0：B2 = 0 备择假设 H1： B2 0,3.10 例子：美国商业部门工资和生产率的关系（1959-2006）-回归分析过程,（3）拟合优度检验4. 随机干扰项正态分布检验 残差直方图工资生产率回归的残差直方图
17、 正态概率图工资生产率回归的残差正态概率图 JB检验工资生产率回归的残差直方图,3.10 例子：美国商业部门工资和生产率的关系（1959-2006）-回归分析过程,图3-11 实际值、估计值和回归残差,工资生产率回归的残差直方图,工资生产率回归的残差直方图,因为JB的p值大于给定的显著性水平，所以 接受零假设，即认为随机干扰项服从正态分布,工资生产率回归拟合图,根据经济理论建立线性回归模型，并利用统计资料对模型参数进行了估计，建立了回归方程。经过显著性检验，判定回归方程能正确反映经济现象时，一个重要目标就是利用回归方程进行预测。,3.11 预测,3.11 预测,已知X的一个特定值X0，要预测Y
18、0的条件均值（总体回归线上的对应Y值）E(Y|X0)，,3.11 预测,显然，当X0越接近X 的均值，区间就变得越狭窄。,3.11 预测,继续数学S.A.T一例。,3.11 预测,3.11 预测,3.11 预测,小结：双变量线性回归分析的主要步骤,1、建立回归模型研究某一经济现象，先根据经济理论，选择具有因果关系的两个变量（Y，X)，建立线性回归模型，确定解释变量和被解释变量。 如果不明确两个变量是否为线性关系，也可以根据散点图来分析。建立回归模型可以是根据经济理论，也可以根据相同或相似经济现象的历史分析经验来建立回归模型。建立模型时，不仅要考虑理论或经验的依据，同时也要考虑数据的可利用程度。
19、2、收集数据，并经过适当的加工整理，得到适于回归分析的样本数据集。3、估计模型参数。利用样本数据，以OLS得到模型参数的估计值。,小结：双变量线性回归分析的主要步骤,4、对回归模型和参数估计值进行检验。检验回归结果是否正确反映经济现象，是否与理论相符。包括理论检验和统计检验。经济理论检验：参数的符号，大小是否与理论和实际相符。若不符，寻找原因（数据？模型设定？理论错误？）统计检验：拟和优度检验，估计量、回归方程的显著性检验。 5、预测对于解释变量的特定值，带入回归方程得到因变量的预测值；在给定的置信水平上，得到应变量预测值的置信区间。6、回归结果的表述：,并说明参数的显著水平（ ）。,第3章作业,3.4；3.7；3.8；3.10；3.11；3.15 3.17,
