1、多元线性回归模型主要内容 n 多元线性回归模型的一般形式 n 参数估计（ OLS估计） n 假设检验 n 预测一. 多元线性回归模型 n 问题的提出 n 解析形式 n 矩阵形式问题的提出 n 现实生活中引起被解释变量变化的因素并非仅 只一个解释变量，可能有很多个解释变量。 n 例如，产出往往受各种投入要素资本、劳 动、技术等的影响；销售额往往受价格和公司 对广告费的投入的影响等。 n 所以在一元线性模型的基础上，提出多元线性 模型解释变量个数 2 对人均国民生产总值（Y）的 影响因素（X）有： 人口变动因素、固定资产数、货币供给量、 物价指数、国内国际市场供求关系等 对汽车需求量（Y）的 影响
2、因素（X）有： 收入水平、汽车价格、 汽油价格等 社会经济现象的复杂性 ！多元线性回归模型表示方法 n 多元回归模型:含两个以上解释变量的回归模 型 n 多元线性回归模型:一个应变量与多个解释变 量之间设定的是线性关系 n 多元线性回归模型一般形式为： u X b X b X b b Y k k + + + + + = L 2 2 1 1 0多元线性回归模型的假设 n 解释变量 X i 是确定性变量，不是随机变量；解释变量 之间互不相关，即无多重共线性。 n 随机误差项具有0均值和同方差 n 随机误差项不存在序列相关关系 n 随机误差项与解释变量之间不相关 n 随机误差项服从0均值、同方差的正
3、态分布 u X b X b X b b Y k k + + + + + = L 2 2 1 1 0多元模型的解析表达式 i ki k i i i ki i i i k k u X bX b X b b Y n i X X X Y n u XbX b X b b Y + + + + + = = + + + + + = L L L L 2 2 1 1 0 2 1 2 2 1 1 0 , , 2 , 1 ) , , , , ( 得： 个样本观测值 + + + + + = + + + + + = + + + + + = n kn k n n n k k k k u X bX b X b b Y u X
4、 bX b X b b Y u X bX b X b b Y L L L L L L L L L 2 2 1 1 0 2 2 22 2 12 1 0 2 1 1 21 2 11 1 0 1 + = u u u b b b b X X X X X X X X X Y Y Y n k kn k k n n n M M M L L L M M M M 2 1 2 1 0 2 1 2 2 21 1 12 1 2 1 1 1 1 多元模型的矩阵表达式 U XB Y + = = = = = + = u u u b b b b X X X X X X X X X Y Y Y n k kn k k n n n
5、 U B X Y U XB Y M M M L L L M M M M 2 1 2 1 0 2 1 2 2 21 1 12 1 2 1 1 1 1 矩阵形式二. 参数估计(OLS) n 参数值估计 n 参数估计量的性质 n 偏回归系数的含义 n 正规方程 n 样本容量问题2.1参数值估计(OLS) ( ) ( ) ( - = = = + + + - = = = ni ni ni i X b X b b Y y y Q ki k i i i i e 1 2 1 2 1 2 1 1 0 L = = = = 0 0 0 0 2 1 0 k bQ bQ bQ bQ L L L L( ) ( ) ( )
6、 ( ) = + + + - = + + + - = + + + - = + + + - 0 0 0 0 1 1 0 2 1 1 0 2 1 1 1 0 1 1 1 0 X X b X b b x Y X X b X b b X Y X X b X b b X Y X b X b bY ki ki k i ki i i ki k i i i i ki k i i i ki k i i L M M L L L 得到下列方程组 求参数估计值的实质是求一个k+1元方程组正规方程 变成矩阵形式 = + + + + = + + + + = + + + + i ki ki k ki i ki i ki i
7、 i i ki k i i i i i ki k i i Y X X b X X b X X b X b Y X X X b X X b X b X b Y X b X b X b b n 2 2 2 1 1 0 1 1 1 2 2 2 1 1 1 0 2 2 1 1 0 L L L L L L L L L L L L = i ki i i i k ki ki i ki i ki i ki i i i i ki i i Y X Y X Y b b b b X X X X X X X X X X X X X X X n M M L L L L L L L L 1 2 1 0 2 2 1 1 1
8、2 2 1 1 2 1 正规方程 矩阵形式 Y X X X B Y X B X X = = -1 ) ( = 2 2 1 1 1 2 2 1 1 2 1 ki ki i ki i ki i ki i i i i ki i i X X X X X X X X X X X X X X X n X X L L L L L L L L = k b b b b B 2 1 0M = i ki i i i Y X Y X Y Y X M 1最小二乘法的矩阵表示 ( ) ( ) 1 0 0 2 ) ( ) )( ( ) ( ) ( ) , 0 ( 2 1 1 2 1 2 2 - - = = = + - =
9、+ - = = + - - = - - = - - = = - = - = - = = + = = - = = k n e e Y X X X B B X X Y X B Q B X X B Y X B Y Y Y X B B X Y B X X B Y X B B X Y Y Y B X Y X B Y Q B X Y B X Y e e B X Y Y Y E y y Q N U U XB Y B X Y ni i i ni i e s s ？ 为什么2.2最小二乘估计量的性质 n （1）线性（估计量都是被解释变量观测值的线性组 合） n （2）无偏性（估计量的数学期望=被估计的真值） n
10、 （3）有效性（估计量的方差是所有线性无偏估计中最 小的） ） 无偏估计（ 是最佳线性 估计式 结论：在古典假定下， BLUE b OLSOLS估计量的性质（续） 正态） 的线性函数 是 正态，又 的线性函数 是 正态 （ 个元素。 中对角线上第 ） 是（ 其中， 在古典假定下， j j i i jj jj j j j j Y u Y u j c c Var k j Var N - = = b b s b b b b Y , X X , ) ( ,., 2 , 1 ), ( , ( ) 4 ( 1 2线性 Y X X X B = - ) ( 1无偏性 B N X E X X B N X X X
11、 XB X X X E N XB X X X E Y X X X E B E = + = + = + = = - - - - - ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 1 1 1 1 1有效性 ) ( ) ( ) )( ( ) ( ) ( ) ( ) ( ) ( ) ) ( ) )( ) ( ) ( ) ) )( ) ( ) )( ( ) ( )( ( ( ) ( ) ( ( ) ( 1 2 1 1 1 1 1 1 1 1 1 1 ) 1 ( ) 1 ( 2 - - - - - - - - - - - + + = = = = - + - + = - - = - - =
12、 - - = - = X X X X N E X X N E X X X X N X X E B N XB X X B N XB X X E B Y X X B Y X X E B BB BE BE BBE BE BCov x E x E x Cov k k s 回忆：2.2 OLS回归线的性质 n 完全同一元情形： 不相关 与残差 ）解释变量 （ 不相关； 与残差 ）应变量估计值 （ 的均值为 剩余项（残差） 的均值 的均值等于实际观测值 估计值 ）回归线过样本均值 （ i i i i i i i ki k i i eX eYeYY X X X Y 5 4 0 ) 3 ( ) 2 ( 1 3
13、3 22 1 + + + = b b b b注解：k与k+1 n 凡是按解释变量的个数为k的，那么共有k+1 个参数要估计。而按参数个数为k的，则实 际有k1个解释变量。总之两者相差1而已！ 要小心所用的k是什么意思！ n 所以如果本来是用解释变量个数的k表示的 要转换成参数个数的k则用k1代换原来的k就 可以了！2.3偏回归系数的意义 n 多元回归模型中的回归系数称为偏回归系数 n 某解释变量前回归系数的含义是，在其他解释 变量保持不变的条件下，该变量变化一个单 位，被解释变量将平均发生偏回归系数大小的 变动2.4多元回归模型参数估计中的样本容量问 题 n 样本是一个重要的实际问题，模型依赖
14、于实际 样本。 n 获取样本需要成本，企图通过样本容量的确定 减轻收集数据的困难。 n 最小样本容量：满足基本要求的样本容量最小样本容量 n k+1 n (XX) 1 存在| XX | 0 XX 为k+1阶的满秩阵 n R(AB) min(R(A),R(B) n R(X) k+1 n 因此，必须有nk+1 Y X X X B = -1 ) ( 满足基本要求的样本容量 n 一般经验认为： n30或者n3(k+1)才能满足模型估计的基 本要求。 n3(k+1)时，t分布才稳定，检验才较为有效三 多元线性回归模型的检验 n 本节主要介绍： n 3.1 拟合优度检验（判定系数及其校正） n 3.2 回
15、归参数的显著性检验（t检验） n 3.3 回归方程的显著性检验（F检验） n 3.4 拟合优度、t检验、F检验的关系3.1.1 拟合优度检验 总平方和、自由度的分解 n 目的：构造一个不含单位，可以相互比较， 而且能直观判断拟合优劣的指标。 n 类似于一元情形，先将多元线性回归作如下 平方和分解： 2 2 2 ( ) ( ) ( ) n1 k1 nk i i i i YY YY YY TS RS ES - = -+ - = + = + 总离差平方和 回归平方和 残差平方和 自由度：对以上自由度的分解的说明 ( ) 1 ) ( ) 1( , 0 ,., 0 , 2 2 1 1 , 1 2 1 2 1 2 2 2 ) ( - = - - - = - = - = = = = = - = = = + + + - - - k k n n RS TS ES k n n k e e ki k i RS n Y n Y TS df df Y X X Y Y Y df Y Y E R i k i i k i i T i i 知 再由： 所以， 约束 个 对 个方程 方程求出，共有 由 而 所以 一个方程的约束 受 b b b b b b b
