1、实验目的,实验内容,学习如何应用R软件解决统计问题,1、统计模型、方法简介 2、应用实例3、实验作业,S统计分析,统计模型简介,这一节我们简单介绍S的统计模型。S中实现了几乎所有常见的统计模型，而且多种模型可以用一种统一的观点表示和处理。这方面S-PLUS较全面，它实现了许多最新的统计研究成果，R因为是自愿无偿工作所以统计模型部分还相对较欠缺。事实上，许多统计学家的研究出的统计算法都以S-PLUS程序发表，因为S语言是一种特别有利于统计计算编程的语言。学习这一节需要我们具备线型模型、线型回归、方差分析的基本知识。,第9章 一元线性回归,9.1 变量间关系的度量 9.2 一元线性回归9.3 利用
2、回归方程进行估计和预测9.4 残差分析,函数关系,是一一对应的确定关系设有两个变量 x 和 y ，变量 y 随变量 x 一起变化，并完全依赖于 x ，当变量 x 取某个数值时， y 依确定的关系取相应的值，则称 y 是 x 的函数，记为 y = f (x)，其中 x 称为自变量，y 称为因变量各观测点落在一条线上,9.1 变量间的关系,函数关系(几个例子), 函数关系的例子某种商品的销售额(y)与销售量(x)之间的关系可表示为 y = px (p 为单价)圆的面积(S)与半径之间的关系可表示为S=R2 企业的原材料消耗额(y)与产量(x1) 、单位产量消耗(x2) 、原材料价格(x3)之间的关
3、系可表示为y = x1 x2 x3,相关关系(correlation),变量间关系不能用函数关系精确表达一个变量的取值不能由另一个变量唯一确定当变量 x 取某个值时，变量 y 的取值可能有几个各观测点分布在直线周围,相关关系(几个例子), 相关关系的例子父亲身高(y)与子女身高(x)之间的关系收入水平(y)与受教育程度(x)之间的关系粮食亩产量(y)与施肥量(x1) 、降雨量(x2) 、温度(x3)之间的关系商品的消费量(y)与居民收入(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系,相关关系(类型),散点图(scatter diagram),相关关系的描述与测度,散点图(例题分析
4、),【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据,散点图(例题分析),散点图(例题分析),例1 读取某公司雇员数据（R数据文件）, 画出起始收入和现在收入的散点图。load(E:/R/Employee data.Rdata);ls(); 1 Edataattributes(Edata
5、); $names 1 ID GENDER BDATE EDUC JOBCAT SALARY 7 SALBEGIN JOBTIME PREVEXP MINORITYplot(Edata$SALARY,Edata$SALBEGIN);,相关系数(correlation coefficient),对变量之间关系密切程度的度量对两个变量之间线性相关程度的度量称为简单相关系数若相关系数是根据总体全部数据计算的，称为总体相关系数，记为若是根据样本数据计算的，则称为样本相关系数，记为 r,相关关系的描述与测度,相关系数 (计算公式), 样本相关系数的计算公式,或化简为,相关系数(取值及其意义),r 的取值
6、范围是 -1,1 |r|=1，为完全相关r =1，为完全正相关r =-1，为完全负正相关 r = 0，不存在线性相关关系相关 -1r0，为负相关 0t，拒绝H0 若tt(25-2)=2.0687，拒绝H0，不良贷款与贷款余额之间存在着显著的正线性相关关系,相关系数的显著性检验(例题分析),各相关系数检验的统计量,9.2 一元线性回归,一元线性回归模型参数的最小二乘估计回归直线的拟合优度显著性检验,什么是回归分析？(Regression),从一组样本数据出发，确定变量之间的数学关系式对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著利用所求
7、的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度,趋向中间高度的回归,回归这个术语是由英国著名统计学家Francis Galton在19世纪末期研究孩子及他们的父母的身高时提出来的。Galton发现身材高的父母，他们的孩子也高。但这些孩子平均起来并不像他们的父母那样高。对于比较矮的父母情形也类似：他们的孩子比较矮，但这些孩子的平均身高要比他们的父母的平均身高高。 Galton把这种孩子的身高向中间值靠近的趋势称之为一种回归效应，而他发展的研究两个数值变量的方法称为回归分析。,回归分析与相关分析的区别,相关分析中，变量 x 变量 y 处于平等的地
8、位；回归分析中，变量 y 称为因变量，处在被解释的地位，x 称为自变量，用于预测因变量的变化相关分析中所涉及的变量 x 和 y 都是随机变量；回归分析中，因变量 y 是随机变量，自变量 x 可以是随机变量，也可以是非随机的确定变量相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量 x 对变量 y 的影响大小，还可以由回归方程进行预测和控制,回归模型的类型,一元线性回归,涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependent variable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independen
9、t variable)，用x表示 因变量与自变量之间的关系用一条线性方程来表示,回归模型(regression model),回答“变量之间是什么样的关系？”方程中运用1 个数字的因变量(响应变量)被预测的变量1 个或多个数字的或分类的自变量 (解释变量)用于预测的变量3.主要用于预测和估计,一元线性回归模型,描述因变量 y 如何依赖于自变量 x 和误差项 的方程称为回归模型一元线性回归模型可表示为 y = b0 + b1 x + ey 是 x 的线性函数(部分)加上误差项线性部分反映了由于 x 的变化而引起的 y 的变化误差项 是随机变量反映了除 x 和 y 之间的线性关系之外的随机因素对
10、y 的影响是不能由 x 和 y 之间的线性关系所解释的变异性0 和 1 称为模型的参数,一元线性回归模型(基本假定),误差项是一个期望值为0的随机变量，即E()=0。对于一个给定的 x 值，y 的期望值为E ( y ) = 0+ 1 x对于所有的 x 值，的方差2 都相同误差项是一个服从正态分布的随机变量，且相互独立。即N( 0 ,2 )独立性意味着对于一个特定的 x 值，它所对应的与其他 x 值所对应的不相关对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关,回归方程 (regression equation),描述 y 的平均值或期望值如何依赖于 x 的方程称为
11、回归方程一元线性回归方程的形式如下 E( y ) = 0+ 1 x,方程的图示是一条直线，也称为直线回归方程0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期望值1是直线的斜率，称为回归系数，表示当 x 每变动一个单位时，y 的平均变动值,估计的回归方程(estimated regression equation),一元线性回归中估计的回归方程为,用样本统计量 和 代替回归方程中的未知参数 和 ，就得到了估计的回归方程,总体回归参数 和 是未知的，必需利用样本数据去估计,其中： 是估计的回归直线在 y 轴上的截距， 是直线的斜率，它表示对于一个给定的 x 的值， 是 y 的估计值，也表
12、示 x 每变动一个单位时， y 的平均变动值,最小二乘估计,使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即,用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小,最小二乘估计(图示),最小二乘法 ( 和 的计算公式), 根据最小二乘法的要求，可得求解 和 的公式如下,估计方程的求法(例题分析),【例】求不良贷款对贷款余额的回归方程,回归方程为：y = -0.8295 + 0.037895 x回归系数 =0.037895 表示，贷款余额每增加1亿元，不良贷款平均增加0.037895亿元,估计方程的求法(例题分析),不良贷款对贷款余额回归方程的图示
13、,用R进行回归分析,变差,因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面由于自变量 x 的取值不同造成的除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差 来表示,回归直线的拟合优度,变差的分解 (图示),离差平方和的分解 (三个平方和的关系),离差平方和的分解 (三个平方和的意义),总平方和(SST)反映因变量的 n 个观察值与其均值的总离差回归平方和(SSR)反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可
14、解释的平方和残差平方和(SSE)反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和,判定系数r2 (coefficient of determination),回归平方和占总离差平方和的比例,反映回归直线的拟合程度取值范围在 0 , 1 之间 R2 1，说明回归方程拟合的越好；R20，说明回归方程拟合的越差判定系数等于相关系数的平方，即R2(r)2,判定系数r2 (例题分析),【例】计算不良贷款对贷款余额回归的判定系数，并解释其意义 判定系数的实际意义是：在不良贷款取值的变差中，有71.16%可以由不良贷款与贷款余额之间的线性关系来解释，或者说，在不良贷款取值的变
15、动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系,估计标准误差(standard error of estimate),实际观察值与回归估计值离差平方和的均方根反映实际观察值在回归直线周围的分散状况对误差项的标准差的估计，是在排除了x对y的线性影响后，y随机波动大小的一个估计量反映用估计的回归方程预测y时预测误差的大小 计算公式为,注：例题的计算结果为1.9799,线性关系的检验,检验自变量与因变量之间的线性关系是否显著将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别
16、是否显著回归均方：回归平方和SSR除以相应的自由度(自变量的个数p) 残差均方：残差平方和SSE除以相应的自由度(n-p-1),显著性检验,线性关系的检验 (检验的步骤),提出假设H0：1=0 线性关系不显著,2. 计算检验统计量F,确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F 作出决策：若FF ,拒绝H0；若FF ,拒绝H0，线性关系显著,线性关系的检验 (方差分析表),R输出的方差分析表,回归系数的检验,在一元线性回归中，等价于线性关系的显著性检验,检验 x 与 y 之间是否具有线性关系，或者说，检验自变量 x 对因变量 y 的影响是否显著,理论基础是回归系数 的抽样分
17、布,回归系数的检验(样本统计量 的分布),是根据最小二乘法求出的样本统计量，它有自己的分布 的分布具有如下性质分布形式：正态分布数学期望：标准差：由于未知，需用其估计量sy来代替得到 的估计的标准差,回归系数的检验 (检验步骤),提出假设H0: b1 = 0 (没有线性关系) H1: b1 0 (有线性关系) 计算检验的统计量,确定显著性水平，并进行决策 tt，拒绝H0； tt=2.201，拒绝H0，表明不良贷款与贷款余额之间有线性关系,回归系数的检验 (例题分析),P 值的应用,P=0.000000F ，拒绝H0,R输出结果的分析,回归系数的检验,线性关系检验通过后，对各个回归系数有选择地进
18、行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第一类错误(弃真错误) 对每一个自变量都要单独进行检验应用 t 检验统计量,回归系数的检验(步骤),提出假设H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t,3. 确定显著性水平，并进行决策 tt，拒绝H0； tt(25-2)=2.0687，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系由表Excel输出的结果可知，回归模型的线性关系显著(Significa
19、nce-F1.03539E-06=0.05) 。这也暗示了模型中存在多重共线性固定资产投资额的回归系数为负号(-0.029193) ，与预期的不一致,多重共线性(问题的处理),将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据 t 统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内,R输出结果的分析,10.5 利用回归方程进行估计和预测,软件应用,置信区间估计(例题分析),STATISTICA输出的不良贷款的置信区间,预测区间估计(例题分析),STATISTICA输出的不良贷款的预测区间,10.6 虚拟自
20、变量的回归,含有一个虚拟自变量的回归用虚拟自变量回归解决方差分析问题,虚拟自变量(dummy variable),用数字代码表示的定性自变量虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如，性别(男，女) 有两个以上水平的虚拟自变量贷款企业的类型(家电，医药，其他) 虚拟变量的取值为0，1,虚拟自变量的回归,回归模型中使用虚拟自变量时，称为虚拟自变量的回归当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量比如，性别(男，女) 一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个虚拟变量,虚拟自变量的回归(例题分析),【例】为研究考试成绩与性别之间的关系，从某大学商学院随机
21、抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如下表,虚拟自变量的回归(例题分析),散点图,y与x的回归,虚拟自变量的回归 (例题分析),引进虚拟变量时，回归方程可写：E(y) =0+ 1x男( x=0)：E(y) =0男学生考试成绩的期望值女(x=0 )：E(y) =0+ 11女学生考试成绩的期望值注意：当指定虚拟变量01时0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值，即 平均值的差值 =(0+ 1) - 0= 1,虚拟自变量的回归(例题分析),【例】为研究工资水
22、平与工作年限和性别之间的关系，在某行业中随机抽取10名职工，所得数据如下表,y与x1的回归及分析,y与x1、 x2的回归及分析,虚拟自变量的回归 (例题分析),引进虚拟变量时，回归方程可写： E(y) =0+ 1x1+ 2x2女( x2=0)：E(y|女性) =0 +1x1男(x2=1)：E(y|男性) =(0 + 2 ) +1x10的含义表示：女性职工的期望月工资收入 (0+ 2)的含义表示：男性职工的期望月工资收入 1含义表示：工作年限每增加1年，男性或女性工资的平均增加值 2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 (0+ 2) - 0= 2,用虚拟自变量回
23、归解决方差分析问题,方差分析的回归方法 (例题分析),引进虚拟变量建立回归方程：E(Y)=0+ 1x1+ 2x2+3x3用R进行回归0家电制造业投诉次数的平均值 (0+ 1)零售业投诉次数的平均值 (0+ 2)旅游业投诉次数的平均值 (0+ 3)航空公司投诉次数的平均值,本章小结,多元回归模型、回归方程、估计方程回归方程的拟合优度显著性检验多重共线性利用回归方程进行估计和预测虚拟自变量的回归方差分析的回归方法,第11章 实例分析,11.1 统计模型的表示11.2 统计分析实例,11.1 统计模型的表示,很多统计模型可以用一个线型模型来表示：,在S中模型是一种对象，其表达形式叫做一个公式，我们先
24、举几个例子来看一看。假定y，x，x0，x1，x2，是数值型变量，X是矩阵，A，B，C，是因子。,在S中运算符用来定义模型公式。一般的线型模型的公式形式为因变量 +- 第一项+- 第二项+- 第三项 其中因变量可以是向量或矩阵，或者结果为向量或矩阵的表达式。 是加号+或者减号，表示在模型中加入一项或去掉一项，第一项前面如果是加号可以省略。公式中的各项可以取为：一个值为向量或矩阵的表达式，或1。 一个因子 一个“公式表达式”，由“公式运算符”把因子、向量、矩阵连接而成。公式中的各项可以取为：一个值为向量或矩阵的表达式，或1。 一个因子 一个“公式表达式”，由“公式运算符”把因子、向量、矩阵连接而成
25、。 每一项定义了要加入模型矩阵或从模型矩阵中删除的若干列。一个1表示一个截距项列，除非显式地删除总是隐含地包括在模型公式中。“公式运算符”的定义和Glim、Genstat软件中的定义类似，不过那里的“.”运算符这里改成了“:”，因为在S中句点是名字的合法字符。资料中列出了各运算符的简要说明。,每一项定义了要加入模型矩阵或从模型矩阵中删除的若干列。一个1表示一个截距项列，除非显式地删除总是隐含地包括在模型公式中。“公式运算符”的定义和Glim、Genstat软件中的定义类似，不过那里的“.”运算符这里改成了“:”，因为在S中句点是名字的合法字符。下表列出了各运算符的简要说明。注意在函数调用的括号
26、内的表达式按普通四则运算解释。函数I()可以把一个计算表达式封装起来作为模型的一项使用。注意S的模型表示只给出了因变量和自变量及自变量间的关系，这样只确定了线型模型的模型矩阵，而模型参数向量是隐含的，并没有的模型公式中体现出来。这种做法适用于线性模型，但不具有普遍性，例如非线性模型就不能这样表示。,线性回归模型,拟合普通的线性模型的函数为lm()，其简单的用法为： fitted.model = lm( formula, data= data.frame)其中data.frame为各变量所在的数据框，formula为模型公式，fitted.model是线性模型拟合结果对象（其class属性为lm
27、）。例如： mod1 =lm(y x1 + x2, data=production)可以拟合一个y对x1和x2的二元回归（带有隐含的截距项），数据来自数据框production 。拟合的结果存入了对象mod1中。注意不论数据框production是否以用attach()连接入当前运行环境都可被lm()使用。lm()的基本显示十分简练：, mod1Call:lm(formula = y x1 + x2, data = production)Coefficients: (Intercept) x1 x2 0.0122033 2.0094758 -0.0005314 只显示了调用的公式和参数估计结果。,提取信息的通用函数,lm()函数的返回值叫做模型拟合结果对象，本质上是一个具有类属性值lm的列表，有model 、coefficients、residuals等成员。lm()的结果显示十分简单，为了获得更多的拟合信息，可以使用对lm类对象有特殊操作的通用函数，这些函数包括：add1coefeffectskappapredictresidualsaliasdeviancefamilylabelsprintsummaryanovadrop1formulaplotproj 下表给出了lm类（拟合模型类）常用的通用函数的简单说明。,
