1、1,第九章 回归分析,第一节 相关与回归的概念,2,一变量关系的分类函数与相关,（一）函数关系：也称确定性关系。当其中一个变量（自变量）在其变化范围内取定某值时，另一个变量（因变量）按照一定法则总有确定的数值和它对应。这种关系称为函数关系。,3,（二）相关关系：当自变量在其变化范围内取定某一数值时，因变量虽然没有一个确定的数值与之对应，而却有一个因变量特定的条件概率分布与之对应。也就是在一次抽样中，因变量出现的数值具有偶然性，在多次抽样中，因变量出现的数值便具有一定的规律性，即服从一定的概率分布。这种关系称相关关系。 变量的相关关系按其在坐标图上的形状可分为线性和非线性。,4,二回归分析的概念
2、与意义,回归分析就是处理相关关系中变量与变量间数量关系的一种数学方法。在回归分析中需要明确自变量和因变量。当两个变量具有原因和反应的关系时，原因变量即为自变量，反应变量则为因变量。当两个变量是平等关系时，则哪一个作为自变量都可。只有一个自变量的回归称一元回归，有两个或两个以上自变量的回归问题称多元回归。,5,三相关分析的概念与意义,相关分析就是用一个数量性指标来描述变量之间的相关关系的密切程度。这个指标称为相关系数。通常将相关分析与回归分析配合起来应用。一般在研究变量之间的直线关系时，多在配回归方程之前，先计算相关系数，以确定所研究的变量之间的相关关系是否密切，如关系密切才值得去配回归方种作估
3、测之用。,6,第二节 直线回归,一利用散点图作初步判断： 从散点图可以直观地看出两个变量之间的大致关系，而且它们之间大致成一直线关系。,直线回归就是一元线性回归，它处理的是一个自变量与因变量之间的线性关系。,如何配置直线回归方程,7,二直线回归方程的配置：直线方程的通式为：y=a+bx,8,1确定直线回归方程的原则：所得到的直线是一切直线中最接近所有实测点的直线，亦即，以这条直线来代表x与y的关系，它与所有实测数据的误差比任何其他直线都要小（误差为最小值）误差平方和：所以，回归直线就是所有直线中误差平方和Q最小和一条直线，也就是说，求出的回归直线方程的系数b及常数项a，必须满足使Q达到最小值，
4、 分别对ab求偏导数并等于0，就可得下列值,9,B：回归直线通过点（ ， ）。,直线回归方程的特点：,b0时，x增加，则y增加,A.b0时，x增加，则y降低,10,2直线回归方程的具体计算格式： x的离均差平方和 lxx= =y的离均差平方和 lyy= =xy的乘积和 lxy= =b=lxy/lxx a=,11,直线回归方程的配置实例,有人研究了黏虫孵化历期平均温度与历期天数之间的关系，数据如下。试配置直线回归方程。,12,=134.7 =2323.19=115.3 =2039.03=1801.67,lxx=55.1788 lyy=377.2688 lxy=-139.6937 b=lxy/lx
5、x=-139.6938/55.1788=-2.5317,y=57.0400-2.5317x,13,三直线回归方程的方差分析,回归方程的方差分析就是把因变量y的变异分解为两部分，一部分是由于自变量x的相关性所引起的差异；一部分是由偶然因素所引起的变异。把这两部分变异进行比较，可以判断x与y相关的密切程度。,14,1回归方程方差分析的一般步骤： （1）总变异的分解：因变量y的总变异用y的总离均差平方和 来表示，简称为y的总平方和 Y的总变异是由两种原因引起的：自变量x的相关性所引起的其它偶然因素引起的,15,16,(2)自由度的确定：总自由度=回归自由度+剩余自由度dfT=dfu+dfQ总自由度=
6、 dfT=n-1回归自由度= dfu=自变量的个数（直线回归方程只有1个）剩余自由度= dfT- dfu=n-1-1=n-2,17,(3)回归关系显著性检验：同方差分析的原理F检验直线回归的方差分析,18,有人研究了黏虫孵化历期平均温度与历期天数之间的关系，数据如下。试配置直线回归方程。,2.回归方程方差分析的实例 上面的例子来进行方差分析,y=57.0400-2.5317x,19,lxx=55.1788 lyy=377.2688 lxy=-139.6937 y=57.0400-2.5317x u= = blxy=-2.5317*(-139.6937)=353.6628 Q= =lyy-u=3
7、77.2688-353.6628=23.6060,20,21,具有重复观察值的直线回归分析 m个重复试验，n个试验点。,22,df总=nm-1,dfu=1,Q=lyy-u剩余平方和Q反映的是试验误差与其它未加控制的因素的影响，在试验有重复的情况下，可以求出试验误差平方和lle,因而也就可以求出未加控制的因素的平方和，这部分平方和称失拟平方和，记作lle0. dfQ=nm-2 dfe=n(m-1) dfe0=nm-2-n(m-1)=n-2,23,F1=Se02/Se2 如果F1显著，说明失拟平方和中除含有试验误差外，还含有其它因素的影响，需进一步查明原因。如果D1不显著，说明失拟平方和基本是由试
8、验误差引起的，这时可将两者合并起来。,24,例：测定7种密度（x）下玉米的千粒重各两次，结果如下，试作直线回归分析,25,26,b=,a=234.43-(-7.36)4.1429=264.92y=264.92-7.36x,SSe0= Q- lle=m=184.80-108=76.8 F1=Se02/Se2=0.996F(1,12) 说明配置的方程拟合很好。,27,3根据回归方程估测y的取值问题,Y的取值有两种： Y的条件期望Uyx0：x取定值x0条件下Y的所有值的平均数 Y的个体值：x取定值x0条件下Y的个体的可能值,28,（1）对Y的条件平均值Uyx的估测：Y的条件平均值Uyx0的置信区间为
9、：Uyx0,29,（2）对y的个体值的估计：Y的个体值的置信区间为：y,30,四相关系数及其显著性检验,1相关系数的定义和性质：r= =（1）r的符号也决定于乘积和lxy 的符号，亦即与b的符号一致。 （2）r的绝对值愈大，两变量的相关愈显著 （3）相关系数r的取值范围是： 0 1,31,决定系数及与相关系数的关系 决定系数定义为由x（y)不同而引起的y(x)的平方和变化占y(x)总平方和的比率.决定系数与相关系数的关系 1、除r=1或0外，R2总是小于r.可以防止相关系数对相关程度的夸张解释。 2、 r可正可负， R2只有正值。一般， r的正负表示相关的性质； R2的大小表示相关的程度。,3
10、2,2相关系数的计算实例,上面的例子来进行方差分析r= = = -0.9682R2=(-0.9682)2=0.9374,lxx=55.1788 lyy=377.2688 lxy=-139.6937,有人研究了黏虫孵化历期平均温度与历期天数之间的关系，数据如下。试配置直线回归方程。,33,3相关系数显著性检验,t = =不同自由度的相关系数r的界限，可查表,34,测定7种玉米密度（x）下玉米的千粒重各两次，结果如下，试作直线回归分析。,35,b = = =-7.36a=234.43-(-7.36)*4.1429=264.92回归方程为：y=264.92-7.36x检验可用F，t，r三种方法，检验
11、的方法同前，只是自由度增加了。,36,第三节 多元线性回归,用方程式表达一个变量与多个变量之间的关系，并能从多个变量的数值推算出一个变量的数值的方法，称为多元回归或复回归。当各自变量与因变量的关系呈线性关系时多元线性回归。,37,一多元线性回归方程的配置及检验,（一）解正规方程组求出偏回归系数bi及同时求出逆阵元素的数值。 1写出多元线性回方程的通式：其中bi（I=1,2,k）称为y对xi的偏回归系数，b0称为常数项。,38,2写出正规方程组的通式： 令 lij=lji= =liy= 所以正规方程组的通式为：求b0的通式为：b0=,39,3解正规方程组同时求出逆矩阵元素顺序消元法,40,（二）
12、多元回归的方差分析,检验因变量与各自变量之间关系的密切程度Y的总平方和分解公式是： 自由度为n-1,41,回归平方和的计算公式： 自由度为k剩余平方和的计算公式是： 自由度为n-1-k方差分析的F检验： F=回归平方和/剩余平方和,42,（三）每个自变量在多元回归中作用大小的检验,取消一个自变量后，回归平方和减少的数值，称为y对这个变量的偏回归平方和。因此，利用偏回归平方和可以衡量每个因素在回归中所起作用的大小。计算偏回归平方和的公式是：Pi=偏回归系数 /逆矩阵的一个元素Cii对偏回归平方和的F检验：,43,偏相关系数,要正确反映某两个变量的真实关系，就必须在固定其他变量影响的情况下，计算它
13、们的相关系数，这种相关系数称为偏相关系数，也叫净相关系数，纯相关系数等。,44,一级偏相关系数：,45,二级偏相关系数：偏相关系数的显著性检验，同简单相关系数检验一样，可按自由度(n-m,观察组数-变量数)查r表。,46,第四节 逐步回归,建立多元线性回归方程的目的，在于通过对各自变量xi的观测来预报或控制因变量y的变化。所以要求配得的回归方程包含的自变量xi必须是对因变量y有显著作用的。前面所介绍的方法是将所有的自变量都包含进方程中，然后再通过统计检验，逐个把检验不显著的自变量从方程中剔除出去。该方法的缺点就在于：（1）自变量的数目越多，计算工作越繁重；（2）在方程中剔除不显著的自变量是不能
14、一次完成的，每次只能剔除一个。,47,采用受逐步回归就能克服这些缺点。逐步回归：从全部自变量中，先排除一个自变量组成一元线性回归方程，然后逐个增加直至多元。引入自变量的条件是：该自变量在待选的自变量中的偏回归平方和最大且显著，并且引入一个自变量就作一次检验，发现原有的老自变量不显著时，随即剔除之。,48,一逐步回归方法的具体实施步骤,（一）建立标准化的正规方程组：组成标准化的增广矩阵以及确定检验水平。 1正规方程组：bi= ：标准回归系数,49,2组成相关系数矩阵,r11 r12 r1ir21 r22 r2i A（0）= rj1 rj2 rji,50,3确定检验水平,51,二逐步变换计算,（一
15、）选取第一个自变量进入回归方程： 1计算偏回归平方和： 一元偏回归平方和2对最大的偏回归平方和作显著性检验： 3为自变量xk进入回归方程作矩阵变换。,52,（二）选第二个自变量进入回归方程： 同前 （三）选第三个自变量进入回归方程：同前 （四）从回归方程中剔除自变量。 （五）选新变量进入回归方程。,53,非线性回归,两个变量之间的内在关系，并非成直线关系；在多元回归中，也有自变量与因变量的关系是线性的。对这类回归问题，我们统称之为非线性回归。,54,第一节 可直线化的曲线回归,一可直线化的曲线回归类型的判断： 1利用实验数据作散点图以及结合专业知识判断变量之间的关系是否属于非线性类型。 2将散
16、点图与各种形状的可直线化的函数图形相对照，并结合专业知识确定是否属于可直线化的类型。,55,二化曲线为直线的实例计算,许多配曲线方程的问题，都可以通过对自变量或因变量（或同时对二者）进行适当的变量变换，把曲线方程化成直线方程，再用配置直线回归的方法去处理。,56,第二节 多项式回归与正交多项式,一多项式回归与多元线性回归的关系： 一般地，对于包含多变量的任意多项式y=b0+b1z1+b2z2+b3z12+b4z1z2+b5z22+若令：x1=z1,x2=z2,x3=z12,x4=z1z2,x5=z22则上式变为：y=b0+b1x1+b2x2+b3x3+b4x4+,57,二应用多元线性回归的方程配多项式回归方程： 1从实测数据及专业知识判断是否需要配多项式回归方程； 2通过变量变换，将多项式化为多元线性回归方程的形式；3求出 ， 及作方差分析；4多项式回归方程性质的考察。,
