1、计量经济学与应用,2. 回归分析,主要内容,数据类型与研究技术 回归分析的基本概念 回归模型的参数估计,数据可视化技术,数量型-非数量型,数据可视化分析技术,多元统计分析,多元统计分析研究客观事物中多个变量（或多个因素）之间相互依赖的统计规律性。它的重要基础之一是多元正态分析。又称多元分析 。 如果每个个体有多个观测数据，或者从数学上说， 如果个体的观测数据能表为 P维欧几里得空间的点，那么这样的数据叫做多元数据，而分析多元数据的统计方法就叫做多元统计分析 。 它是数理统计学中的一个重要的分支学科。 20世纪30年代，R.A.费希尔，H.霍特林，许宝碌以及S.N.罗伊等人作出了一系列奠基性的工
2、作，使多元统计分析在理论上得到迅速发展。50年代中期，随着电子计算机的发展和普及 ，多元统计分析在地质 、气象、生物、医学、图像处理、经济分析等许多领域得到了广泛的应用 ，同时也促进了理论的发展。各种统计软件包如SAS，SPSS等，使实际工作者利用多元统计分析方法解决实际问题更简单方便。重要的多元统计分析方法有：多重回归分析（简称回归分析）、判别分析、聚类分析、主成分分析、对应分析、因子分析、典型相关分析、多元方差分析等。,变量关系与研究方法,依赖关系,结构方程模型（Structural equation modeling, SEM）是一种融合了因素分析和路径分析的多元统计技术。它的强势在于对
3、多变量间交互关系的定量研究。 典型相关分析（canonical correlation analysis）就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。 结合分析是一种专业技术，用于估测人们对一些能够详细定义某种产品或服务的属性和特征的评价。 离散选择模型 分为二元选择模型和多元选择模型，是因变量为离散变量的模型。 二元选择模型主要有：Probit模型、Logit模型、Extreme模型等 多元选择模型按照多重选择是否有顺序分为一般选择模型和排序选择模型,结构关系,聚类分析是通过数据建模简化数据的一种方法。依据研究对象（样品或指标）的特征，对其进行分类的方法
4、，减少研究对象的数目。 主成分分析（Principal components analysis，PCA）是一种分析、简化数据集的技术。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。 多维尺度法是一种将多维空间的研究对象（样本或变量）简化到低维空间进行定位、分析和归类，同时又保留对象间原始关系的数据分析方法。 对应分析又称为相应分析，也称RQ分析。是因子分子基础发展起来的一种多元统计分析方法。它主要通过分析定性变量构成的列联表来揭示变量之间的关系。,数据挖掘,数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中
5、的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。与数据挖掘相近的同义词有数据融合、人工智能、商务智能、模式识别、机器学习、知识发现、数据分析和决策支持等。,数据挖掘,分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户
6、按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。 回归分析。回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。 聚类。聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性
7、尽可能小。它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。,数据挖掘,关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。 特征。特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征
8、。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。 变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。 Web页挖掘。随着Internet的迅速发展及Web 的全球普及， 使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各
9、种市场、竞争对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理危机。,回归分析,“回归”一词的历史渊源回归一词最先由弗朗西斯高尔顿引入。在一篇著名的论文中，高尔顿发现，虽然有一个趋势父母高，儿女也高；父母矮，儿女也矮，但给定父母的身高，儿女辈的平均身高却趋向于或者“回归”到全体人口的平均身高。换言之，尽管父母都异常高或异常矮，但儿女的身高却有走向人口总体平均身高的趋势。高尔顿的普遍回归定律还被他的朋友长尔皮尔逊证实
10、。皮尔逊曾收集过一些家庭群体的1000多名成员的身高记录。他发现，对于一个父亲高的群体，儿辈的平均身高低于他们父辈的身高，而对于一个父亲矮的群体，儿辈的平均身高则高于其父辈的身高。这样就把高的和矮的儿辈身高一同“回归”到所有男子的平均身高。用高尔顿的话说，这是“回归到中等”。现代含义回归分析是关于研究一个叫做因变量的变量与另一个或多个叫做解释变量的变量的依赖关系，其用意在于通过后者(在重复抽样中)的已知或设定值，去估计和(或)预测前者的(总体)均值.,回归分析,回归分析构成计量经济学的方法论基础，其主要内容包括： 根据样本观察值对经济计量模型参数进行估计，求得回归方程； 对回归方程、参数估计值
11、进行显著性检验； 利用回归方程进行分析、评价及预测。回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值，即当解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。,步骤,变量间的关系,确定性关系或函数关系：研究的是确定现象非随机变量间的关系 圆的面积= ,半径 = 半径 2 统计依赖或相关关系：研究的是非确定现象随机变量间的关系 农作物产量=(气温，降水，阳光，土壤）不像经典物理学中考虑的那种变量之问的函数或确定性依赖关系，在回归分析中，我们考虑的是一种统计依赖关系。在变量之间的统计关系式中，我们主要处理的是随机变量，也就是有着概率分布的变量。但是在函
12、数或确定性依赖关系中，我们要处理的变量不是随机的。,回归和因果关系,虽然回归分析研究一个变量对另一(些)变量的依赖关系，但它并不一定意味着因果关系。用肯德尔(Kendal)和斯图尔特(Stuart)的话说：“一个统计关系式，不管多强也不管多么有启发性，却永远不能确立因果方面的联系：对因果关系的理念，必须来自于统计学以外，最终来自这种或那种理论。” 从逻辑上说，统计关系式本身不可能意味着任何因果关系。要谈因果律，必须诉诸先验的或理论上的思考。 举例：作物收成对气温、降雨、阳光以及施肥的依赖关系,回归与相关,与回归分析密切相关而在概念上则迥异的，是以测度两个变量之间的线性关联力度为其主要目的的相关
13、分析(correlation analysis) 。相关系数(correlation coefficient)就是用来测度这种线性关联强度的。 例如，我们也许有兴趣去求吸烟与肺癌、统计学考分与数学考分、中学成绩与大学成绩等等之间的相关(系数)。 而在回归分析中，如前所述，我们并不主要对这种度量感兴趣。而感兴趣的是试图根据其他变量的设定值来估计或预测某一变量的平均值。 例如，我们也许想知道能否从一个学生的己知数学考分，来预测他的统计学平均考分。,注意事项,A与B的相关关系 A导致B B导致A C导致A和B A和B互为因果 小样本引起的巧合不线性相关并不意味着不相关； 有相关关系并不意味着一定有因
14、果关系； 回归分析/相关分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。 相关分析对称地对待任何（两个）变量，两个变量都被看作是随机的。回归分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。,回归分析介绍,在给定解释变量Xi条件下被解释变量Yi的期望轨迹称为总体回归线（population regression line），或更一般地称为总体回归曲线（population regression curve）。相应的函数： E(Y| )=f( ) = 0 + 1 称为（双变量）总体回归函数（populat
15、ion regression function, PRF）。 实际值和期望值之间可能会出现不同，这个偏差用来表示： i= Yi -E(Y| ) i为观察值Yi围绕它的期望值E(Y|Xi)的离差（deviation），是一个不可观测的随机变量，又称为随机干扰项（stochastic disturbance）或随机误差项（stochastic error）。,“”,随机误差项主要包括下列因素的影响： 1）在解释变量中被忽略的因素的影响； 2）变量观测值的观测误差的影响； 3）模型关系的设定误差的影响； 4）其它随机因素的影响。产生并设计随机误差项的主要原因： 1）理论的含糊性； 2）数据的欠缺；
16、3）节省原则。,Yi =(Y| )+ i= 0 + 1 +i称为总体回归函数（方程）PRF的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。,样本与总体,总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一个样本。 根据样本描绘样本散点图 样本散点图近似于一条直线，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为样本回归线（sample regression lines）。 其函数形式为：称为样本回归函数（sample regression function，SRF） 将样本回归线看成总体回归线的近似替代,
17、同样地，样本回归函数也有如下的随机形式：其中， 称为 样本残差 或 剩余项 （residual），代表了其他影响 的随机因素的集合，可以看成是i 的估计量 由于方程中引入了随机项，成为计量经济模型，因此也称为样本回归模型（sample regression model）。回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF。,回归模型,线性模型和非线性模型 线性模型中，变量之间的关系呈线性关系 非线性模型中，变量之间的关系呈非线性关系 一元回归和多元回归 一元线性回归模型：只有一个解释变量 多元线性回归模型:表现在线性回归模型中的解释变量有多个回归分析的主要目的是要通过样本回归函
18、数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。,参数估计,参数估计（parameter estimation）是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。人们常常需要根据手中的数据，分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。 18世纪末德国数学家C.F.高斯首先提出参数估计的方法，他用最小二乘法计算天体运行的轨道。20世纪60年代，随着电子计算机的普及，参数估计有了飞速的发展。参数估计有多种方法，有最小二乘法、极大似然法、极大验后法、最小风险法和极小化极大熵法
19、等。在一定条件下，后面三个方法都与极大似然法相同。最基本的方法是最小二乘法和极大似然法。,参数估值方法,给定一组样本观测值（Xi, Yi）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值.普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：二者之差的平方和最小。 即、给定观测值的情况下，求出系数，使得预测值与真实值的差的平方和最小-使估计值与真实值相差最少的一种估值方法普通最小二乘法归功于德国数学家高斯(Carl Friedrich Gauss)在一定的假定下，最小二乘法有一此非常令人向往的统计性质，从而使它成为回归分析中最有功效的和最为流行的方法之
20、一。,OLS的假定,线性回归模型的经典假设或高斯（Gauss）假设：假设1：解释变量X是确定性变量，不是随机变量； 假设2：随机误差项具有零均值、同方差和不序列相关性：E(i)=0 i=1,2, ,nVar (i)=2 i=1,2, ,nCov(i, j)=0 ij i,j= 1,2, ,n 假设3：随机误差项与解释变量X之间不相关：Cov(Xi, i)=0 i=1,2, ,n 假设4：服从零均值、同方差、零协方差的正态分布iN(0, 2 ) i=1,2, ,n 假设5：随着样本容量的无限增加，解释变量X的样本方差趋于一有 限常数。假设6：回归模型是正确设定的,极大似然法,最大或然法(Maxi
21、mum Likelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。这个方法最早是遗传学家以及统计学家罗纳德费雪爵士在1912年至1922年间开始使用的。 基本原理： 对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。 得到的参数使样本最有可能代表整体，这样一种估值方法,二者区别,高斯马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。 （1）线性性，即它是否是另一随机变量的线性函数； （2）无偏性，即它的均值或期望值是否等于总体的真实值； （3）有效性，即它是否在所有线性无偏估计量中具有最小方差。随机误差项的方差2的估计 2的最小二乘估计量是关于2的无偏估计量。 2的最大或然估计量不具无偏性，但却具有一致性，在样本量趋向无穷时， 2 是无偏的。,谢谢！,下一讲：数据的获得与分析,
