1、多元统计分析概述目 录一、引言 3二、多元统计分析方法的研究对象和主要内容31.多元统计分析方法的研究对象 32.多元统计分析方法的主要内容 3三、各种多元统计分析方法 31.回归分析 32.判别分析 6 3.聚类分析 84.主成分分析 105.因子分析 106. 对应分析方法 117. 典型相关分析 11四、多元统计分析方法的一般步骤 12 五、多元统计分析方法在各个自然领域中的应用 12六、总结 13参考文献 14谢辞 151一、引言统计分布是用来刻画随机变量特征及规律的重要手段，是进行统计分布的基础和提高。多元统计分析方法则是建立在多元统计分布基础上的一类处理多元统计数据方法的总称，是统
2、计学中的具有丰富理论成果和众多应用方法的重要分支。在本文中，我们将对多元统计分析方法做一个大体的描述，并通过一部分实例来进一步了解多元统计分析方法的具体实现过程。二、 多元统计分析方法的研究对象和主要内容（一）多元统计分析方法的研究对象由于大量实际问题都涉及到多个变量，这些变量又是随机变量，所以要讨论多个随机变量的统计规律性。多元统计分析就是讨论多个随机变量理论和统计方法的总称。其内容包括一元统计学中某些方法的直接推广，也包括多个随即便量特有的一些问题，多元统计分析是一类范围很广的理论和方法。现实生活中，受多个随机变量共同作用和影响的现象大量存在。统计分析中，有两种方法可同时对多个随机变量的观
3、测数据进行有效的分析和研究。一种方法是把多个随机变量分开分析，一次处理一个随机变量，分别进行研究。 但是，这样处理忽略了变量之间可能存在的相关性，因此，一般丢失的信息太多，分析的结果不能客观全面的反映整个问题，而且往往也不容易取得好的研究结论。另一种方法是同时对多个随机变量进行研究分析，此即多元统计方法。通过对多个随即便量观测数据的分析，来研究随机变量总的特征、规律以及随机变量之间的相互关系。所以，多元统计分析是研究多个随机变量之间相互依赖关系及内在统计规律的一门统计学科。（二）多元统计分析方法的主要内容近年来，随着统计理论研究的不断深入，多元统计分析方法的内容一直在丰富。其中，主要内容包括多
4、元正态总体参数估计、假设检验和常用的多元统计方法。多元正态总体参数估计、假设检验是多元统计推断的核心和基础，而常用的多元统计分析方法则是具体应用。从形式上，常用多元统计分析方法可划分为两类：一类属于单变量常用的统计方法在多元随机变量情况下的推广和应用，如多元回归分析，典型相关分析等；另一类是对多元变量本身进行研究所形成的一些特殊方法。如主成分分析，因子分析，聚类分析，判别分析，对应分析等。三、各种多元统计分析方法 具体来说，常用的多元统计分析方法主要包括：多元回归分析、聚类分析、判别分析、主成分分析、因子分析、对应分析、典型相关分析等。下面我们对各种多元统计分析方法就行分别描述，（一） 回归分
5、析回归分析是最灵活最常用的统计分析方法之一，它用于分析一个因变量与一个或多个自变量之间的关系。特别是用于：(1)定量的描述和解释相互关系；(2)估测或预测因变量的值。 回归分析方法是在众多的相关变量中，根据实际问题考察其中一个或多个2变量与其余变量的依赖关系。如果只要考察一个变量与其余多个变量之间的相互依赖关系，我们称为多元回归问题。若要同时考察多个因变量与多个自变量之间的相互依赖关系，我们称为多因变量的多元回归问题。多元回归分析是研究因变量 Y 与 m 个自变量 的相关关系 ，而12mx， ， ，且总是假设因变量 Y 为随机变量，而 为一般变量。12mx， ， ，下面我们来看一下多元线性回归
6、模型的建立。 假定因变量 Y 与 线性相关。收集到的 n 组数据（12mx， ， ，） （t=1,2, n）满足以下回归模型：12,tttmyx ，102 2+(1,2,)(),(),)0(0,),t t tmtt t ij tyxxEVarCovijN 或 相 互 独 立 t=1,n).记C= ，111()mnnnxX 01212,nmnyY则所建回归模型的矩阵形式为 2()(),0, ,nnYCEDI或 2,(0,),nnYCNI并称它们为经典多元回归模型，其中 Y 是可观测的随机向量， 是不可观测的随机向量，C 是已知矩阵， 是未知参数，并设 nm，且 rank(C)=m+1。2，在经典
7、回归分析中，我们讨论模型中参数 和 的估计和01(,)m 2检验问题。近代回归分析中讨论变量筛选、估计的改进，以及对模型中的一些假设进行诊断等问题。我国国内生产总值与基本建设投资额的大小有密切关系，研究发现两变量之间存在线性关系。根据甘肃省 1990-2003 年的国内生产总值与基本建设投资3额数据，研究它们的数量规律性，探讨甘肃省基本建设投资额与国内生产总值的数量关系，原始数据见下表。年份 GDP(亿元） 基本建设投资(亿元)1990 242.8 29.041991 271.39 33.961992 317.79 39.221993 372.24 42.891994 451.66 58.19
8、1995 553.35 62.621996 714.18 101.421997 781.34 121.741998 869.75 157.141999 931.98 187.492000 983.36 208.282001 1072.51 228.632002 1161.43 263.062003 1304.6 307.3利用 excel 进行分析，具体输出以下数据，平方和 自由度 方 差 F 检验值回归 1553189.7 1 1553189.7残差 59475.667 12 4956.3056 313.3765001离差 1612665.4 13复 相 关 系 数 R =.98138659
9、4345333剩 余 标 准 差 SY =70.4010340269248回归方差与剩余方差之比 F =313.376500123223各个自变量的 t 检验值17.70244334t 检验的自由度 N-P-1 =12F 检验的自由度 第一自由度=1,第二自由度=12各个自变量的偏回归平方和1553189.7各个自变量的偏相关系数 0.981386594由输出结果，得以下结论：回归方程为 y=232.70+3.68 1x其中，负相关系数为 0.9814,说明回归方程拟合优度较高。而回归系数2R的 t=17.7024,查 t 分布表 ，小于 t 值，因此回归系数显著。查 F0.5().78t4分
10、布表， 4.75，由下表知，F=313.37654.75 ，因此回归方程也显著。0.5(1,2)F平方和 自由度 方 差 F 检验值回归 1553189.7 1 1553189.7残差 59475.667 12 4956.3056离差 1612665.4 13313.3765001（二）判别分析判别分析是多元统计分析中用于判别样品所属类型的一种统计分析方法，是一种在已知研究对象用某种方法已经分成与若干类的情况下，确定新的样品属于哪一类的多元统计分析方法。判别方法处理问题时，通常通常要给出用来衡量新样品与各已知组别的接近程度的指数，即判别函数，同时也指定一种判别准则，借以判别新样品的归属。所谓判
11、别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。常用的有，距离准则、Fisher 准则、贝叶斯准则等。距离判别的基本思想是：样品和那个总体距离最近，就判断它属于哪个总体。距离判别也称直观判别。已知有两个类 和 ，比如 是设备 A 生产的产品， 是设备 B 生产的1G21 2G同类产品。设备 A 的产品质量高（如考察指标为耐磨度 X） ，其平均耐磨度=80，反映设备精度的方差 =0.25；设备 B 的产品质量稍差，其平均耐磨(1)21度 =75，反映设备精度的方差 =4。今有一产品 ，测得耐磨度 =78，试2 200x判断该产品是哪一台设备生产的？下面考虑一种相对于分散性的距离。
12、记 与 或 的相对平均距离为0X1G2或 ，则有： = =16，210()dx20()210()dx(1)278).5= =2.25。20()(2)2)4.0因为 =1.50,则 （第一类） 。又如，第一类的第 11 个样品 =(1) (1)XG()X， =-0.30830，故 （第二类） 。.0,452.T()1(1)2G将 投入使用，可判别小麦品种的分蘖类型，如测得某小麦品种 ,() 1x, ,则由 =-2.91280 判别该品种为分蘖型。23.x6.()X（三） 聚类分析聚类分析是将样品或变量按照它们在性质上的亲疏程度进行分类的多元统计分析方法。聚类分析时，用来描述样品或变量的亲疏程度通
13、常有来两个途径，一是把每个样品或变量看成是多维空间上的一个点，在多维坐标中，定一点与点，类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度：另一个是计算样品或变量的相似系数，用相似系数来描述样品或变量之间的亲属程度。聚类分析是实用多元统计分析的一个新的分支，聚类分析的功能是建立一种分类方法，他将一批样品或变量，按照它们在性质上的亲疏、相似程度进行分类。聚类分析的内容十分丰富，按其聚类的方法可分为以下几种：(1)系统聚类法：开始每个对象自成一类，然后每次将最相似的两类合并，合并后重新计算新类与其他类的距离或相近性测度。这一过程可用一张谱系聚类图描述。(2)调优法（动态聚类法）：首先对
14、 n 个对象初步分类，然后根据分类的损失函数尽可能小的原则对其进行调整，直到分类合理为止。(3)最优分割法（有序样品聚类法）：开始将所有样品看做一类，然后根据某种最优准则将它们分割为二类、三类，一直分割到所需的 K 类为止。这种方法适用于有序样品的分类问题，也称为有序样品的聚类法。(4)模糊聚类法：利用模糊集理论来处理分类问题，它对经济领域中具有模糊特征两态数据或多态数据具有明显的分类效果。7(5)图论聚类法：利用图论中最小支撑树的理论来处理分类问题，创造了独具风格的方法。(6)聚类预报法：利用聚类方法处理预报问题，在多元统计分析中，可以用来做预报的方法很多，如回归分析和判别分析。但对一些异常
15、数据，如气象中的灾害性天气的预报，使用回归分析或判别分析处理的效果都不好，而聚类预报弥补了这一不足，只是一个值得重视的方法。聚类分析根据对象的不同又分为 R 型和 Q 型两大类， R 型是对变量（指标）进行分类，Q 型是对样品进行分类。R 型聚类分析的目的有以下几方面：（1）可以了解变量间及变量组合间的亲疏关系；（2）对变量进行分类；（3）根据分类结果及它们之间的关系，在每一类中选择有代表性的变量作为重要变量，利用少数几个重要变量进一步作分析计算，如进行回归分析或 Q型聚类分析等。Q 型聚类分析的目的主要是对样品进行分类。分类的结果是直观的，且比传统的分类方法更细致、全面、合理。当然使用不同的
16、分类方法通常有不同的分类结果。对任何观测数据都没有唯一“正确”的分类方法。实际应用中，常采用不同的分类方法，对数据进行分析计算，一边对分类提供具体意见，并由实际工作者决定所需要的分类数及分类情况。下面是聚类分析的一个简单例子。有五个样品，每个只测量了一个指标，分别为 1,2,6,8,11,我们用最短距离法将它们分类。(1)计算五个样品两两间的距离，得初始类间的距离矩阵 ，(0)D1G23G45G1021 03G5 4 047 6 2 0510 9 5 3 0(2)由 知类间最小距离为 1，于是将 和 合并成 ，并计算 和其他(0)D1G266G类之间的距离，的新的距离阵 ()D6G345608
17、3G4 046 2 059 5 3 0(3)由 知，类间最小距离为 2，合并 和 为 ，计算 与其他类间(1)D3G477G的距离得矩阵 ，(2)6756G074 059 3 0(4)由 知，类间的最小距离为 3，将 和 合并为 ，得新的距离矩阵(2)D5G78，(3) 6 8G6G084 0(5)最后将 和 合并为 ，这时五个样品聚为一类。69（四） 主成分分析主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，是这些综合变量尽可能的代表原来变量的信息，而且彼此之间互不相关。这种把多个变化量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。主成分
18、分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为 ，自然希望它尽可能多的反映原来变量信息，这里信息用方1F差来测量，即希望 越大，表示 包含信息越多。因此在所有线性组合中()Var1F9所选取的 应该是方差最大的，故称 为第一主成分。如果第一主成分不足以1F1F代表原来 p 个变量的信息，再考虑选取 即第二个线性组合，为了有效地反映2原来信息， 已有的信息就不需要再出现
19、在 中，用数学语言表达就是要求1=0，称 为第二主成分，以此类推可以构造出第三、四 第 p 个2(,)CovF2主成分。（五）因子分析因子分析是主成分分析的推广和发展，它是由研究原始数据相关矩阵的内部依赖关系出发，把一些具有错综复杂关系多个变量（或样品）综合为少数几个因子，并给出原始变量与综合因子之间相关关系的一种多元统计分析方法。它也属于多元分析中数据降维的一种统计方法。因子分析是通过变量（或样品）的相关系数矩阵内部结构的研究，找出存在于所有变量（或样品）中具有共性的因素，并综合为少数几个新变量，把原始变量表示成少数几个综合变量的线性组合，以再现原始变量与综合变量之间的相关关系。其中，这里的
20、少数几个综合变量一般是不可观测指标，通常称为公公因子。因子分析常用的两种类型：一种是 R 型因子分析，即对变量进行因子分析：另一种叫做 Q 型因子分析，即对样品进行的因子分析。（六）对应分析方法对应分析又称为相应分析，是一种目的在于揭示和样品之间或者定性量资料中变量与其类别之间的相互关系的多元统计分析方法。对应分析的关键是利用一种数据变换，使含有 p 个变量 n 个样品的原始数据矩阵，变换成为一个过渡矩阵 Z，并通过矩阵 Z 将 R 型因子分析和 Q 型因子分析有机的结合起来。具体地说，首先给出进行 R 型因子分析时变量点的协差阵A= 和进行 Q 型因子分析时样品点的协差阵 B= ，由于 和
21、有相同Z Z的非零特征根，记为 12,0min(,)p依据证明，如果 A 的特征根 对应的特征向量为 ，则 B 的特征根 对应i iUi的特征向量就是 ，根据这个结论就可以很方便的借助 R 型因子分析而iiZUV得到 Q 型因子分析的结果。因为求出 A 的特征根和特征向量后很容易地写出变量点协差阵对应的因子载荷矩阵，记为 F。则F=11212212mpppuu这样，利用关系式 也很容易地写出样品点协差阵 B 对应的因子载荷iiZUV10阵，记为 G。则G=11212212mnnnvv从结果的展示上，由于 A 和 B 具有相同的非零特征根，而这些特征根正是公共因子的方差，因此可以用相同的因子轴同
22、时表示变量点和样品点，即把变量点和样品点同时反映在具有相同坐标轴的因子平面上，以便显示出变量点和样品点之间的相互关系，并且可以一并考虑进行分类分析。（七） 典型相关分析在经济问题中，不仅经常需要考察两个变量之间的相关程度，而且还经常需要考察多个变量与多个变量之间即两组变量之间的相关系。典型相关分析就是研究两组变量之间相关程度的一种多元统计分析方法。典型相关分析是研究两组变量之间相关关系的一种统计分析方法。为了研究两组变量 和 之间的相关关系，采用类似于主成分分析12,pX 12,qY的方法，在两组变量中，分别选取若干有代表性的变量组成有代表性的综合指数，通过研究这两组变量之间的相关关系，来代替
23、这两组变量之间的相关关系，这些综合指数称为典型变量。此外，多元统计分析方法还有方差分析、偏最小二乘回归分析、逻辑分析、联合分析等，我们就不做一一介绍了。四、多元统计分析方法的一般步骤与一般统计分析方法一样，多元统计分析方法也要经过建立模型、进行参数估计、假设检验以及预测控制等步骤。以经济统计为例，具体步骤是：1、根据经济理论进行定性分析，设计理论模型；2、对实际经济活动的现象抽取样本，并取得样本统计资料；3、对描述样本的指标利用多元统计分析方法进行统计分析，选择最佳的统计指标；4 根据最佳指标的样本数据，估计参数，建立数量模型模型；五、多元统计分析方法在各个自然领域中的应用多元统计分析是解决实
24、际问题的有效的数据处理方法，其应用范围非常广泛。多元统计分析方法可以应用于地质科学、气象科学、医疗卫生、体育、语言学、考古学、教育学、心理学以及经济学、管理学等各个方面。下面我们以经济学和管理学为例，了解一下多元分析方法在其中的作用和应用的场合与领域：1、简化数据结构。对多个变量进行降维处理，选择数目较小的变量子集合。在商业经济中，为了能够全面刻画所研究对象的数量特征，往往要调查多方面的统计数据。数据维数越多，反映问题越全面，但同时也给数据分析带来困难。这是句要用降维的方法将很复杂的数据综合成商业指数形式，处理方法主要有主成11分分析、因子分析和对应分析等。2、对研究对象进行分类与判别。比如根
25、据各地区的经济发展水平、经济发展特征对我国各地区的经济发展类型进行划分，需要通过反映各地区经济情况的多项数据测算各地区经济发展的相似度，并以对各地经济类型此进行划分和归类。用来处理这一问题的多元统计方法主要是聚类分析、判别分析等。3、建立经济模型。经济模型一般是指把经济变量之间的依存关系通过通过数学表达形式加以模拟。例如根据我国几十年来财政收入与国民收入、工农业总值、人口、就业人口、固定投资等相关因素，利用回归方法建立预测模型，对今后的财政收入进行预测。4、研究经济现象之间的相互关系。当我们研究两组变量之间的相关程度时，只用简单直线相关系数是不够的，在多元统计分析中，用典型相关分析可以处理两组
26、变量之间的相关程度的分析和测算。有一点需要特殊说明，由于现实问题的复杂性和每种多元分析方法特殊的应用场合和自身的局限性，所以在处理问题时有必要将各种多元分析方法结合运用。六、总结经过 20 世纪的空前发展，数学的基本理论更加深入和完善，而计算机技术的发展使得数学的应用更加广泛和直接，多元统计分析方法已经广泛的应用到社会科学和自然科学的许多领域，尤其在经济方面根是发挥了巨大的作用。通过本文的描述可以使大家简单了解多元统计分析方法，从而更好的掌握和运用多元分析方法。任何定量分析方法在研究现实问题时只是揭示了这种问题表面的数量规律，所以在应用多元统计分析时，我们必须注意定量分析与定性分析相结合。只有
27、两者的有机结合才能得出深刻的符合实际的结论。12参考文献 张尧庭，方开泰等著多元统计分析引论北京：科学出版社，1982高惠璇应用多元统计分析北京：北京大学出版社，20051周光亚等多元统计方法长春：吉林大学出版社，1988.12于秀林等编著多元统计分析北京：中国统计出版社，1999王学仁，王松桂编译实用多元统计分析上海：上海科学技术出版社，1990Richard A Johnson，Dean W WichernApplied MultiVariate Statistical Analysis4th EditionEnglewood Cliffs，N J：PrenticeHall ，Inc ，1
28、998何晓群，现代统计分析方法与应用M.北京：中国人民大学出版社，1998王学民编著应用多元统计分析第二版上海上海财经大学出版社,199913谢 辞在此论文完成之际我首先要衷心感谢我的导师齐海涛老师。本学位论文是在齐老师的精心指导下完成的。齐老师时刻关心我找我知识的情况及论文的进展，帮助我开阔思路、精心点拨、热忱鼓励。每当我遇到问题、毫无头绪时，与考试的讨论总能让我豁然开朗：老师思考问题的方法、观察问题的角度，给了我很大启发。齐老师渊博的知识理论、深邃的思维方式都给我留下了深刻的印象，永远是我学习的榜样。 其次还要感谢大学四年中的每一位老师对我的指导和帮助。向各位老师表示我衷心的感谢和敬意。同时还要感谢大学中和我一起走过来的同学和朋友们，是你们的支持使我获得了许许多多的快乐和温馨。在感谢你们的同时祝愿你们在以后的生活学习工作中过得幸福快乐。最后,我要感谢我的父母，感谢他们二十多年来的养育之恩。在我的大学生活即将结束之际，我真心的祝福他们健康长寿，事事顺心。
