1、第五节 主成分分析方法,主成分分析的基本原理 主成分分析的计算步骤 主成分分析方法应用实例,主成分分析的简介,主成分分析法简介-principal component analysis(PCA) 主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分。依次类推，I个变量就有I个主成分。,其中Li为p维正交化向量（Li*Li=1），zi之间互不相关且按照方差由大到小排列，则称Zi为X的第
2、I个主成分。设X的协方差矩阵为，则必为半正定对称矩阵，求特征值i（按从大到小排序）及其特征向量，可以证明，i i所对应的正交化特征向量，即为第I个主成分Zi所对应的系数向量Li，而Zi的方差贡献率定义为i/j,通常要求提取的主成分的数量k满足k/j0.85。,主成分分析的基本原理,主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息
3、在一定程度上有重叠。在用统计方法研究多变量问题时，变量太 多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。,主成分分析的计算步骤,数据标准化; 求相关系数矩阵; 一系列正交变换，使非对角线上的数置0，加到主对角上; 得特征根xi（即相应那个主成分引起变异的方差),并按照从大到小的顺序把特征根排列; 求各个特征根对应的特征向量; 用下式计算每个特征根的贡献率Vi; Vi=xi/(x1+x2+) 根据特征根及其特征向量解释主成分物理意义。,计算步骤举例如下,样本观测数据矩阵为：,第一步：对原始数据进行标准化处理。,其中,第二步：计算样本相关系
4、数矩阵。为方便，假定原始数据标准化后仍用表示，则经标准化处理后的数据的相关系数为:,表示，则经标准化处理后的数据的相关系数为:,第三步：用雅克比方法求相关系数矩阵的特征值（ ）和相应的特征向量,第四步：选择重要的主成分，并写出主成分表达式。 主成分分析可以得到个主成分，但是，由于各个主成分的方差是递减的，包含的信息量也是递减的，所以实际分析时，一般不是选取个主成分，而是根据各个主成分累计贡献率的大小选取前个主成分，这里贡献率就是指某个主成分的方差占全部方差的比重，实际也就是某个特征值占全部特征值合计的比重。即,贡献率 =贡献率越大，说明该主成分所包含的原始变量的信息越强。主成分个数的选取，主要
5、根据主成分的累积贡献率来决定，即一般要求累计贡献率达到85%以上，这样才能保证综合变量能包括原始变量的绝大多数信息。,另外，在实际应用中，选择了重要的主成分后，还要注意主成分实际含义解释。主成分分析中一个很关键的问题是如何给主成分赋予新的意义，给出合理的解释。一般而言，这个解释是根据主成分表达式的系数结合定性分析来进行的。主成分是原来变量的线性组合，在这个线性组合中个变量的系数有大有小，有正有负，有的大小相当，因而不能简单地认为这个主成分是某个原变量的属性的作用，线性组合中各变量系数的绝对值大者表明该主成分主要综合了绝对值大的变量，有几个变量系数大小相当时，应认为这一主成分是这几个变量的总和，
6、这几个变量综合在一起应赋予怎样的实际意义，这要结合具体实际问题和专业，给出恰当的解释，进而才能达到深刻分析的目的。,第五步：计算主成分得分。 根据标准化的原始数据，按照各个样品，分别代入主成分表达式，就可以得到各主成分下的各个样品的新数据，即为主成分得分。具体形式可如下,第六步：依据主成分得分的数据，则可以进行进一步的统计分析。其中，常见的应用有主成份回归，变量子集合的选择，综合评价等。,主成分分析方法应用实例,下面，我们根据表3.4.5给出的数据，对某农业生态经济系统做主成分分析， 表3.4.5 某农业生态经济系统各区域单元的有关数据,步骤如下：（1）将表3.4.5中的数据作标准差标准化处理
7、，然后将它们代入公式（3.5.4）计算相关系数矩阵（见表3.5.1）。 表3.5.1 相关系数矩阵,（2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表3.5.2）。由表3.5.2可知，第一，第二，第三主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。,表3.5.2 特征值及主成分贡献率,（3）对于特征值=4.6610，=2.089=1.0430分别求出其特征向量e1，e2，e3，再用公式（3.5.5）计算各变量x1，x2，x9在主成分z1，z2，z3（表3.5.3）。,表3.5.3 主成分载荷,第一主成分z1与x
8、1，x5，x6，x7，x9呈显出较强的正相关，与x3呈显出较强的负相关，而这几个变量则综合反映了生态经济结构状况，因此可以认为第一主成分z1是生态经济结构的代表。 第二主成分z2与x2，x4，x5呈显出较强的正相关，与x1呈显出较强的负相关，其中，除了x1为人口总数外，x2，x4，x5都反映了人均占有资源量的情况，因此可以认为第二主成分z2代表了人均资源量。,第三主成分z3，与x8呈显出的正相关程度最高，其次是x6，而与x7呈负相关，因此可以认为第三主成分在一定程度上代表了农业经济结构。 另外，表3.5.3中最后一列（占方差的百分数），在一定程度反映了三个主成分z1、z2、z3包含原变量（x1，x2，x9）的信息量多少。,显然，用三个主成分z1、z2、z3代替原来9个变量（x1，x2，x9），描述农业生态经济系统，可以使问题更进一步简化、明了。,
