1、2019/8/21,商学院 李丽明,1,第七讲 因子分析,在研究实际问题时，往往需要收集多个变量。但这样会使多个变量间存在较强的相关关系，即这些变量间存在较多的信息重复，直接利用它们进行分析，不但模型复杂，还会因为变量间存在多重共线性而引起较大的误差。为能够充分利用数据，通常希望用较少的新变量代替原来较多的旧变量，同时要求这些新变量尽可能反映原变量的信息。因子分子正式解决这类问题的有效方法。它们能够提取信息，使变量简化降维，从而使问题更加简单直观。,2019/8/21,商学院 李丽明,2,因子分析最初于1904年由心理学家Spearman提出来的，用以分析学生考试的得分。1905年由W.C.K
2、rumbein引进地质学。由于此法的特点,此后该法在经济学上得到广泛的应用。基本思路：在影响某个目标的许多经济变量中，用某种方法构造出几个综合指标值，这几个综合指标完全能代表原有的经济变量对目标的影响，这几个指标值称为公共因子，然后由这几个公共因子与原目标的关系，构造出它们之间的线性函数关系，这样可由多个影响因素简化为几个影响因素（这些因素能够反映原变量提供的绝大部分信息，称为公共因子）。由此可算出每个样品得分再进行排序。这种方法广泛应用于：如若干个企业、行业或地区的综合效率评价的排序等等。,2019/8/21,商学院 李丽明,3,例如，企业经济效益的分析在企业的经济效益的评价中，有许多衡量经
3、济效益的指标，如固定资产利税率、资金利税率、销售收入利税率、固定资产产值率、资金利润率，这五个指标反映了企业盈利能力；流动资金周转天数、全员劳动生产率反映了企业的资金与人力利用状况；而万元产值能耗反映了企业的能耗状况。如何评价不同的企业经济效益?因子分析就是一种较好的综合评价方法。,2019/8/21,商学院 李丽明,4,什么是因子分析？ (factor analysis),因子分析是通过对变量之间关系的研究，找出能综合原始变量的少数几个因子，使得少数因子能够反映原始变量的绝大部分信息，然后根据相关性的大小将原始变量分组，使得组内的变量之间相关性较高，而不同组的变量之间相关性较低。因此，因子分
4、析属于多元统计中处理降维的一种统计方法，其目的就是要减少变量的个数，用少数因子代表多个原始变量。,2019/8/21,商学院 李丽明,5,因子分析分为两类，即R型因子分析（对变量作因子分析），Q型因子分析（对样品作因子分析）。,下面只讨论研究变量之间相关系的R型因子分析。（对样品点进行排序）,2019/8/21,商学院 李丽明,6,因子分析的数学模型,原始的p个变量表达为k个因子的线性组合变量 设p个原始变量为 ，要寻找的k个因子(kp)为 ，主成分和原始变量之间的关系表示为,系数aij为第个i变量与第k个因子之间的线性相关系数，反映变量与因子之间的相关程度，也称为载荷(loading)。由于
5、因子出现在每个原始变量与因子的线性组合中，因此也称为公因子。为特殊因子，代表公因子以外的因素影响,2019/8/21,商学院 李丽明,7,因子分析的相关概念,因子载荷 在因子变量不相关的条件下，aij就是第i个原始变量与第j个因子变量的相关系数。aij绝对值越大，则Xi与Fi的关系越强 变量的共同度(Communality) 也称公共方差。Xi的变量共同度为因子载荷矩阵A中第i行元素的平方和,可见：Xi的共同度反应了全部因子变量 对Xi总方差的解释能力,2019/8/21,商学院 李丽明,8,因子分析的相关概念,因子变量Fj的方差贡献 因子变量Fj的方差贡献为因子载荷矩阵A中第j列各元素的平方
6、和,可见：因子变量Fj的方差贡献 体现了同一因子Fj对原始所有 变量总方差的解释能力 Sj/p表示了第j个因子解释原所 有变量总方差的比例,2019/8/21,商学院 李丽明,9,因子分析的步骤 (数据检验),因子分析要求样本的个数要足够多 一般要求样本的个数至少是变量的5倍以上。同时，样本总数据量理论要求应该在100以上 用于因子分析的变量必须是相关的 如果原始变量都是独立的，意味着每个变量的作用都是不可替代的，则无法降维 检验方法 计算各变量之间的相关矩阵，观察各相关系数。若相关矩阵中的大部分相关系数小于0.3，则不适合作因子分析 使用Kaiser-Meyer-Olkin检验(简称KMO检
7、验)和 Bartlett球度检验(Bartletts test of sphericity)来判断(SPSS将两种检验统称为“KMO and Bartletts test of sphericity”),2019/8/21,商学院 李丽明,10,因子分析的步骤 (数据检验),Bartlett球度检验 以变量的相关系数矩阵为基础，假设相关系数矩阵是单位阵(对角线元素不为0，非对角线元素均为0)。如果相关矩阵是单位阵，则各变量是独立的，无法进行因子分析 KMO检验 用于检验变量间的偏相关性，KMO统计量的取值在01之间 如果统计量取值越接近1，变量间的偏相关性越强，因子分析的效果就越好 KMO统计
8、量在0.7以上时，因子分析效果较好；KMO统计量在0.5以下时，因子分析效果很差,2019/8/21,商学院 李丽明,11,因子分析的步骤 (因子提取),Principal components(主成分法)：多数情况下可以使用该方法(这也是SPSS的默认选项)。通过主成分分析的思想提取公因子，它假设变量是因子的线性组合 Unweight Least Square(不加权最小平方法)：该方法使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小 Generalized Least Square(加权最小平方法)：用变量值进行加权，该方法也是使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小 Ma
9、ximum Likelihood(最大似然法)：该方法不要求数据服从正态分布，在样本量较大时使用较好 Principal Axis Factoring(主轴因子法)：该方法从原始变量的相关性出发，使得变量间的相关程度尽可能地被公因子解释,2019/8/21,商学院 李丽明,12,主成分分析的数学模型,数学上的处理是将原始的p个变量作线性组合，作为新的变量 设p个原始变量为 ，新的变量(即主成分)为 ，主成分和原始变量之间的关系表示为,确定因子变量-主成份分析,aij为第i个主成分yi和原来的第j个变量xj之间的线性相关系数，称为载荷(loading)。比如，a11表示第1主成分和原来的第1个变
10、量之间的相关系数，a21表示第2主成分和原来的第1个变量之间的相关系数,2019/8/21,商学院 李丽明,13,主成分的选择,选择几个主成分？选择标准是什么？ 被选的主成分所代表的主轴的长度之和占了主轴总程度之和的大部分 在统计上，主成分所代表的原始变量的信息用其方差来表示。因此，所选择的第一个主成分是所有主成分中的方差最大者，即Var(yi)最大 如果第一个主成分不足以代表原来的个变量，在考虑选择第二个主成分，依次类推 这些主成分互不相关，且方差递减,2019/8/21,商学院 李丽明,14,主成分的选择,究竟选择几个主成分才合适呢？ 一般要求所选主成分的方差总和占全部方差的80%以上就可
11、以了。当然，这只是一个大体标准，具体选择几个要看实际情况 如果原来的变量之间的相关程度高，降维的效果就会好一些，所选的主成分就会少一些，如果原来的变量之间本身就不怎么相关，降维的效果自然就不好 不相关的变量就只能自己代表自己了,2019/8/21,商学院 李丽明,15,因子分析的步骤 (因子提取),因子数量的确定 用公因子方差贡献率提取：与主成分分析类似，一般累计方差贡献率达到80%以上的前几个因子可以作为最后的公因子 用特征根提取：一般要求因子对应的特征根要大于1，因为特征根小于1说明该共因子的解释力度太弱，还不如使用原始变量的解释力度大 实际应用中，因子的提取要结合具体问题而定，在某种程度
12、上，取决于研究者自身的知识和经验,2019/8/21,商学院 李丽明,16,因子分析的步骤 (因子命名),因子命名是因子分析重要一步 一个因子包含了多个原始变量的信息，它究竟反映了原始变量的哪些共同信息？ 因子分析得到的因子的含义是模糊的，需要重新命名，以便对研究的问题作出合理解释 可通过考察观察因子载荷矩阵并结合实际问题完成 命名已经不是统计问题。它需要研究者自身的专业素质和对实际问题背景的了解程度，这需要更多的实践经验,2019/8/21,商学院 李丽明,17,因子分析的步骤 (因子命名),观察因子载荷矩阵 如果因子载荷aij的绝对值在第i行的多个列上都有较大的取值(通常大于0.5)，表明
13、原始变量与多个因子都有较大的相关关系，意味着原始变量xi需要由多个因子来共同解释 如果因子载荷aij的绝对值在第j列的多个行上都有较大的取值，则表因子fi能共同解释许多变量的信息，而对每个原始变量只能解释其中的少部分信息，表明因子不能有效代表任何一个原始变量，因子的含义模糊不清，难以对因子给出一个合理的解释 需要进行因子旋转，以便得到更加合理的解释,2019/8/21,商学院 李丽明,18,因子分析的步骤 (因子命名旋转),因子旋转(factor rotation)的目的是使因子的含义更加清楚，以便于对因子的命名和解释 旋转的方法有正交旋转和斜交旋转两种 正交旋转是指坐标轴始终保持垂直90度旋
14、转，这样新生成的因子仍可保持不相关 斜交旋转坐标轴的夹角可以是任意的，因此新生成的因子不能保证不相关。因此实际应用中更多地使用正交旋转 SPSS提供5种旋转方法，其中最常用的是Varimax(方差最大正交旋转)法,2019/8/21,商学院 李丽明,19,因子分析的步骤 (因子命名旋转),Varimax(方差最大正交旋转)：最常用的旋转方法。使各因子保持正交状态，但尽量使各因子的方法达到最大，即相对的载荷平方和达到最大，从而方便对因子的解释 Quartimax(四次方最大正交旋转)：该方法倾向于减少和每个变量有关的因子数，从而简化对原变量的解释 Equamax(平方最大正交旋转)：该方法介于方
15、差最大正交旋转和四次方最大正交旋转之间 Direct Oblimin(斜交旋转)：该方法需要事先指定一个因子映像的自相关范围 Promax：该方法在方差最大正交旋转的基础上进行斜交旋转,2019/8/21,商学院 李丽明,20,因子分析的步骤 (计算因子得分),因子得分(factor score)是每个因子在每个样本上的具体取值，它由下列因子得分函数给出,因子得分是各变量的线性组合,2019/8/21,商学院 李丽明,21,构造综合评价函数,求出各样品的因子得分：Fj=bj1x1+bj2x2+bjpxp j=1,2,m构造综合评价函数：F=1F1+2F2+mFm 然后，进行综合得分的排序和分析
16、。,2019/8/21,商学院 李丽明,22,因子分析法的计算步骤为： 数据标准化处理相关矩阵R求m个主成分(m个公共因子）求因子载荷矩阵Apm对Amp进行旋转计算因子得分求出综合评价模型。,2019/8/21,商学院 李丽明,23,案例11-1：因子分析的应用,第一步：选择因子分析法：Analyze Data ReductionFactor。,2019/8/21,商学院 李丽明,24,第二步：把变量导入右边框然后进行下面的操作：主要是设定因子分析法的输出信息。,2019/8/21,商学院 李丽明,25,点这按钮，会弹出上述对话框，然后选取相应的输出结果。,2019/8/21,商学院 李丽明,
17、26,第三步：因子提取方法,点这按钮，会弹出上述对话框，然后选取相应的输出结果。,2019/8/21,商学院 李丽明,27,第四步：旋转,点这按钮，会弹出上述对话框，然后选取相应的输出结果。,2019/8/21,商学院 李丽明,28,第五步：选取模型方法,点这按钮，会弹出上述对话框，然后选取相应的输出结果。,2019/8/21,商学院 李丽明,29,经过上面五步，得到输出结果如下：,2019/8/21,商学院 李丽明,30,KMO和Bartlett检验。KM0统计量为0.882接近1， Bartlett检验通过，则可进行因子分析。,2019/8/21,商学院 李丽明,31,因子分析初始解1 共
18、同度 h2i。如h21=0.76,h27=0.592.,2019/8/21,商学院 李丽明,32,因子分析初始解2 共同度 h2i。如h21=0.767,h27=0.871.,2019/8/21,商学院 李丽明,33,抽取二个公共因子的结果,抽取二个公共因子并进行最大方差旋转后的结果.旋转后的累计方差没有改变，只是两个因子所解释的原始变量的方差发生了一些变化。,2019/8/21,商学院 李丽明,34,2019/8/21,商学院 李丽明,35,因子载荷矩阵A，aij的绝对值越大，表明公共因子Fj对xi的载荷量大。由于各公共因子的经济意义含糊不清，所以必须对A进行旋转，用最大方差旋转法计算得到如
19、下表。,2019/8/21,商学院 李丽明,36,旋转后的因子载荷矩阵A，可看出x1,x2 ,x3,x4对F1依赖较大，x5，x6和x7对F2依赖较大，各公共因子的经济意义明确，F1代表内部投资经济，F2代表外来投资经济。,2019/8/21,商学院 李丽明,37,2019/8/21,商学院 李丽明,38,根据因子得分系数矩阵可将因子表示为变量的线性组合 。,2019/8/21,商学院 李丽明,39,由因子得分系数矩阵，可以将公因子表示为各变量的线性组合。得到的因子得分函数为,根据因子得分系数和原始变量的标准化值计算各观测量的各因子的得分数。 SPSS会计算出每个因子的得分，并保存在工作表的F
20、AC1_1和FAC2_1中。,2019/8/21,商学院 李丽明,40, 综合评价 计算每个地区的因子得分 每个地区的因子得分计算方法是：用每个共因子的方差贡献率做权数，对每个因子进行加权，然后加总得到每个地区的总因子得分 按总得分的多少进行排序，以反映各地区经济发展的差异,2019/8/21,商学院 李丽明,41,各个地区在F1的得分值,2019/8/21,商学院 李丽明,42,2019/8/21,商学院 李丽明,43,案例分析,根据我国31个省市自治区2006年的6项主要经济指标数据，进行因子分析，对因子进行命名和解释，并计算因子得分和排序。,2019/8/21,商学院 李丽明,44,数据
21、的相关性检验,Bartlett球度检验统计量为277.025。检验的P值接近0。表明6个变量之间有较强的相关关系。而KMO统计量为0.695，接近0.7。适合作因子分析,因子分析,2019/8/21,商学院 李丽明,45,因子分析,共同度量,所有变量的共同度量都在80%以上，因此，提取出的公因子对原始变量的解释能力应该是很强的,2019/8/21,商学院 李丽明,46,因子分析,因子方差贡献率,除最后3列外，其余部分与主成分分析中的表相同。 “Rotation Sums of Squared Loadings”部分是因子旋转后对原始变量方差的解释情况。旋转后的累计方差没有改变，只是两个因子所解
22、释的原始变量的方差发生了一些变化。,2019/8/21,商学院 李丽明,47,因子分析,Varimax法得到的旋转后的因子载荷矩阵,第一个因子与年末总人口、固定资产投资、社会消费品零售总额、财政收入这几个载荷系数较大，主要解释了这几个变量。从实际意义上看，可以把因子1姑且命名为“经济水平”因子。而第二个因子与人均GDP、居民消水平这两个变量的载荷系数较大，主要解释了这两个变量，从实际意义看，可以将因子2姑且命名为“消费水平”因子 (是否合理读者自己评判),2019/8/21,商学院 李丽明,48,因子分析,原始的6个变量与两个因子的关系(模型表达),表达式中的xi已经不是原始变量，而是标准化变
23、量,2019/8/21,商学院 李丽明,49,因子分析,旋转后的因子载荷图,旋转后的因子载荷系数更加接近于1(如果旋转后的因子载荷系数向01分化越明显，说明旋转的效果越好)，从而使因子的意义更加清楚了,2019/8/21,商学院 李丽明,50,因子分析,按回归法(Regression)估计的因子得分系数矩阵,根据因子得分系数矩阵可将因子表示为变量的线性组合,2019/8/21,商学院 李丽明,51,因子分析,由因子得分系数矩阵，可以将公因子表示为各变量的线性组合。得到的因子得分函数为,上面表达式中的xi标准化变量。根据这一表达式便可以计算每个地区对应的第一个因子和第二个因子的取值，也称为因子得
24、分(factor score)。有了因子得分，就可以对每个地区分别按照前面命名的“经济水平”因子和“消费水平”因子进行评价和排序,2019/8/21,商学院 李丽明,52,因子分析, 综合评价 计算每个地区的因子得分 每个地区的因子得分计算方法是：用每个共因子的方差贡献率做权数，对每个因子进行加权，然后加总得到每个地区的总因子得分 按总得分的多少进行排序，以反映各地区经济发展的差异,因子综合得分,2019/8/21,商学院 李丽明,53,各地区的因子得分及排名,2019/8/21,商学院 李丽明,54,地区两个因子得分的散点图,因子1得分最高的是广东，最低的西藏，这说明广东是经济发展水平较高的地区，西藏是经济发展水平较低的地区；因子2得分最高的是上海，最低的是贵州，说明上海是消费水平较高的地区，而贵州则是消费水平较低的地区,2019/8/21,商学院 李丽明,55,这学期的课程结束了，谢谢同学们对我教学工作的支持！,
