1、第十章 量表分析,徐长江 浙江师范大学教师教育学院心理系 ,本章纲要,量表分析的理论基础 量表分析的一般步骤 量表分析的SPSS实现 项目分析 因素分析 其它效度分析 信度分析,量表分析的理论基础,项目分析 难度 区分度 信效度分析,项目分析,项目分析就是对组成测验的每个测题进行分析。 质的分析 量的分析,项目难度,（1）以答对的百分比（或比率）来估计难度二值记分（即只有答对和答错两种情况，记为1或0）的测题。P：试题的难度；R：答对该题的人数；N：总人数。P值越大，则难度越小。,估计难度的方法（cont.）,当测题不是二值记分时，计算难度的公式：全体考生在该题上的平均分； ：该题的满分。分组
2、法重要前提：将被试按总分高低排列。一般标准为27。计算公式：,项目鉴别力,1. 项目鉴别指数0.40以上，优良；0.300.39，良好，如能修改更好；0.200.29，尚可，仍需修改；0.19以下，劣，必须淘汰。,估计方法（cont.）,2. 方差法（测题的方差）3. 项目与总分相关说明项目与总分有一致性 点二列相关；二列相关；皮尔逊积差相关。4. 项目与外部准则的相关：项目效度分析,量表分析的理论基础,项目分析 难度 区分度 信效度分析,信度.,信度（reliability）所关心的是测验分数的一致性或稳定性。 一个具有良好信度的测验，使用在不同的主试者、评分者、时间、情境或使用类似的问题，
3、其所得的分数应该接近相同或一致。 一般而言分数愈一致，受误差的影响愈小。所以信度主要在说明测验分数中测量误差所占的成分。,效度.,测验有种种不同的目的， 这些目的是否能达到需视测验效度高低而定。 效度（validity）即是测验分数的正确性。是一个测验能够测量到他所想要测量的特质的程度。 测验的效度高，则测验能实现所欲测量的目的。如果效度低，不仅无法达成目标，甚至会提供不正确的数据而作成错误的决定。,C C C,B,D,B,B,D,D,A A A,信度(Reliability):测验是否精准(Precision) 效度(Validity):测验是否正确(Accuracy),B：不精准但正确(U
4、nreliable but Valid ),C：精准但不正确(Reliable but Invalid ),D：不精准也不正确(Unreliable & Invalid ),A：精准又正确(Reliable & Valid ),信度、效度的意义,信度的意义,测量的一致性 相同的个人在不同的时间，以相同的测验测量，或以复本测验测量，或在不同的情境下测量，所得结果的一致性。 两次测验的结果相当一致，表示测验分数具有稳定性、可靠性、可预测性 测量的误差 信度是在估计测量的误差有多少，以及有多少比率是由测量误差所造成的。 如果测验分数中包含很多的误差成分，信度就低；如果测验分数中包含很少的误差成分，信
5、度就高。,信度的原理 -真实分数与测量误差,X = T + E X：实得分数 T：真实分数 E：误差分数 真实分数:普遍性分数，无法正确量到，需在多次重试求取平均数做为真实分数。 误差分数及测量误差，可正可负可零，理论上多次重试的结果误差平均数为零。 测量误差可分为非系统误差（称为随机误差，愈大则信度愈低。是一种随机的、没有规则、不可预测的的误差）和系统误差（称为常误或偏误，是固定一致的影响测验的误差，通常不影响信度，但会影响效度）。,估计信度的方法,重测方法 复本方法 内部一致性方法 评分者方法 每种方法都在说明测量误差的不同来源,重测方法（test-retest reliability）,
6、采用同一个测验在不同时间，重复测量相同的一群受试者两次，根据这两次分数求得的相关，称为重测信度系数。 此系数可以表明测验结果经过一段期间后的稳定性，故又称稳定系数。 重测间隔时间：视工具的用途来决定间隔时间 缺点 易受练习与记忆影响 题目的性质因重测而改变，如推理变记忆 无法复制相同情境,复本方法（alternate-form reliability）,复本测验：指两份测验在内容 型式 题数 难度 指导说明 时间限制 与例题等方面，必须类似或相等。通常是根据相同的设计说明表分别独立编制而成。题目不同但内容相似 两个复本测验实施于一群相同的受试者，依据所测量到的分数求相关，即复本信度。,实施复本
7、测验的方法,同一时间连续实施：反应工具内容所造成的误差，无法反应受试者本身所造成的误差，此种复本信度又称等值系数。 间隔一段时间实施：可反应工具内容所造成的误差与受试者本身所造成的误差，此种复本信度又称稳定与等值系数。,复本方法的缺点,复本测验编制不易 费时 成本高 受练习的影响,内部一致性方法(Internal Consistency),分半信度 Cronbach ,折半方法（split-half reliability）,理论上与同时实施复本测验一样，都可以说明测验试题取样的适当程度。 折半方法是凭一次测验结果，求两半分数的相关，所以其信度系数有时被称为内部一致性系数。,如何折半?,随机
8、奇偶数,分半信度,将量表的题目分成两半计分，根据受试者在两半题项上所得的分数，计算二者的相关系数。但此时只是半个测验的信度，估计的可信性降低，因而，要用Spearman-Brown校正公式加以校正，以估计整个测验的信度。,分半信度,式中rxx是校正后的信度系数。rhh是校正前的信度系数。 Guttman分半系数也是总体测试可靠性的另一种估计方法。,Cronbach 系数,其中K为量表所包括的总题数。S2 为测验量表总分的变异量。Si2为每个测验题项总分的变异量。,Cronbach 系数,DeVellis（1991）:,评分者方法（scorer reliability）,采用不同评分者评阅测验卷
9、，而估计评分的一致性，称为评分者信度。适合主观题目的测验。 两个评分员 等级分数 Spearman Rank Correlation 连续分数 Pearson 积差相关 多位评分员 Kendall coefficient of Concordance,效度的意义,指测验分数的正确性。指一个测验能够测量到它所想要测量的特质的程度。也可以说，效度是指一个测验在使用目的上的有效性，测验能够达到某种目的的程度。,练习,分析scl-90各因素的信度。,效度的特性,效度是程度上的差别，而非全有或全无的问题。因此选择测验时，应考虑测验是否适合使用的需要？如果是，其效度有多高？在甚么情境下有效？ 效度在使用的
10、目的和情境方面具有特殊性，不宜视为普遍性的特质。对某个目的可能有很高的效度，对另一个目的可能很低。因此选择测验时，应依据使用的独特目的而选用具有适当效度数据的测验。,效度的理论,一个测验的总变异量包含三个部分 x =co +sp +e x 总变异量 co 共同因素变异量 sp 独特变异量 e 误差变异量 共同因素指某个测验的变异量和其它测验的变异量所共同分享的部分。易言之，就是指两个或两个以上的测验所有的共同因素。独特因素指某测验的系统变异量，即非由其它测验所分享的部分。,效度的理论,x /x =co /x +sp /x +e /x 效度可界定为由共同因素所造成的变异量比率。 Val.=co
11、/x =1-sp /x -e /x ,效度的种类,测验效度既然要视测验达到其使用目的的程度而定，评估一个测验的效度因而不能只看效度的高低，尚需考虑数据是否适合使用的目的。 美国心理学会依目的分为 内容效度（Content Validity） 效标关联效度(Criterion-related Validity) 构念效度（Construct Validity）,内容效度的意义,指测验内容的代表性或取样的适切性。 考量成就测验的内容效度，需考虑题目能否代表以下因素 教学目标 教材内容 判断内容效度的方法 内容效度没有一个数量的表示方法，他的确定主要是采用逻辑的分析方法，仔细判断每一个题目是否符合教
12、材内容与教学目标。 如果测验的题目很能代表教材内容的样本，及所预期的行为改变，而没有其它无关因素(如阅读能力或指导语不清楚)的影响，则表示测验有良好的内容效度。,判断内容效度的方法,双向细目表 教材的内容与教学的目标 专家判断 复本的编制 两组人编制两套试题，如果两份内容大致符合，则表示测验内容适当。,表面效度(face validity),表面效度是指测验给人的第一个印象好像测量甚么东西，而不是指测验事实上能测量到甚么东西。 一般而言，具有内容效度的测验，通常也具有表面效度，反之却不尽然。 但表面效度对一个测验来说，仍然是很重要的，因为具有表面效度，可使受试者感到亲切感，并愿意合作。,效标关
13、联效度(Criterion-related Validity),以经验性的方法，研究测验分数与一些外在效标间的关系，故又可称为经验效度或统计效度。 如果测验分数和外在效标的相关愈高，表示测验愈能有效预测外在效标。 外在效标指测验所要预测的某些行为或量数。学业性向测验以学校的学业成绩作为效标。,同时效度与预测效度,同时效度(Concurrent Validity)：指测验分数与实施测验同一个时间所取得的效标之间的相关，旨在使用测验分数估计个人在效标方面的目前实际表现。 新编职业测验目前工作成绩 新编生物成就测验在校生物月考成绩 预测效度(Predictive Validity)：指测验分数与实施
14、测验后一段时间所取得的效标之间的相关，旨在使用测验分数预测个人在效标方面的未来表现。 新编职业测验录取后一段时间后的工作成绩,同时效度与预测效度的不同,效标取得的时间不同。 同时 隔一段时间 测验的目的不同。 估计目前的情形 预测未来的行为,效标的特性,适切性：能反映测验所欲测量的重要特征，这没有经验的证据，只有依赖价值的判断。 可靠性：效标数据具有可靠性，否则如何被预测。 客观性 能避免偏差: 系统性的偏差 避免效标混淆: 使参与效标评定的人不知受试者的测验成绩 可用性：时间 经费,效标的种类,学业成就 智力测验 特殊化的训练成绩 性向测验 实际的工作成绩 性向测验 对照团体 性向测验 精神
15、病学的诊断 人格测验 评定成绩(Rating) 人格测验 先前有效的测验 新编测验,构想效度的意义,构想(construct)是心理学上的一种理论构想或特质，是观察不到的，但心理学假设它是存在的，以便解释一些个人的行为。这些构念都有理论基础，依据其理论可以预测人类的行为，而提出行为上的假设，然后加以验证。 结构效度指测验能够测量到理论上的结构或特质的程度。即测验分数能够依据某种心理学的理论构念加以解释的程度。,构想效度一般发展步骤,1. 根据构想的理论分析，开发一套测量的题目。 2. 提出可考验构想与其它变项间关系的预测。 3. 从事实证性的研究以验证上述的预测。 4. 淘汰和理论的构念相反的
16、题目，或重新从预测开始修正。若再得负向支持，则可能测验真的缺乏效度或理论有问题。,本章纲要,量表分析的理论基础 量表分析的一般步骤 量表分析的SPSS实现 项目分析 因素分析 其它效度分析 信度分析,量表分析步骤,编拟预试问卷 预试 整理问卷与编号 项目分析 因素分析 信度分析,量表编制建构的流程,本章纲要,量表分析的理论基础 量表分析的一般步骤 量表分析的SPSS实现 项目分析 因素分析 其它效度分析 信度分析,量表分析的SPSS实现,项目分析 因素分析 其它效度分析 信度分析,项目分析,对于量表的项目分析主要是考察其项目的区分度。 项目区分度是反映题目对被试的心理特征的区分能力的指标。,相
17、关法,练习,利用相关法，对工作倦怠问卷（cha-2.sav)各项目进行项目分析。注意：第9题第16题是反向计分题。,高、低分组法 区分度指数,D = PH PL,试题区分度的评价标准,练习,求出各项目的区分度指数。,高、低分组法 临界比率,求出每一个题项的“临界比率”（critical ratio；简称 CR值），即高低二组被试在每题得分的平均数进行差异的显著性检验，如果题项的CR值达显著水平（.05或.01），即表示这个题项能鉴别不同受试者的反应程度。,练习,用“临界比率”对工作倦怠问卷进行项目分析。,量表分析的SPSS实现,项目分析 因素分析 其它效度分析 信度分析,因素分析结构效度,因素
18、分析是一种潜在结构分析法，其模式理论中，假定每个指标（外在变量或称题项、观察值、问卷问题）均由两个部份所构成，一为“共同因素” （common factor）、一为“唯一因素”（unique factor）。共同因素的数目会比原始变量数还少，而每个原始变量皆有一个唯一因素，亦即一份量表共有n个题项数，则也会有n个唯一因素。,因素分析的理论模式,其中1Zj 为第j个变量的标准化分数。2Fi为共同因素。3m为所有变量共同因素的数目。4Uj为变量 的唯一因素。5ajm为因素负荷量。,例如，从7个项目中抽取出4个因素,因素分析中的重要概念,因素负荷量：是在因素结构中，原始变量与因素分析时抽取出共同因素
19、的相关。 共同性（communality）：每个变量在每个共同因素之负荷量的平方总和（一横列中所有因素负荷量的平方和），也就是个别变量可以被共同因素解释的变异量百分比，这个值是个别交量与共同因素间多元相关的平方。,因素分析中的重要概念,特征值（eigenvalue）：是每个变量在某一共同因素之因素负荷量的平方总和（一直行所有因素负荷量的平方和）。在因素分析之共同因素抽取中，特征值最大的共同因素会最先被抽取，其次是次大者，最后抽取的共同因素之特征值最小，通常会接近0 。,因素矩阵表,因素分析的步骤,计算变量间相关矩阵或共变量矩阵 因素抽取 决定转轴方法（rotation） 决定因素与命名,Sam
20、ple Size,10 subjects per variable. To some, subject to variable ratio (STV) should at least be 5:1.Every analysis should have 100 to 200 subjects,Correlation Matrix,Kaiser-Meyer Olkin (KMO) measure of sampling adequacy small values indicate correlations between pairs of variables cannot be explained
21、 by other variables,Marvelous - - - - - - .90s Meritorious - - - - - .80s Middling - - - - - - - .70s Mediocre - - - - - - - .60s Miserable - - - - - - .50s Unacceptable - - - below .50,Correlation Matrix,Bartletts Test of Sphericity Tests hypothesis that correlation matrix is an identity matrix. Di
22、agonals are ones Off-diagonals are zeros Significant result indicates matrix is not an identity matrix.,因素分析的步骤,计算变量间相关矩阵或共变量矩阵 因素抽取 决定转轴方法（rotation） 决定因素与命名,Criteria For Retention Of Factors,Eigenvalue greater than 1 Plot of total variance - Scree plot Note cumulative % of variance of rotated facto
23、rs,因素抽取的方法,最常使用的是主成份分析法（principal components）和主轴法（principal axis factoring）,因素抽取的方法,Principal Components Analysis: to form uncorrelated linear combinations of the observed variables. The first component has maximum variance. Successive components explain progressively smaller portions of the varianc
24、e and are all uncorrelated with each other. It is used to obtain the initial factor solution. It can be used when a correlation matrix is singular. Unweighted Least-Squares Method: minimizes the sum of the squared differences between the observed and reproduced correlation matrices ignoring the diag
25、onals. Generalized Least-Squares Method: minimizes the sum of the squared differences between the observed and reproduced correlation matrices. Correlations are weighted by the inverse of their uniqueness, so that variables with high uniqueness are given less weight than those with low uniqueness. M
26、aximum-Likelihood Method: produces parameter estimates that are most likely to have produced the observed correlation matrix if the sample is from a multivariate normal distribution. The correlations are weighted by the inverse of the uniqueness of the variables, and an iterative algorithm is employ
27、ed. Principal Axis Factoring: extracts factors from the original correlation matrix with squared multiple correlation coefficients placed in the diagonal as initial estimates of the communalities. These factor loadings are used to estimate new communalities that replace the old communality estimates
28、 in the diagonal. Iterations continue until the changes in the communalities from one iteration to the next satisfy the convergence criterion for extraction. Alpha: considers the variables in the analysis to be a sample from the universe of potential variables. It maximizes the alpha reliability of
29、the factors. Image Factoring: developed by Guttman and based on image theory. The common part of the variable, called the partial image, is defined as its linear regression on remaining variables, rather than a function of hypothetical factors.,因素分析的步骤,计算变量间相关矩阵或共变量矩阵 因素抽取 决定转轴方法（rotation） 决定因素与命名,正
30、交旋转(Orthogonal),Varimax: minimizes number of variables with high loadings on a factor Quartimax Method: minimizes the number of factors needed to explain each variable. It simplifies the interpretation of the observed variables. Equamax Method: combination of the varimax method, which simplifies the
31、 factors, and the quartimax method, which simplifies the variables. The number of variables that load highly on a factor and the number of factors needed to explain a variable are minimized.,斜交旋转(Oblique,nonorthogonal),Direct Oblimin Method: When delta equals 0 (the default), solutions are most obli
32、que. As delta becomes more negative, the factors become less oblique. To override the default delta of 0, enter a number less than or equal to 0.8. Promax Rotation: Allows factors to be correlated. It can be calculated more quickly than a direct oblimin rotation, so it is useful for large datasets.,
33、Oblique Factor Rotation,Factor Pattern Matrix factor loadings generally used for interpretation Factor Structure Matrix correlations between factors and variables,因素分析的步骤,计算变量间相关矩阵或共变量矩阵 因素抽取 决定转轴方法（rotation） 决定因素与命名,Interpretation of Rotated Matrix,Loadings of .40 or higherName each factor based on
34、 3 or 4 variables with highest loadings.Do not expect perfect conceptual fit of all variables.,练习,对工作倦怠问卷进行因素分析。,Case-resilience,Resilience.sav Psychological resilience refers to an individuals capacity to withstand stressors and not manifest psychology dysfunction, such as mental illness or persist
35、ent negative mood. That is, resilience is defined in terms a persons capacity to avoid psychopathology despite difficult circumstances.,The designers of the 25-item Resilience Scale (Wagnild & Young. 1993) purported 5 factors.,Wagnild, G. M., & Young, H. M. (1993). Development and psychometric evalu
36、ation of the resilience scale. Journal of Nursing Measurement, 1, 165-178. http:/ subset of 15 of the original items is provided from data collected from young Australian adults by Neill & Dias (2001). Check whether a 5 factor solution holds up for the data.,Neill, J. T., & Dias, K. L. (2001). Adven
37、ture Education and Resilience: The Double-Edged Sword. Journal of Adventure Education and Outdoor Learning, 1(2), 35-42.,You should find that there are really not enough primary loadings on 4 or 5 factors to justify their presence, therefore try 2 and 3 factors. Best approach is probably 2 factors (
38、“taking control“ and “taking it easy“), with 3 to 5 items removed and an oblimin rotation.,量表分析的SPSS实现,项目分析 因素分析 其它效度分析 信度分析,信度分析,Cronbach系数 分半信度 再测信度,Cronbach 系数,其中K为量表所包括的总题数。S2 为测验量表总分的变异量。Si2为每个测验题项总分的变异量。,Cronbach 系数,DeVellis（1991）:,分半信度,将量表的题目分成两半计分，根据受试者在两半题项上所得的分数，计算二者的相关系数。但此时只是半个测验的信度，估计的可行性降低，因而，要用Spearman-Brown校正公式加以校正，以估计整个测验的信度。,分半信度,式中rxx是校正后的信度系数。rhh是校正前的信度系数。 Guttman分半系数也是总体测试可靠性的另一种估计方法。,再测信度,要以正式量表对同一组受试者前后测验两次，根据受试者前后两次测验分数得分，求其积差相关系数。再测信度又称稳定系数（coefficient of stability），反应量表的稳定与一致性程度 。,综合练习,运用stress.sav的数据进行量表分析。 项目分析 相关法 临界比率 结构效度因素分析 信度分析 Cronbach系数 分半信度,
