1、第4讲 测量的信度与效度,第1节 信度分析1.信度分析原理2.在SPSS上实现信度分析 第2节 效度分析1.效度分析原理2.在SPSS上实现效度分析 第3节 信度与效度的关系,第1节 信度分析 一、信度分析原理 1、信度的概念信度是指对测度一致性程度的估计。信度分析就是要探 究调查的可靠性，就是指被调查者表达其意见的准确性。信度也称为可靠度，指的是一份量表所测得的分数的一 致性（consistency)与稳定性(stability)。2、信度的估计方法测量的误差总是难免的，真实值与测量值的关系可以表 达为：式中，T为真实值，B为偏差即系统误差，E为测量误差即随 机误差。,由于系统误差很难分解，
2、因而有时将系统误差包含在真实值 中，上式可以简化为：对于测量误差E,一般假定它的期望值是0，与真实值相独 立，在此假定下，可以证明：实得分数和真分数的总体均值相等。实得分数的方差等于真分数的方差与误差方差之和。,调研人员应运用所掌握的统计知识，分析其是属于系统 误差还是属于随机误差。系统误差会使调查结果有误，所以应尽量避免。随机误差可通过提高样本代表性、增大样本量来减少。信度一般规定是：真分数的方差在总体方差中所占的比 重，即信度系数：信度系数越大，表明测量的可信程度越大。信度的估计方法有许多，比较易于使用的是相关系数的方 法。 一般采用同一问卷进行两次调查，再计算其相关系数。,3、信度的类型
3、 （1）再测信度（Retest Reliability)再测是指在不同时间的相同测验。使用同一测量量表，对同一受测群体，在不同的时间前 后测试两次，再计算两次测试结果的相关系数，该系数即为 再测信度。重复测量时，要注意时间间隔的合理控制。如果时间间 隔太短，受测者可能还记忆犹新，容易造成信度偏高。如果时间间隔太久，可能环境条件的改变、或者受测者 心智成长会影响再测结果，从而造成信度偏低。因而时间间隔应随测验的目的与性质而定。由于旅游者流动性太强，因而不适宜使用再测信度分 析。,（2）复本信度（Alternative-Form Reliability)当某一套量表有两种以上版本时，可以替换使用，
4、根据 一组被调查者接受两个复本测量的数值来计算相关系数，以 避免再测信度的缺陷。复本是指内容相似、难易度相当的两份量表，对同一受 测群体，第一次使用A份测试，第二次使用B份测试，两次 分数的相关系数即为复本信度。复本得分的差异是由量表的内容造成的，而非时间造成 的。复本信度有两个优点：一是它不会受记忆效用的影响；二是对测量误差的相关性通常比再测法低。,（3）折半信度（Split-Half Reliability)将同一量表施测后的题目分成两半，分别计算这两半的 总分及其相关系数，此一相关系数即为折半信度。由于实际上折半信度系数会比全部题目放在一起计算获 得的信度低，所以求得的折半信度需要进一步
5、修正。折半信度的优点在于只需要施测一次，因而可以节省人 力、物力和时间。但由于折半信度需将一份量表分成两半，分法不同，所 获信度就会不同。如可以将测量结果按题目的单双号分成两部分。,（4）克朗巴哈系数（Cronbach )Cronbach L.J.于1951年提出了一种计算问卷或测验的 测量工具的信度，称为Cronbach 系数。当一个研究任务项由很多题目组成，每个问项都与研究 任务项相关，若以总分的方差与问项的方差作为测量信度的 指标，即为系数。如果每个题目都是测量相同的理论维度，则总和的方差 会大于每个题目的方差之和。每个理论维度下，必须至少有两题以上才能计算信度， 若只有一个题目，则信度
6、值为1。设一份量表包括n个项目（x1,x2, ,xn), 假设这n个项目 的分数都与真实分数T有关，即每一个项目xi除与T有关外， 也有独立的误差项Ei,即令量表总和为H=x1+x2+xn.,当题目间的相关系数越大时，系数也会越大。当题目数目n越多时， 值越大， 越接近于0，越接近于1，故系数也会越接近于1。,要做信度分析须先检查每个题目是否都是同方向的，即 都是正面问法，反向问题需要做处理后才可以加入分析。在计算系数时，应该注意有些调查量表测量的内容包 含几个领域，这时宜分别计算各个领域的系数。克朗巴哈系数适用于项目多重计分的测验数据或问卷 数据，可以用该系数测量Lickert量表的信度。在
7、基础研究中，信度至少应达到0.8才可接受；在探索性研究中，信度只要达到0.7就可以接受；在旅游调查测量实践中，信度只要达到0.6即可接受。系数通常与量表题目数量有关，题目数量越多，系 数就越大。,系数的判断标准：,二、克朗巴哈 系数的手工计算以一份有8个题项的量表为例，8个题项均为正向题，受试样本数有6位，采用Likert 5点量表填答，获得调查结果如下表：,计算获得描述性统计量如下表：,可以利用Excel软件进行有关计算： 第8行计算均值， 第9行计算标准差， 第10行计算方差。,Cronbach系数的计算公式为：,已知：题项n=8, 8题加总后量表总分的方差S2=3.467, 8 个题项的
8、方差总和 =1.533,三、在SPSS上实现克朗巴哈系数的计算第一步：按Analyze-Scale-Reliability打开主对话框。第二步：在左侧的源变量框中选择变量进入Items框，作为分析变量。第三步：在源变量框的Model选项框中，选择Alpha（）信度系数。第四步：在主对话框，单击OK按钮，提交运行。第五步：判断计算结果是否可以接受。,第2节 效度分析 一、效度分析原理 1、效度的概念效度就是正确性程度，即测量工具在多大程度上反映 我们想要测量的概念的真实含义。效度越高，表示测量结果 越能显示出所要测量的对象的真正特征。2、效度的估算方法与评价测量的效度通常以测量数值与其所要测量的
9、特性之间的 相关系数来表示。效度系数一般规定为与测量目的相关的分 数方差在总体方差中所占的比重：式中， 为个体在与属性有关的共同特征上所造成的变异 量， 为在某测量上所得数值的总变异量。,3、影响效度的因素调查提纲的科学与否；调查程序选择是否得当；调查项目的设计是否合理；调查方法的选择是否得当。其中，调查项目的设计最为重要。4、效度的量化虽然效度可分为内容效度、准则效度和结构效度，但每 一种效度都很难测量。没有方法可以真正保证研究者可以测 量到要测量的理论构想。在学术研究中，经常只能通过强调量表设计程序的过程 严谨，或经过专家的修正及经过预测，以此来强化其具有的 效度。但这只是内容效度，准则效
10、度和结构效度仍难测量。,5、效度的类型 （1）内容效度（Content Validity）也称为表面效度（Face Validity）、逻辑效度。它是指问卷的内容是否具有代表性，即是否包括被测量 构成所有层面的项目。若问卷内容是以理论为基础，并参考以往学者类似研究 的问卷内容加以修订，并与实践或学术专家讨论过，且进行 过预测，即可以认为具有相当的内容效度。内容效度的检验相当主观，并没有任何统计量可以测 量。因此，仅能请专家来判断该量表是否具有可接受的内容 效度。（敏感性分析）考察内容效度旨在系统地检查测量内容的适当性，并根 据我们对所研究概念的了解去鉴别测量内容是否反映了这一 概念的基本内容。
11、,（2）准则效度（Criterion Validity）准则效度又称为效标关联效度（criterion-related validity)、预测效度(predictive validity)。它是指量表所得到的数据和其他被选择的变量（准则变 量）的值相比是否有意义，被访问者的答案看起来是否在设 计时所考虑的度量范围之内。调研人员对问卷一般都可以客观地判断它的表面有效 性。因此，设计每一个问题时都应该有表面有效性的假定。 符合这种标准的测量工具是可以作为测量某一特定现象或概 念的效标。当我们对同一现象或概念进行测量时，我们可以使用多 种测量工具，每种测量方式与效标的一致性就成为准则效 度。评价准
12、则效度的方法是相关分析或差异显著性检验。但选择一个合适的准则往往十分困难。,（3）结构效度（Construct Validity）结构效度也称建构效度。它是指一个测验实际测到所要测量的理论结构和特质的 程度，是指实验与理论之间的一致性，即实验是否真正测量 到假设（构造）的理论。结构效度分析所采用的方法是因素分析（因子分析）。 在因素分析的结果中，用于评价结构效度的主要指标有累计 贡献率、共同度和因子载荷。结构效度的体现首先必须作KMO和Bartlett球形检验， 如果这两个检验合格的话，说明数据是适合做因素分析的。 通常KMO的值小于0.5时较不适合做因素分析，一般以大于 0.7为好。然后提取
13、因子，主因子解释总变异一般若大于60%的和 因子载荷大于0.6的话，说明结构效度很好。,KMO统计量的判别标准：,6、度量有效性的检验 （1）表面有效性指被访者的答案看起来是否在设计时所考虑的度量范围 之内。 （2）预示有效性指问卷中的某些答案与问卷中另一些答案的逻辑相关程 度。如果你运用逻辑关系来判断，那么，你就对一些度量做 了预示有效性检验。 （3）收敛有效性当调研人员用两种不同的方法或不同的数据来源比较同 一个问题时，那么，他就运用了收敛有效性检验。 （4）区别有效性指不同的结构应产生不同的结果。换句话说，调查不同 主题的问题应产生不同的答案。,二、在SPSS上实现效度分析第一步：按An
14、alyze-Data Reduction-Factor打开主对话框Factor Analysis。第二步：在左侧的源变量框中选择变量进入右侧Variable框中，作为分析变量。第三步：点击Descriptives按钮，进入描述选项对话框。第四步：在Statistics栏中选Initial solution；在Correlation Matrix栏中，选择KMO and Bartletts test of sphericity项。第五步：单击Continue按钮。第六步：点击Rotation按钮，进入转轴选项对话框。第七步：在Method栏选中Varimax，Display栏选中Rotated
15、solution。第八步：单击Continue按钮，再单击OK按钮，提交运行。,案例分析1：张秋钤，杨建明，唐芳福建白水洋景区游客满意度模糊综合评判重庆师范大学学报（自然科学版），2011，28（4）：69-73.由于问卷涉及Likert量表，其设计是否合理，调查结果 是否可信，必须进行信度和效度检验。本文利用SPSS13.0 软件的信度分析功能进行信度检验，计算获得克隆巴赫系数 (Cronbachs )为0.955，表明问卷测验结果具有较高的内 部一致性和稳定性，信度极高。 另在SPSS13.0软件上采用因子分析法进行结构效度检验 ，获得23个问题调查结果的KMO系数为0.941，达到“极好
16、” 的水平，Barlett球形检验的F值等于0.000，达显著，表明被 调查群体的相关矩阵间有共同因子存在，适合进行因子分 析。因子分析结果表明，因子载荷大于0.6的累积解释变异 数为68.235%，因而结构效度达到较高水平。,案例分析2： 杨建明旅游者旅游环境影响感知与环保意识基于高校学生群体的社会学调查 本问卷的第二部分涉及Likert量表，其设计是否合理， 调查结果是否可信，必须进行效度和信度检验。,本部分采用Likert 5点量表，共设计19个问题。其中有关旅游环境负面影响的8个问题中有1个属于逆向题(旅游环境的负面影响是生态环境可以承受的)，对该题项进行顺向处理后，计算获得克隆巴赫信
17、度系数(Cronbachs )为0.653，另计算获得3个旅游环境正面影响题项的克隆巴赫信度系数为0.720，表明问卷的内部一致性和稳定性较好，问卷通过信度检验。,利用因子分析方法计算获得19个问题的KMO系数为0.606， 达到“中等”水平;因此可以认为被调查群体的相关矩阵间 有共同因子存在，适合进行因子分析。进一步因子分析结果 表明，因子载荷大于0.6的累积解释变异数为84.945%，因 而结构效度达到较高水平。,第3节 信度与效度的关系 一、信度与效度的区别 1、研究的对象不同信度答卷者效度组卷人2、研究的角度不同信度测量的质量效度问卷的质量3、涉及的误差不同信度仅考虑随机误差占测验总变
18、异的比例效度则还包含与测验无关但稳定的测量误差 4、数值大小不同效度不会大于信度,5、研究的内容不同信度关心的是对于一个问题、一个具体的技术每次是否会 产生同样的结果。信度强调的是在不同研究情景下数据与结论 的稳定性和一致性。效度指的是一种根据经验方法得到的结论在多大程度上反 映研究概念的真正意义。效度是指工具的有效程度及理论的适 用程度。如射箭：A效度高，信度也高； B效度高，信度低； C效度低，信度高； D效度低，信度也低。,二、信度与效度的关系1、若信度低,则效度也低因为如测量的数据不准确,就不能有效地说明所研究的对象.2、若信度高, 效度则不一定就高因为可信的测量数据并不一定就是有用的、有效的.3、效度高, 信度也必然会高4、效度低, 信度很可能高,思考题：1. 何谓信度? 2. 何谓效度? 3. 信度与效度有何区别？4. 信度与效度的关系如何?4. 影响效度的因素有哪些?,
