1、心理测量学知识,主讲：牛端 E-mail：,第四节 测验的效度,第一单元 效度的概念,一、效度的定义在心理测验中，效度是指所测量的与要测量的心理特点之间符合的程度，或者简单地说是指一个心理测验的准确性或有效性。,表示效度，,表示效度系数,信度与效度的区别举例,打靶,二、效度的性质,（一）效度具有相对性任何测验的效度是对一定的目标来说的，或者说测验只有用于与测验目标一致的目的和场合才会有效。没有任何一个测验都能测任何所有心理特质，也没有任何一个测验“放之四海皆准”，因此任何一个测验都有其局限性，都是针对一定目的而言。,（二）效度具有连续性测验效度通常用相关系数表示，它只有程度上的不同，而没有“全
2、有”或“全无”的区别。只是介于“全有”或“全无”的连续统上中间的某个值，如高效度、中效度和低效度。,（三）效度是针对测验结果的效度是针对某种测验来说的，更是对测验结果而言的。效度指向一定的结果，是和测验结果相联系的。,信度和效度的关系（重点）,一、信度是效度的必要而非充分条件（重点） 二、效度是受信度制约的,一个测验的效度总是受它的信度所制约； 信度系数的平方根是效度系数的最高限度； 效度系数的最高限度是信度指数。,一、内容效度 （一）什么是内容效度内容效度指的是测验题目对有关内容或行为范围取样的适当性。比如，教师为了解学生在某一学科知识掌握的情况，要进行一个全面的考试。考试不可能包含所有学科
3、内容。于是，就从学科知识范围可能的题目中取样来编成测验，根据测验分数推论学生学科知识掌握的情况。如果测验题目的取样代表性好，则推论将有效；如果题目取样有偏差，则推论将无效。由于这种测验的效度主要同测验的内容有关，所以叫内容效度。,第二单元 效度评估的方法,（二）确定内容效度的方法1、专家判断法,也叫逻辑效度，因为这是一个逻辑分析的过程。具体的步骤包括： 定义好内容的总体，描绘出有关知识和行为的轮廓。 划分好细纲目，并规定各纲目的比例，对内容范围作详尽的描述。 确定每个题目所测的知识和技能，将自己的分类与测验编制者的纲目作比较。 制定评定量表：从测验内容所测的技能、题目对所定义的内容范围的覆盖率
4、、各种题目数量、分数的比例、题目形式对内容的适当性等方面，对测验作出总的评定。,二、内容效度 （二）确定内容效度的方法1、专家判断法2、复本分析法,内容效度可由一组被试在取自同样内容范围的两个测验复本上得分之相关来作数量估计。如果相关低，说明其中至少有一个缺乏内容效度。如果相关高，一般推论测验有内容效度。当然也可能两个测验取样有同样或相似的偏差。,二、内容效度 （二）确定内容效度的方法1、专家判断法2、复本分析法3、再测分析法,先将测验施测于某个团体，该团体对测验所包含的内容仅具有最少量的知识因而得分很低。 让这个团体参与有关材料的教学和培训，结束后再进行测验。 如果成绩提高，说明测验测量的是
5、课堂上所教的内容，推论测验对于教学具有较高的内容效度。,（二）确定内容效度的方法1、专家判断法2、复本分析法3、再测分析法4、经验法,例如，经验表明测验成绩随年龄提高，因此分析测验成绩或题目通过率与年龄大小的关系，如果测验分和题目通过率随年龄而提高，则说明测验内容有效。,（三）内容效度的特点1、内容效度常与表面效度搞混 表面效度是由外行对测验作表面上的检查所确定的。内容效度是由够资格的专家详尽地、系统的对测验作评价而建立的。 前者只考虑题目与测量目的之间明显的、直接的关系。后者则同时考虑题目与测量目的和内容总体之间的逻辑的微妙关系。 最高行为测验（如能力测验）要求有较高的表面效度，以使受测验者
6、具有较强的动机，尽最大的努力完成。典型行为测验（如人格测验）却要求较低的表面效度，如果受试者很容易就从题目上看出测题的目的，就可能作出假的反应。,（三）内容效度的特点 2、内容效度的应用 内容效度是评价学业测验的最适当的方法。 对人员选拔和安置的职业测验也使用内容效度的评价。 对能力倾向和人格测验，内容效度适用性就差些，因为范围界定不易。 内容效度缺乏理想化的数量指标。,（一）什么是构想效度定义：是指测验能够测量到理论上的构想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何。,二、构想效度,建立构想效度的三步,第一步：提出理论结构（理论）； 第二步：设计和编
7、制测验进行实际测量（实践）； 第三步：验证理论与实践的符合程度（往往采用因素分析或结构方程等模型来进行验证）,（二）构想效度的估计方法,1、对测验本身的分析这类方法是通过研究测验内部结构来界定理论构想，从而为构想效度提供证据。 （1）内容效度； （2）测验的同质性（单维性）； （3）分析被试者对题目反应过程。,2、测验间的相互比较 （1）相容效度：相关法（与一个“权威的”效度高的求相关）。 （2）区分效度：与相异测验相关高，则区分低，效度差。 （3）因素分析法：如EPQ分为四个分量表（四个维度），即P、E、N和L。,3、效标效度的研究证明 （1）普通组与对照照（效标组）得分比较； （2）从发展
8、变化来考察。 4、实验法和观察法证实 从观察或实验前后来比较差差异。,例如 构想：考试焦虑是当考试结果对个人有重大意义时的一种害怕失败的紧张情绪”。 有一个焦虑测验，考察这测验是否有构想效度。 设计几种试验情境：,设计1： 比较不同重要性考试时该测验的分数 按照构想，重要考试时焦虑分数高 平时考试中实施此焦虑测验 重要考试之前施该焦虑测验 比较两次分数，如重要考试前的焦虑分数显著提高，就说明这个测验对测量考试焦虑是有效的。,设计2： 举行两场考试，使被试相信一场考试关系重大，一场考试无关要紧。 挑选两组被试，高焦虑组和低焦虑组。 比较考试成绩，出现下述情况，说明测验有构想效度： 焦虑分数高组学
9、生，如在第一场考试中成绩比平时有所下降，在第二场考试中却能正常发挥。 焦虑分数低组学生，无论在哪场考试都发挥正常。,设计3： 收集被试在经历一场重大考试时的生理心理参数作为焦虑的指标 将其同焦虑测验分数比较 相关高证明焦虑测验测量了焦虑这个特质。,（三）对构想效度的评价 构想效度这一概念提出的最大贡献是把着眼点放在提出假设、检验假设上，因此使心理测验不再只是作实际决定的辅助工具，同时还成为发展心理学理论的重要工具。 有些构想概念模糊，缺乏一致的定义。同样构想可能有不同名称；同样的概念可能有不同解释理解。 确定效度时没有明确的操作步骤与程序。没有单一的数量指标来描述有效程度。,三、效标效度,（一
10、）什么是效标效度又称实证效度、统计效度、效标关联效度。主要考虑：测验与效标预测的程度。分同时效度和预测效度，如张厚粲修订SPM（瑞文标准推理测验）时，既考虑了同时效度又考虑了预测效度。,同时效度例子：飞行员（观察系统和替代性测验）；机械能力测验等招工考试。 预测效度例子：MBA考试预测；TOEFL考试。,一个好的效标必须具备以下条件： （1）效标要有效（有效） （2）效标要有信度（可信） （3）效标可用数字或等级表示（操作） （4）效标测量简单、省时、经济。,（二）效标效度的评估方法 1、相关法：求测验与效标的相关。 2、区分法：比较测验与效标分数差异。 3、命中率法：测验与效标成绩比较。 总
11、命中率 正命中率,第三单元 效度的功能,一、预测误差（区间估计）：效度系数的平方叫决定系数，表示测验正确预测或解释的方差占总方差的比例。Sy为效标成绩的标准差。 真正效标分数落在预测效标分数1个S范围，有68%的可能性。,二、预测效标分数（点估计） y=a+bx b=rxy Sy/Sx,三、预测效率指数（E值） K表示无关系数，（1-K）可作为预测效率的指数。E=100 （1-K）E值大小表示使用测验比盲目预测能减少多少误差。,一、测验本身的因素 二、测验实施中的干扰因素 （一）主试的影响因素 （二）被试的影响因素 三、样本团体的性质 （一）样本团体的异质性 （三）干涉变量 四、效标的性质,第
12、四单元 影响效度的因素,一、测验本身的因素如词汇和句型不能过于太难，如低年级小学生，要用拼音和图形来注解。测验取材、测验长度、试题类型、难度、区分度及编排方式等都会影响效度。,做好以下几点,（1）测验材料对整体内容要有代表性； （2）避免引起误差的题型； （3）难度要适中； （4）测验长度恰当； （5）测验排列顺序。,二、测验实施中的干扰因素 （一）主试的影响因素 （二）被试的影响因素 三、样本团体的性质 （一）样本团体的异质性 （三）干涉变量 四、效标的性质（效标测量的信度、效标与测量成绩是否线性相关）,提高测量效度的方法,宗旨：控制随机误差，减小系统误差 1、精心编制量表，避免出现较大的系
13、统误差 2、妥善组织测验，控制随机误差 3、创设标准的应试情景，让每个被试都能发挥正常的水平 4、选好正确的效标，定好恰当的效标测量，正确使用有关公式。,练习与思考,1、如果某测验的效度系数是0.70，则在测验中无法作出正确预测的比例是（ ）。 （A）0.30 （B）0.51 （C）0.49 （D）0.70,2、一个测验所测量的与所要测量的心理特点之间符合的程度，指的就是测验的( )。(A)信度 (B)难度 (C)区分度 (D)效度,3、好的效标应具备的条件包括( )。(A)效标测量本身必须有效 (B)效标必须具有较高的信度(C)效标可以客观地加以测量 (D)效标测量的方法经济实用,4、一个测
14、验的内容效度主要与（ ）有关。 (A) 测验人数 （B）测验时间 (C) 测验长度 （D）测验题目,5、效度的用途主要包括( )。(A)预测误差 （B）预测效标分数(C)预测效率指数 （D）预测可信程度,6、一般来说，最佳行为测验（最高作为测验）往往表面效度要求较（ ） A、高 B、低 C、中等 D、无法确定,7、双向细目表有助于内容效度分析，布鲁姆的学习水平分类是双向细目表的重要组成部分，共分（ ）个层次 A、4个 B、5个 C、6个 D、7个,8、内容效度有时有称为（） A、逻辑效度 B、结构效度 C、实证效度 D、效标效度,9、提高测量效度的方法（ ） A、精心编制测验量表，避免出现较大
15、的系统误差 B、妥善组织测验，控制随机误差 C、创设标准的应试情境，让每个被试都能发挥正常水平 D、选好正确的效标，定好恰当的效标测量，正确地使用有关公式,10、下列（ ）属于结构效度的估计方法 A、测验内部寻找证据法 B、测验之间寻找证据法 C、考察测验的实证效度法 D、观察和实验法,11、要保证测验具有较高效度，测验本身的因素要做到（） （A）测验材料必须对整个内容具有代表性 （B）测验设计时应尽量避免容易引起误差的题型（如是非题） （C）测验难度要适中，具有较高的区分度 （D）测验长度要恰当，测题的排列应先易后难,12、（ ）是检验测验分数能否有效地区分由效标所定义的团体的一种方法。 （A）相关法 （B）区分法 （C）命中率法 （D）失误法,
