1、如何评判测试的质量,效 度 与 信 度,一、效度(Validity),定义： 效度，又称有效性，它是指一套测试所考的是否就是设计人想要考的内容，或者说，在多大程度上考了想要考的。（刘润清，韩宝成：2000） 效度指证据支持我们根据测试分数作出的推论的程度。（王振亚：2009） 效度就是考试达到其预期测试意图的程度。（邹申，杨任明：2000）,一、效度(Validity),分类 内容效度 结构效度 尺度关联效度 预测效度 共时效度 表面效度 反应效度 后效效度,内在效度,外在效度,使用效度,超考试效度,一、效度(Validity),内容效度 (content Validity) 指测试是否考了考
2、试大纲规定要考的，或者说考试的题目在多大程度上能代表它所要测量的目标。 内容效度研究关注测量工具内容上的代表性或所选内容样本的充分性。 如何检验内容效度： 测试的内容是否和测试目标有关 测试内容（试题）是否具有代表性 测试内容是否适合测试对象 如何保证测试内容的高效度： 命题前要根据考试大纲、教学内容和教学目标，制定考试内容细目表，再按照这个表去编制试题。 题目编制好后，要请有经验的老师或专家审阅。,一、效度(Validity),结构效度(construct validity) 结构效度指测试是否依有效的语言观（包括语言学习观和语言运用观）为依据。 这里的结构不是指试卷的结构或题目的编排，而是
3、指整个考试的理论基础。 结构效度是所有其它效度之本。结构效度决定了整个考试的性质，决定了考试属于哪一代体系。 一项测试的结构效度的高低是指考试的结果能在多大程度上解释人的语言能力及与语言能力有关的心理特征。,一、效度(Validity),尺度关联效度（criterion-related validity） 主要指本考试与某一个“独立并且相当可靠的学生能力测量工具”之间的关联程度。 共时效度（concurrent validity） 预测效度（predictive validity） 共同点 都是借用另一个考试来作为验证标准。即对用一个受试群进行两次考试。第一次考的是需要验证的考试，第二次考的是
4、借作验证标准的考试。然后计算两次考试结果分数的高低排列的相关系数，作为效度数据。,一、效度(Validity),不同点： 考试时间不同。验证共时效度，要求两次考试在受试群的目标能力还不可能产生变化的时间之内举行；验证预测效度，要求第二次考试在受试群的目标能力应该已经有所发展或变化之后举行。 对作为验证的试卷的要求不同。共时效度中使用的尺度也不一定是一份公认的试卷，比如教师对学生的排序也可以作为参照尺度。 考试目的不同。共时效度说明考试是否能判断受试者目标能力的当前现状；预测效度说明考试是否能预测受试者目标能力将来的发展。,一、效度(Validity),表面效度（face validity） 指
5、由非测试专家（教育机构的主管人员、未经测试理论与实践培训的教师和学生等）对某一测试的内容和形式适合于测试目标的程度的主观判断。,一、效度(Validity),反应效度（response validity） 指的是研究收集有关应试者答题策略和风格的数据来确定测试的合理性程度。 反应效度研究的是测试的过程，关注的是受试者做题的时候是否按试题设计的要求去作出反应。,一、效度(Validity),后效效度（backwash validity） 指的是考试对教学是不是有良好的后效效应，是否有利于改进教学。 后效效度让考试给教学带来一种良好的导向作用。,二、信度(Reliability),信度是评价测试质
6、量的另一个重要指标。信度指测试分数的稳定性、一致性和没有测量误差的程度。 有高信度的分数具有精确性，没有或很少有测量误差。测试在不同的测试环境下实施，其结果应具有可复制性。 信度通常以两次测试结果的相关系数来表示，这个相关系数称为信度系数（coefficient of reliability）。相关程度越高，信度也越高。,二、信度(Reliability),检验测试信度的方法： 考后复考法 用同一套试题，在考后较短时间内对同一组学生再考一次，然后将两次测试考生分数排序，计算其相关性，以验证考试的信度。 平行试题法 设计一套形式及内容与原题平行的试题，让同一组学生在连续时间内或极短时间内考这两套
7、试题，然后计算两次成绩高低排列的相关。 试题分半法 只进行一次测试，然后将试题的题号按奇偶数分为两半，计算两半所得分数的高低排列的相关性。,二、信度(Reliability),评分人信度（scorer or rater reliability) 指的是评分人影响测试分数稳定性的程度。 评分人内部信度 同一评分人给不同测试评分的标准能否始终保持一致 评分人之间信度 不同的评分人给相同的或不同的测试评分的标准能否保持一致 从某种意义上说，主观性测试的质量主要靠评分人来保证。,二、信度(Reliability),影响测试信度的因素 试题的量是否足够大。 题目是否属于同一性质。 题目的区分度是否高。 考试之间的差异性是否大。 题目难易度是否适中。 评分是否客观。,三、效度和信度之间的关系,相互依存，又相互排斥。信度差则效度差，但效度差不一定信度差。不能片面求其一，舍其二。应采用一种积极平衡的态度。,Backman的观点： 效度和信度是一个共同问题的两个互补的方面。 信度：考生的考试表现中有多少是由测量误差，或者说人们想测的语言能力之外的其它因素引起的；并且怎样最大限度地减少这些因素对考试的影响。 效度：考生的考试表现中有多大部分是由欲测的语言能力引起，并且怎样最大限度地加大这一因素对考试分数的影响。,
