1、测量学的4个“度”,测量学的4个度是指信度、效度、难度、区分度。 信度、效度是鉴别测验的整体测量学属性的指标。 难度、区分度是检验测验各项目的质量好坏的指标。,第四章 测量信度,第一节 信度的定义,一、什么是信度 信度指测量结果的稳定性、一致性程度。一个好的测量工具必须具备好的信度，也就是说它多次测量的结果应该相对的稳定、一致。 信度反映的是测量中随机误差的大小。随机误差小，则信度高；反之，则信度低。,1、信度系数可定义为一个被测团体的真分数方 差与观测分数方差之比。（理论定义）rxx = s2T / s2x (rxx为信度系数),观测分数方差,真分数方差,二、用统计术语谈信度,问题,一个能力
2、测验用于人才招聘，经检验它的信度为0.90 ，如何理解这个信度系数的含义？ 0.90的信度系数表明，在不同的招聘候选人之间进行比较，候选人测验分数的90%差别是由于个体之间真实的能力差异所导致的，而10%差别是由于随机误差所导致。,2、信度是一个被试团体的真分数与实得分数的相关系数的平方。（理论定义）rxx = p2tx (rxx为信度系数),观测分数方差,真分数方差,3、信度系数等于一个测验X与它的任意一个平 行测验X的相关系数（操作定义） rxx = rxx (rxx为信度系数) 采用不同的方式计算相关系数，就得到不同类型的信度系数。 信度值在01.00之间，当信度系数等于1.00时，表示
3、测验完全可靠；当信度系数等于0时，则表示测验根本不可靠。,第二节 信度的种类及其估计方法,采用不同的方法来计算相关系数，就会得到不同类型的信度指标：重测信度、复本信度、分半信度、同质性信度、评分者信度。 五种信度的含义和计算方法各异，我们在使用时要特别注意每一种信度的特定内涵和适用范围。,一、重测信度,重测信度(Test-retest Reliability)指的是用同一个量表对同一组被试施测两次所得结果的一致性程度，其大小等于同一组被试在两次测验上所得分数的皮尔逊积差相关系数。,相关系数,施测,再施测,时间间隔,重测信度的计算公式与使用前提,采用重测信度作为信度指标，必须满足以下前提： （1
4、）测验所测的特征必须是稳定的； （2）遗忘和练习的效果基本相互抵消； （3）在两次施测的间隔期内，被试所要测查的特征没有获得更多的学习和训练； （4）被试有条件接受两次相同的测验，取决于时间、经费等因素。,10名学生幸福感调查的两次施测分数,二、复本信度,复本信度(Alternate-form Reliability)指用两个平行测验测量同一批被试所得结果的一致性程度。其大小等于同一批被试在两个复本测验上所得分数的皮尔逊积差相关系数。,施测 型,施测 型,相关系数,连续施测或间隔施测,两种复本信度,等值性系数：如果两个平行测验连续施测，则这种复本信度为等值性系数。它反映的是两个平行测验的题目差
5、异所带来的变异情况。 稳定性与等值性系数：如果两个平行测验是间隔一段时间后施测，则这种复本信度为稳定性与等值性系数。它反映题目差异与时间间隔两方面所带来的变异情况，影响因素更多。一般而言，稳定性与等值性系数最为严格，它的值也最低。,采用复本信度的条件,要构造出2份或2份以上真正平行的测验。 被试有条件接受两次以上的测验。,复本信度的优缺点,优点： 1、减少了记忆效应和练习效应。 2、适用于追踪研究的多次测量。 3、减少了辅导的可能性。 缺点： 1、编制复本测验的难度较大。 2、被试要有接受两次以上测验的条件和意愿。,三、分半信度,分半信度(Split-half Reliability)指将一个
6、测验分成对等的两半后，所有被试在这两半上所得分数的一致性程度。 最常用的分半方法是奇、偶分半，即奇号题组成“半个测验”，偶号题组成另外的“半个测验” ，计算被试团体在这两个“半个测验”上得分的相关系数，经校正后得到分半信度系数。,分半信度的计算方法,1、当两个半测验分数的方差（S2a 和S2b）相等时，计算两个“半测验”之间的皮尔逊积差相关系数，然后用斯皮尔曼-布朗公式校正。为何要校正？rxx = 2rhh / (1+rhh) (斯皮尔曼-布朗公式)其中rxx是整个测验的分半信度，rhh是两个半测验之间的相关系数。,练习题,假设一个测验中，奇数项题目得分与偶数项题目得分的方差相等，它们之间的相
7、关系数是0.80,请问该测验的分半信度是多少？rxx = 2rhh / (1+rhh)= 20.80（1+ 0.80）=0.89,2、当两个半测验分数的方差（S2a 和S2b）不相等时，采用弗朗那根公式和卢仑公式。弗朗那根公式：rxx = 2 1-（ S2a + S2b ）/ S2x 卢仑公式: rxx = 1- S2d / S2x其中rxx是测验的分半信度， S2a 、 S2b表示被试在两半测验上得分的方差，S2x表示被试在整个测验上得分的方差， S2d表示被试在两半测验上得分之差的方差。,四、同质性信度,同质性信度（Homogeneity Reliability）指测验内部所有题目之间的一
8、致性程度。 与分半信度一样，同质性信度也是内部一致性系数。分半信度是求两半测验之间的一致性程度，而同质性信度是求所有题目之间的一致性程度。,同质性信度的计算方法1、库德-理查德逊信度系数（仅用于0、1记分的测验）,(KR20公式),(KR21公式，各项目难度相当),其中pi表示答对第i题的人数比例，qi为答错第i题的人数比例；为题目的平均通过率， 为题目的平均失败率。,某测验由10道选择题组成，施测于10名学生，所得结果如下表所示，SX2=3.0。计算该测验的信度。,答案,解：根据题目所给条件，采用KR20公式计算同质性信度。,2、克龙巴赫系数（可用于多重记分的测验）= k / ( k-1)
9、1- s2i / s2x 其中k是题目数， s2i表示所有被试在第i题上 得分的方差， s2x是被试测验总分的方差。,五、评分者信度,评分者信度（Scorer Reliability）指的是多个评分者给同一批被试作答情况进行评分的一致性程度。它主要用于主观性作品的评价过程中，如论述题评分、作文题评分、歌唱比赛的评分、设计作品的评分等。,如有A、B、C三位专家给6位应聘者的面试评分，结果如下，试求评分者信度。,评分者信度的计算方法,1、当评分者人数为2时，评分者信度等于两者 评分的相关系数（积差相关或等级相关）。 2、当评分者人数大于2时，评分者信度采用肯 德尔和谐系数计算。W = 12 R2i
10、 (Ri)2 / N / K2 ( N3N )其中K是评分者人数，N是被评的对象数，Ri 是第i个被评对象的被评等级之和。,测试次数和测试卷份数与信度系数估计方法,总结与比较：五种信度,重测信度稳定性系数。 复本信度（连续测验）等值性系数；（间隔测验）稳定性与等值性系数； 分半信度内部一致性系数； 同质性信度内部一致性系数； 评分者信度评分者之间的一致性。,第三节 影响信度的因素与提高方法,一、影响测量信度的主要因素 （一）测量工具的可能影响 1、题目样本的选择不当题目样本不具代表性（偏题怪题），题目涵盖面过于狭窄等。 2、题目含义及表达的模棱两可题目含义不明确，语言表达模棱两可，会造成被试的
11、理解歧义，从而难以测查到被试的真实情况。,3、要求的步骤不明确 指导语对于答题要求或步骤的指示不明确，使被试按照各自的理解作答，增加随机误差。 4、题目难度过大或过小 难度通过影响被试的分数分布从而间接影响测验信度。难度过大或过小分数分布窄信度低，难度适中分数分布范围宽信度高。同时，太难的题目也增加被试猜测的机率，从而制造出随机误差。,5、测验长度偏短 测验长度偏短，难以全面考察被试的心理特质，增加回答问题的随机性，从而降低信度。 6、特殊题型中靠猜测答题的可能性较大猜测性将增加测验得分的随机性，从而降低测验信度。,（二）施测过程的可能影响,1、没有严格按照标准化程序施测 2、测量的准备工作不充分 3、故意制造紧张气氛 4、给予特别协助 5、测量时间把握不恰当 6、评分不客观,（三）被试方面的可能影响,1、动机作用 2、测验经验 3、测验焦虑 4、生理变因（身心健康、疲劳等） 5、被试团体的异质性程度,
