1、市区测验数据分析成果之一英语测验分数双峰分布成因诊断研究报告中国教研网教研管理评价研究部北京京外维佳信息技术有限公司2013 年 9 月目 录一、问题的提出 3二、研究学科成绩分布形态对测验的重要意义 3三、九年级三个学年分数分布状态的描述和分析 31、分数分布状态描述和分析的方法 32、九年级三个学年的“正态分布检验图” 33、九年级分数分布状态变化的分析 4四、八年级包含试题小分数据的详细分析 61、与七年级“正态分布检验图”的对比 62、试题难度分布梯度的分析方法 63、从试题难度指数分布图分析异常试题的影响 84、淘汰或改进异常试题可以显著提高测验信度 .105、学生应答倾向异常与双峰
2、分布成因的研究 .11五、结束语 .12一、问题的提出从市区的多次质量监测的数据分析可以看出，英语学科测验分数频率分布较多地呈现出异常的“双峰分布”的形态，详细探究这种异常形态产生的原因，分析其带来的不利影响，制定改进测验命题和教学活动的措施，无疑是十分必要的。报告以详实的数据、科学的方法、不同的角度做出分析结果。报告深入每个试题，甚至到学校、班级，对基层学生的应答状况进行分析，为测验命题和教学过程的精细化评价提供了丰富的范例。报告可供本区教育局领导、教研员和教学干部参考。根据对用户数据进行保密的严格要求，真实的学校名称全部被隐去，换成 101 中学160 中学等。二、研究学科成绩分布形态对测
3、验的重要意义研究证实自然人群中个体智力分布特征，为处于中等智力附近的个体数量较多，并在分布图上呈现一高峰，由中间向两端数量逐渐减少，形成类似钟形的分布曲线，它符合统计学上的“正态分布” 。学生学习成绩的分布通常也呈正态分布。当测验成绩分布接近正态分布时，测量效果符合自然分布规律，因此认为测验比较成功，试题质量较好。研究学生总体成绩分布可以对测验质量进行定性的评价：（1）正态分布。说明测试结果与学生的实际情况一致，各种难度的试题比例合理。可以最大限度地把成绩不同程度的学生区别开，有利于甄别和选拔性的测验。（2）正偏态分布。说明试题难度偏高，难度较大的试题比例偏大。呈这种分布的试题有利于将成绩优秀
4、的学生和中等程度的学生区别开，但不利于将中下等程度的学生和成绩较差的学生区别开，一般适用于高考、竞赛等甄别和选拔性的测验。（3）负偏态分布。说明试题难度偏低，难度较低的试题比例偏大。呈这种分布的试题有利于将成绩较差的学生和中等程度的学生区别开，但不利于将中上等程度的学生和成绩优秀的学生区别开，适用于选拔性的测验。（4）双峰型分布。如果从试题命题的角度进行分析，说明对于该批考生总体而言，试题可能存在两极分化现象，即难度偏高的和难度偏低的试题较多，而中等难度的试题偏少，试题难度的分布缺乏梯度，不够合理。呈双峰分布的试题可以区别中等程度的学生，但不利于区别出成绩优秀的学生和成绩较差的学生。测验结果呈
5、双峰分布形态时，对于该批考生而言，测验的信度不高。如果从考生的状况进行分析，双峰分布的样本可能混合了来自具有两个明显差异层次的学生团体，需要根据本地区的实际情况进行分析判定。（5）平峰分布（矩形分布） ，而且标准差较大。反映了易、中、难三类试题的比例接近或说明学生水平之间的差异较大，呈这种分布的试题区别不同程度的学生的能力都很差，测验呈平峰分布形态时，对于该批考生而言，测验的信度不高。通常的单元、期中、期末和毕业测验等都属于合格水平测验，目的是考核学生是否达到预定的教学目标和要求。并不一定要求学生的分数呈现正态分布，反而希望学生成绩的分布能呈现负偏态分布。从学校教育目的的角度来看，合格水平测验
6、是更具有普遍意义、更重要的学校测验。因此，学生测验成绩呈现负偏态分布时，说明教学恰恰是成功的教学，也说明了测验具有较高的信度。三、九年级三个学年分数分布状态的描述和分析1、分数分布状态描述和分析的方法对一个测验分数分布的状态的描述和分析，可采用“偏度、峰度检验”和“频率分布正态检验比较”的方法进行。偏度系数 SK 可以定量地描述一组数据分布曲线的偏斜程度，是反映试卷整体难度的定量指标之一。偏度系数： SK 0 正偏态分布，SK = 0 对称分布，SK 0 高狭峰分布，KU = 0 正态峰分布，KU 0 正偏态 峰度：-1.370，转为正偏态。D、频率分布曲线基本都呈双峰分布，第 1 学年，略显
7、负偏态的双峰分布；第 2 学年，近似为平峰分布；第 3 学年，显著的双峰分布。而且双峰的程度越来越显著，尤其以第 3 学年为甚。在上述问题中，A、B、C 可以理解为正常的结果：随着教学目标深入，合理地控制了试卷总体难度，中、低分数段学生因此随之滑坡等。但上述问题之 D 则有必要进行详细的分析。（1）如果从试题命题角度进行分析，试题是否存在两极分化现象，即试题难度偏高和难度偏低的试题较多，而中等难度的试题偏少？试题难度的分布梯度是否不够合理？由于没有细化的试题分析数据支持作为证据，暂时还不能先行判定。（2）如果从考生状况进行分析，双峰分布的样本也可能混合了来自具有两个明显差异层次的学生团体，现根
8、据本地区的实际情况进行分析。在 2010 级九年级 2011 年 08 月 25 日测验和 2013 年 01 月 27 日测验数据中，我们选取了“全区” 、 “第 1 类校、第 2 类校、乡镇学校、民办学校”和水平较高的“101 中、102 中” 。 学业质量监测与评价系统 QMAS中设计的模块，可以任意选择若干学校（或班级）画出一张频率分布比较图。A、2010 级九年级第 1 学年中，2011 年 08 月 25 日测验英语常用指标与分数段表单位 人数 平均分 标准差 变异系数 标准分 100分 90-99分 80-89分 70-79分 60-69分 50-59分 40-49分 30-39
9、分 20-29分 10-19分 0-9 分全区 9337 62.99 24.11 38.27 30 1571 1510 1163 1074 934 948 1000 934 161 12第 1 类校 3097 68.43 23.52 34.37 0.25 16 695 613 450 323 252 225 234 243 44 2第 2 类校 1438 58.58 23.69 40.44 -0.16 0 159 204 175 174 175 173 161 176 38 3乡镇学校 3833 56.39 22.16 39.3 -0.25 2 271 513 453 511 473 516
10、570 452 67 5民办学校 969 78.26 23.03 29.43 0.77 12 446 180 85 66 34 34 35 63 12 2101 中 906 73.66 21.76 29.54 0.47 5 263 209 141 80 54 48 50 51 5 0102 中 827 70.82 22.05 31.13 0.34 8 183 186 130 99 63 46 53 50 9 0表中红色粗体标注的是处于低峰值处的人数。B、2010 级九年级第 3 学年，2013 年 01 月 27 日测验英语常用指标与分数段表单位 人数 平均分 标准差 变异系数 标准分 100
11、分 90-99分 80-89分 70-79分 60-69分 50-59分 40-49分 30-39分 20-29分 10-19分 0-9 分全区 9826 55.14 25.06 45.45 7 911 1421 1161 998 884 1004 1244 1669 517 10第 1 类校 3308 60.14 25.48 42.37 0.23 3 445 608 426 344 261 279 328 465 149 0第 2 类校 1518 51.31 23.97 46.72 -0.12 1 87 184 169 146 141 185 223 301 81 0乡镇学校 4071 49
12、.33 22.61 45.85 -0.2 0 120 428 440 449 445 492 642 808 239 8民办学校 929 69.03 26.43 38.29 0.62 3 259 201 126 59 37 48 51 95 48 2宜二中 966 65.38 24.17 36.96 0.42 1 155 223 137 112 71 72 71 91 33 0宜八中 904 63.32 24 37.91 0.34 1 122 179 143 104 84 71 73 93 34 0C、2010 级九年级第 1 学年中，2011 年 08 月 25 日测验英语分数频率分布比较图
13、D、2010 级九年级第 3 学年中，2013 年 01 月 27 日测验英语分数频率分布比较图2010 级九年级 2011 年 08 月 25 日和 2013 年 01 月 27 日测验两次分数频率分布的比较：A、从表中以及图中都可以看出，红色全区、黄色第 1 类校、绿色第 2 类、深红乡镇学校、紫色民办学校，第三学年双峰分布的程度越来越显著；其中，第 2 类和乡镇学校的滑坡略大。B、全区水平较高的绿色 101 中学、橙色 102 中学，相对稳定，第 1 次考试基本呈负偏态，第 3 次也只在 20-29 分分数段出现了一个很小的峰值。点评：2013 年 01 月 27 日测验显著双峰分布的产
14、生，显然不能排除总体中包括了来自不同层次学生团体，而且的确存在低分数段滑坡的状况；但是，基于上述 B 点的思考，也可以说，对于全区考生总体而言，试题还是存在一定的两极分化现象，即难度偏高的和难度偏低的试题偏多，而中等难度的试题疑似偏少，试题难度的分布缺乏合理的梯度。因此，改进命题工作，并探究可能影响难度分布的其他因素，努力提高测验的信度，是完全必要的。四、八年级包含试题小分数据的详细分析1、与七年级 “正态分布检验图 ”的对比 （1）2012 级七年级第 1 学年，2013 年 06 月测验低分数段尾部略大的“负偏态分布” 测验人数：10114 平均分：57.56 标准差：23.27 变异系数
15、：40.26 偏度：-0.390.60把 2012 级八年级 2013 年 06 月测验的试题指标汇总表的数据代入公式，计算出：难度分布率 P ( x ) = 0.33 ，约折合 73 分，评价等级仅仅为“及格” 。说明试题难易程度分布不尽合理，有需要改进的空间。3、从试题难度指数分布图分析异常试题的影响在试题难度指数分布图中，以考生学科考试得分为横坐标，相应人群的得分率为纵座标，可得到难度分布曲线（红色） 。图中绿色直线表示所有试题得分率的平均值，可以作为难度分布分析的参考基准线。试题难度指数分布图对试题命题以及学生应答状况具有很好的分析与诊断作用。学业质量监测与评价系统 QMAS中设计的试
16、题难度指数分布图模块，可以十分方便地做出分析图形。从区分度较低试题的难度指数分布图中，分析学生应答状况，需找那些导致双峰分布产生低峰（本区主要为 2035 分数段）的异常试题，将对双峰分布的成因做出有力地佐证。例如 T60 题，在学科考试 65 得分值以下低于参考基准线，在 65 得分值以上高于参考基准线；整个曲线斜率稳定平滑，说明该题对全体学生都具有良好的区分能力。在 5080 处分数段曲线斜率最大，对该段学生的区分能力最强。例如区分度为负值的 T43 题，难度：0.206，区分度： -0.177。高分数段学生的得分率反而低于低分数段，对所有的学生都没有区分能力。在 2535 分数段出现异常
17、的高得分率；该题区分度为负值，属于必须淘汰的试题。例如 T14 题，难度：0.190，区分度：0.024。该题只对 85100 分数段的学生有正常的区分能力；对 2580 分数段的学生不具备正常的区分能力；在 2535 分数段出现异常的高得分率；该题区分度 0.19，属于“劣，必须淘汰或改进以提高区分度”的的试题。例如 T20 题，难度：0.345，区分度：0.040。该题只对 80100 分数段的学生有正常的区分能力；对 3080 分数段的学生不具备正常的区分能力；在 2540 分数段出现异常的高得分率；该题区分度 0.19，属于“劣，必须淘汰或改进以提高区分度”的的试题。例如 T15 题，
18、难度：0.318，区分度：0.060。该题只对 80100 分数段的学生有正常的区分能力；对 2580 分数段的学生不具备正常的区分能力；在 2535 分数段出现异常的高得分率；该题区分度 0.19，属于“劣，必须淘汰或改进以提高区分度”的的试题。例如 T18 题，难度：0.307，区分度：0.287。该题只对 65100 分数段的学生有正常的区分能力；对 3065 分数段的学生不具备正常的区分能力；在 2535 分数段出现异常的高得分率；该题区分度在 0.2 0.29 区间，属于“尚可，用时需作改进”的试题。点评：区分度异常的 T43、T14、T20、T15 、T21 等 5 个题，以及区分
19、度较低的 T50、T18 等 2 题都在在 2535 分数段出现异常的高得分率，无疑是双峰分布形成的重要因素之一。4、淘汰或改进异常试题可以显著提高测验信度 测验的信度则是指测验结果的可靠程度，是考试分析最重要的指标。教育考试中信度是指不同次实施的相同或等值考试产生的一致性。但实际操作中，很难取得“复本信度”和“再测信度 ”的数值，多数以单一考试测试结果估计其信度，即直接分析出考试的分半信度，或估计若干试题的内在一致性信度（同质性信度） 。淘汰或改进那些因区分度低、导致产生双峰分布的异常试题，可以显著提高测验信度，也可以消除导致双峰分布产生低峰的因素。学业质量监测与评价系统 QMAS中设计的模
20、块可以十分方便地进行内在一致性信度信度的计算。例如：我们可以选取若干试题，估计它们的内在一致性信度，并可以从量表中删除某道试题后，研究信度变化，来测试该题与其他试题的相关的程度，甚至可能诊断出某试题存在的问题。在 2013 年 06 月测验试卷中，选择第 1,45 题（选择题，满分值均为 1 分） ，估计内在一致性信度的计算值为：0.9169 和0.9057。当我们有意识地剔除区分度异常的 T43、T14、T20、T15 、T21 等 5 个题，改换第 6165 题（保持试题数量不变，且同是选择题，满分值均为 1 分）之后，内在一致性信度的计算值迅速升为：0.9405 和 0.9304。点评：
21、试验充分说明，采用淘汰或改进异常试题的方法，可以显著提高测验信度。5、学生应答倾向异常与双峰分布成因的研究 根据研究，英语学科双峰分布现象所显示的意义至少有下面两点：首先，对於学习得法的学生而言，英语是极简单的科目；对於学习不能掌握要领的学生，英语则是极困难的科目。其次，英语测验的特性（绝大多数题型是四选一的选择题） ，所以双峰成绩分布当中，低峰的那一组的许多学生（得分约 20 至35 分）基本上是放弃英语学习、主要靠猜测答案得到的分数。根据多位老师的经验反映，像这样放弃英语学习的学生，大约佔全体学生三分之一强，个别学校甚至超过二分之一。对此，需要深入学校和班级的测验数据，对这样的经验进行验证
22、。在 2012 级八年级 2013 年 06 月测验数据中，选取 2030 分数段占本校人数百分比最多的 5 个学校，即低峰水平最显著的 121 中学、122 中学、123 中学、124 中学、125 中学，如下表所示。每个学校随机抽取 2 个班的学生，抽样样本共计 414 名学生，用“SP 表分析”方法对学生的应答倾向进行了详细的分析。单位 人数 平均分 90-99 分 80-89 分 70-79 分 60-69 分 50-59 分 40-49 分 30-39 分 20-29 分 10-19 分 0-9 分121 中学 235 42.03 0.43 2.98 5.96 6.81 11.06
23、10.64 20.43 28.94 8.09 4.68 122 中学 221 38.46 0.90 3.17 7.24 9.95 7.69 14.93 17.65 27.60 8.60 2.26 123 中学 109 43.05 1.83 5.50 10.09 9.17 11.01 11.93 18.35 27.52 4.59 0.00 124 中学 224 53.46 0.00 4.02 9.82 8.48 10.27 18.75 18.30 24.55 5.80 0.00 125 中学 194 30.10 0.00 5.15 12.37 10.31 11.86 13.92 12.37 24
24、.23 9.28 0.52 “SP 表分析”是一种教学过程精细化管理与评价的工具，它将测试、练习的试题得分数据排成一览表，并对学生和问题的特性以视觉化的图表进行结构分析。其目的在于获得学生的学习诊断信息，并用图形化的分析结果将对学生 S 和问题 P 的特性（即学习反应信息）反映出来。S-P 表分析与诊断模块除了对团体试题应答倾向的分析之外，还能对每个学生的试题应答倾向作出分析与诊断。S-P 表的评价功能包括：（1）衡量学生总体的学习倾向，评价学生群体学习的总水平，判断学习有无两极分化，了解学生的优势部分和劣势部分等。（2）分析学生个体的试题应答倾向，学习情况如学习中的漏洞及异常，学生在集体中所
25、处的位置等。（2）评价所出题目的难度、区分度，试卷的稳定性及信度和效度。（4）从曲线的总体分析，可对教学过程中存在的问题加深认识，有利于改进教学工作。学业质量监测与评价系统 QMAS中设计的模块可以十分方便地进行 SP 表分析。试题应答倾向异常学生最多的 123 中学 4 班“SP 表分析”如图所示：备注：在 S P 表中， “注意系数”0.5，即“应答稳定性需提高”或“随意答卷、成绩很不稳定”的，可以判定为应答倾向异常。123 中学 4 班，共计 29 名学生，65 个选择题中，正答数小于 26，即正答率小于 0.4 的学生有 15 名，占 51.72%；应答倾向异常学生多达 19 名，占
26、65.52%。用“SP 表分析”方法分析的结果如下表所示：学校名称 抽样人数 应答倾向异常的学生 百分比121 中学 80 33 41.25 %122 中学 91 35 38.46 %123 中学 61 22 36.07 %124 中学 86 31 36.05 %125 中学 96 33 34.38 %合计 414 154 37.20 %点评：在 2030 分数段占本校人数百分比最多的 5 个学校中，抽样样本共计 414 名学生，用“SP 表分析”方法对学生的应答倾向进行的分析可以表明：在一些学校的低分数组中，基本放弃英语学习、主要猜测答案得分的学生，大约超过了全体学生的三分之一。在英语测验中
27、，学生应答倾向出现的问题无疑是双峰分布形成的重要原因。五、结束语市区英语测验分数双峰分布成因诊断研究的成果，可以总结出八个要点：（1）呈双峰分布形态的测验信度不高，不利于区别成绩优秀的学生和成绩较差的学生。（2）总体中来自不同水平层次的学生群体叠加的结果，造成了我区学生英语成绩双峰分布的形态；（3）随着义务教育教学过程的进展和试题难度的加大，学生两极分化现象会使双峰分布逐渐显著；（4）对于本区考生而言，试题存在一定的两极分化现象，即中等难度的试题疑似偏少，试题难度梯度尚有改进的空间；（5）试题难度梯度的状况可以通过定性分析、定量分析的方法取得，对改进学科命题质量具有积极的作用；（6）从难度指数
28、分布图中，分析学生应答状况，找到那些区分度异常的试题，对双峰分布的成因做出了直观、有力的佐证；（7）淘汰或改进那些区分度异常的试题，提高测验信度，可以消除产生双峰分布的部分因素。（8）学生应答倾向出现的问题，即“放弃英语学习的低分水平学生主要靠猜测答案得分” ，也是双峰分布的重要成因。参考文献1 王汉澜主编：教育测量学 河南大学出版社 1987 年版2 王孝玲编著：教育测量 华东师范大学出版社 1989 年版 3 刘新平 刘存侠编著：教育统计与测评导论科学出版社 2003 年版4 徐明欣 高斌 李瑞年 鞠传进：试卷质量综合评价方法的应用研究青岛大学学报 2002 年 6 月5 温州教育网：难度与区分度、信度、效度 6 董迎春 徐国志 董振宁：关于测验成绩正态分布与偏态分布的思考 7 周中天：英語科成绩兩极化的省思 国立台湾师范大学翻译研究所
