1、1语言测试与性别研究综述以及对我国语言测试的建议请审稿结果出来后尽快通知 谢谢！中国教育学会外语教学专业委员会 陶百强摘 要：语言测试领域中的性别视角研究在国外研究成果颇多且广泛应用于语言测试实践，我国在此方面理论研究很少，在实践上，缺乏从性别这一社会语言学视角审视我国语言测试项目。本文试图对国外语言测试与性别研究进行较系统的综述，最后，提出了消除语言测试中的性别歧视现象的建议以及有待进一步研究的课题。关键词：语言测试；项目功能差异；测试偏颇性；性别歧视；性别平等Abstract: This paper reviews foreign and domestic sexism research
2、 and practice in language testing and reveals that China lags behind in this sociolinguistics perspective in both theoretical study and practice. Some tentative suggestions to fight sexism in language testing and further research topics for Chinese language testing scholars are suggested to conclude
3、 the paper.Key words: language testing, DIF, test bias, sexism, gender equity作者注：本论文摘要于 2007 年 11 月在北京外国语大学举办的 2007 年语言测试国际研讨会上进行宣读。1. 引言 语言与性别研究在 20 世纪中叶进入社会语言学领域系统研究时期，60年代晚期西方妇女解放运动推动了西方语言与性别歧视研究，如 20 世纪 70 年代出版了三部力作：Male/Female Language(Key, 1975), Language and Womens Place (Lakoff, 1975), Diffe
4、rence and Dominance (Thorne Thorne et al., 1983; Tannen, 1990) ，似乎一致认为女性在一般语言能力上比男性强(Maccoby Denno, 1982; Cole, 1997)，但是具体到某项语言技能上却并非如此，Hyde and Linn (1988, 引自Jie Lin Sunderland ,1995; Cole, 1997)。关于女生写作测试成绩高的原因，Murphy （引自Wood,1993:171-172)提到女生写作时字迹整洁有助得分，Morris (1998:219,引自Sunderland,2000)研究发现女生写作时
5、比男生更遵循题目要求。在听力方面，研究者（Boyle ，1987；Markham ，1988，引自Sunderland, 2000)发现男性外语学习者的单词辨认能力比女性强，然而，Bacon (1992 ，ibid) 的研究发现男女在真实听力测试任务中的表现不存在性别差异。男女在不同语言技能上的表现让语言测试设计者可通过调整测试中语言技能题所占权重来减少性别差异，如美国在1997年在高中毕业生参加的SAT预备考试（Preliminary Scholastic Assessment Test）中引入写作题，从而显著缩小了男女得分差异, 由4.5分缩小到2.7分（AAUW, 1998: 5）。3.
6、4 评分在重交际和重表达教学思想影响下发展起来的行为测试（performance test ），多由考官观察受试者完成任务的情况，采取整体评估方式，按照一个综合语言水平量表给应试者确定级别（韩宝成，2003）。Shohamy (1991)认为口试评估涉及诸多变量，如考官、考官和受试者的关系、个性、性别、话题等。Bull ibid),也许受试者的文化背景等其他社会文化因素导致了矛盾的研究结果，Porter 高考英语成绩、主干课程成绩和性别与CET4)绩存在相关性；肖德法、向平（2005）对2003年3月PETS口试成绩的性别差异进行了统计分析, 结果显示女性的成绩明显高于男性, 呈极其显著性差异
7、，但在分级别统计上, 在一级B和一级上达显著性水平, 在二至四级上未达显著性水平。6我国的语言测试（主要是英语测试）方面的专著未专列章节论述语言测试中的性别偏颇性，据笔者所知，仅李筱菊(1997：287)编著的语言测试科学与艺术提到“避免有偏颇性或太专门的内容”。但一些论文（刘庆思, 1993；周胜、傅继华，1994）提到了避免语言测试中的性别偏颇性。陶百强（2006b）在关于普通高中英语课程标准（实验）的建议一文中建议把性别平等作为贯穿教材编写、课堂教学、测试等领域里的一条原则写进基础英语教育课程标准，以体现教育民主和教育平等。4.2 消除语言测试中性别歧视的建议国外语言测试与性别研究应用在
8、语言测试领域，尽量消除语言测试的性别偏颇性，以保证测试效度和信度，Kunnan(2000:3)甚至提出了新概念平等建构效度（equal construct validity）以保证受试者语言测试成绩不受性别、民族/种族、专业背景、母语、文化等影响。结合国外的研究和实践，建议在考试大纲和命题指导细则制定、试题开发和设计、评分、考后分析等环节系统考虑以消除语言测试中的性别偏颇性。在考试规范的制定方面，世界著名测试机构制定了含性别视角的纲领性文件，如美国教育测试服务中心的 ETS Standards for Quality and Fairness (Educational Testing Serv
9、ice,2002), ETS Fairness Review Guidelines (Educational Testing Service,2003),ETS International Principles for Fairness Review of Assessment (2004)；英国雅思考试中心的 IELTS Handbook 2005, 国际语言测试协会（International Language Testing Association, ILTA）在 2000 年 3 月于加拿大召开的国际语言测试协会年会上通过 Code of Ethics for ILTA 以及国际语言测
10、试协会 2005 年 7 月 22 日于加拿大渥太华举行的语言测试研究研讨会上通过The Draft ILTA Code of Practice。我国在教育评估和语言测试总体规范制定方面欠缺，建议中国心理学会和外语教学学术机构联合研制适合我国国情的教育和语言测试指导纲领。在缺乏总体指导纲要的情况下，语言测试开发机构可在考试大纲或命题细则中纳入性别平等等体现公平性的条款，在高厉害关系测试中更应如此，以培养命题和审题专家和评分员等在进行专业作业时兼顾测试环节中可能出现的性别歧视或偏颇。在试题设计方面，应从题型、内容或话题及语言等方面考虑，且增加敏感和公平问题审题程序。在定量和定性研究题型对两性的影
11、响的基础上，在测试中平衡有利于男性的题型和有利于女性题型的权重。在内容上，从两性出现频次、性别角色（职业和家庭角色）、听力文本会话分析、试题内容或话题等角度考虑性别平等，避免出现性别刻板化内容，如在阅读理解测试部分应含男性和女性感兴趣的题材。在语言方面，从标记性问题、成对结构的词序、通称结构等方面避免在语言上体现性别歧视，如不用 man 等通称人类而改用 humans等。在审题方面，增加敏感和公平问题审题程序，受过系统培训的审题人负责审查试题在内容和语言等方面是否含敏感问题或有违公平，以保证测试平等公正地对待所有受试者，不论其性别、民族、种族、社会经济地位、宗教信仰等。如 TOEFL 有严格的
12、审查程序，以杜绝性别歧视等敏感问题，曾于 19841987 年期间供职于美国教育测试服务中心的 Bonny Norton Peirce 描述了TOEFL 试题开发中的审题程序（The review process），当时试题大约经过 6 位左右测试开发专家审查。首先，试题需经测试专家审题（Test Specialist Review, TSR）；然后，试题进入 TOEFL 协调专家（TOEFL coordinator）审题程序, 其7中两位专家负责审查文体问题，还有一位“敏感问题”审查专家（sensitivity reviewer）负责消除试题中任何潜在的如性别歧视等敏感问题（Peirce ，
13、1994 ：45-46 ）。Peirce 提到自己在审查一篇阅读理解语篇时把“Therefore many farmers are tenants and much of the land is owned by banks, insurance companies, or wealthy businessmen”中的 businessmen 换为了 business people（ibid: 47）。在评分方面，测试评阅机构邀请语言与性别研究领域的专家对评分员进行培训，且制定严格科学的评分标准，实行双人评分（double marking）。特别是在口语测试中，应避免考生语言能力以外的因素如性
14、别和外貌等干扰评分员信度。在考后分析方面，利用现代统计方法或软件进行性别 DIF 检测分析，常用工具有 Simultaneous Item Bias Test SIBTEST，只能对 0、1 计分测试题（dichotomously scored items）如选择题进行分析 、ConQuest 以及 Logistic 回归分析软件可对非 0、1 计分测试题（polytomously scored items）如写作题进行分析。目前的 DIF 检测工具几乎都需要测试后的大样本进行分析，所以在建立在试测小样本基础上的性别 DIF 模型尚未开发出来前，对测试进行考后分析的作用只是改进今后的测试，并将
15、性别 DIF 分析结果反馈给该测试的审题人将有利于审题人反思审题工作。5. 结语本文回顾了国外语言测试与性别研究，虽然国外语言测试界早在20世纪80年代就大量研究语言测试中受试者特征对语言测试的影响，但我国在语言测试与性别理论研究领域还较落后，或没有引起重视，语言测试Gender DIF方面的实证研究更少，望本文能起抛砖引玉之效，引起学者对语言测试领域中可能存在的性别偏颇性进行理论和实证研究，并从其他社会语言学角度审视我国的语言测试理论和实践，以保证我国很多高厉害关系语言测试的效度和对所有受试者的公平公正性。参考文献 1 AAUW. Gender Gaps: Where Schools Sti
16、ll Fail Our Children M. Washington, DC: American Association of University Women Educational Foundation, 1998.2 Albanese, M. A. The Projected Impact of the Correction for Guessing on Individual Scores. Journal of Educational Measurement, 1988，25(2):149-157.3 Angoff, W. H. Philosophical Issues of Cur
17、rent Interest to Measurement Theorists Z. Research Report 87-33, Princeton, NJ: Educational Testing Service, August 1987.4 Ansary H & E Babaii. Subliminal Sexism in Current ESL/EFL Textbooks J. Asian-EFL-Journal, March 2003.5 Bachman，L. F. Fundamental Considerations in Language Testing M. Oxford: Ox
18、ford University Press, 1990.6 Bolger, N., & Kellaghan, T. Method of Measurement and Gender Differences in 8Scholastic Achievement J. Journal of Educational Measurement, 1990，27（2）:165-174.7 Brantmeier, C. Does gender make a difference? Passage content and comprehension in second language reading J.
19、Reading in a Foreign Language, 2003, 15(1): 1-23.8 Brantmeier, C. Gender, violence-oriented passage content and second language reading comprehension J. The Reading Matrix, 2004, 4 (2):1-19.9 Brown,A., & McNamara, T. “The Devil is in the Detail”: Researching Gender Issues in Language Assessment J. T
20、ESOL Quarterly, 2004, 38 (3):524-538.10 Childs, R. A. Gender Bias and Fairness Z. Washington DC: ERIC Clearinghouse on Tests Measurement and Evaluation. American Institutes for Research. ERIC Identifier: ED328610，1990.11 Cole, N. S. The ETS gender study: how females and males perform in educational
21、setting Z. Princeton, NJ: Educational Testing Service, 1997.12 Diamond E. E. Minimizing sex bias in testing J. Measurement and Evaluation in Guidance, 1976（9）：28-34.13 Donlon, T. F. Content Factors in Sex Differences on Test Questions Z. Research Memorandum 73-28, Princeton, NJ: Educational Testing
22、Service, 1973.14 Dwyer, C. A. Test content and sex differences in reading J. The Reading Teacher, 1976 (29): 20-24.15 Eckes，T. Examining Rater Effects in TestDaF Writing and Speaking Performance Assessments: A Many-Facet Rasch Analysis J. Language Assessment Quarterly, 2005, 2(3), 197221.16 Educatio
23、nal Testing Service. ETS Standards for Quality and FairnessZ. Princeton, NJ: Author, 2002.17 Educational Testing Service. ETS Fairness Review GuidelinesZ. Princeton, NJ: Author, 2003.18 Educational Testing Service. ETS International Principles for Fairness Review of Assessment Z. Princeton, NJ: Auth
24、or, 2004.19 Eels, K., Havighurst, R.J., Herrick, V.E., & Tyler, R.W. Intelligence and cultural differences M. Chicago: University of Chicago Press，1951.20 Greatorex, J. & Bel, J. F. Does the gender of examiners influence their marking? Z Paper presented at the conference Learning Communities and Ass
25、essment Cultures: Connecting Research with Practice. Organised by the EARLI Special Interest Group on Assessment and Evaluation and the University of Northumbria, August 2002.21 Hyde, J. S., & Linn, M. C. Gender differences in verbal activity: A meta-analysis J. Psychological Bulletin, 1988 (104): 5
26、3-69. 22 Jie Lin & Fenglan Wu. Differential Performance by Gender in Foreign Language Testing Z. Chicago: Paper presented at the 2003 annual meeting of NCME in Chicago, 2003.23 Kunnan, A. J. Fairness and justice for all A. In A. J. Kunnan (ed.) Fairness and Validation in Language Assessment: Selecte
27、d Papers from 19th Language Testing Research Colloquium, Orlando, Florida C. Cambridge: Cambridge University 9Press, 2000：1-14.24 Linn, M. C., De Benedictis, T., Delucchi, K., Harris, A., & Stage, E. Gender Differences in National Assessment of Educational Progress Science Items: What Does “Dont Kno
28、w” Really Mean? J. Journal of Research in Science Teaching, 1987, 24(3): 267-278.25 Linn, M. C.& Hyde, J. S. Gender, mathematics, and science J. Educational Researcher, 1989,18 (8)：17-19, 22-27.26 Meighan, R. A Sociology of Educating M. Eastbourne, East Sussex: Holt, Rinehart and Winston Ltd., 1981.
29、27 OLoughlin，K. The impact of gender in oral proficiency testing J. Language Testing, 2002，19（2）：169-192.28 Peirce, B. N. The Test of English as a Foreign Language: Developing items for reading comprehension. In Hill, C & K. Parry (eds.) From Testing to Assessment: English as an International Langua
30、ge. New York: Longman. 1994: 39-60.29 Shohamy, E. The Hebrew Speaking Test: An Example of International Cooperation in Test Development and Validation J. AILA Review, 1991(7): 83-95.30 Stage, C. Equity Issues in Education and AssessmentDo Males and Females with Identical Test Scores Solve Test Items
31、 in the Same Way? Z. 23rd Annual Conference June 1997 Durban South Africa. International Association for Educational Assessment, 1997.31 Sunderland, J. Gender and Language Testing: Any Connection? Preliminary Explorations J. Language Testing Update, 1994 (16): 46-56.32 Sunderland, J. Gender and Lang
32、uage Testing J. Language Testing Update, 1995(17): 24-35. 33 Sunderland, J. State of the art review article: Gender, language and language education J. Language Teaching, 2000,33（4）:203-223. 34 Takala S., & Kaftandjieva, F. Test fairness: a DIF analysis of an L2 vocabulary test J. Language Testing,
33、2000, 17(3):323-340.35 The National Center for Fair & Open Testing. Gender Bias in College Admissions Tests 2006 Z. Cambridge, MA: National Center for Fair & Open Testing. Available: http:/www.fairtest.org/facts/genderbias.htm. March 7, 2006.36 Wood, R. Sex differences in answers to English language
34、 comprehension items J. Educational Studies, 1978.4(2): 157 165.37 Wood, R. Assessment and Testing: A Survey of Research M. Cambridge : Cambridge University Press, 1993.38 陈雨亭.我国中小学教科书中性别不平等的社会学分析J.当代教育科学, 2003(3):40-42.39 韩宝成. 语言测试的新进展：基于任务的语言测试J. 外语教学与研究, 2003, (5): 352-358.40 李筱菊. 语言测试科学与艺术M. 长沙：
35、湖南教育出版社，1997. 41 李祖祥.现行小学语文教材中的性别偏见J. 蒙自师范高等专科学校学报，2000, 2(3): 41-44.42 刘庆思.谈谈高考英语试卷中的阅读理解题J. 试题研究，1993（下半年，10总 382）：1-3.43 刘旭东、 田家莉和薛素萍 . 大学英语四级成绩多因素影响分析 J. 中北大学学报(社会科学版), 2005 (4).44 曲雯. 扫盲教材中职业角色的性别分析J. 教育与职业，2002(6)：16-18.45 史静寰.教材与教学：影响学生性别观念及行为的重要媒介J. 妇女研究论丛，2002（2）：32-36.46 陶百强. 我国高中英语教科书中的性别
36、歧视现象研究D. 重庆：西南大学学位论文,2006a.47 陶百强. 关于普通高中英语课程标准（实验）的建议J. 基础教育外语教学研究, 2006b, (3): 56-57.48 肖德法、向平.性别与 PETS 口试成绩研究J. 山东外语教学, 2005(1)：54-56.49 杨洁吕改莲.社会性别刻板印象的直接映射对小学语文教材人物的性别分析J. 陕西师范大学学报(哲学社会科学版), 2002, 31 (4)：109-115.50 袁凤识、肖德法.课堂表现性别差异与四级成绩的关系研究J. 外语与外语教学, 2003 (8):22-25.51 曾天山.论教材文化中的性别偏见J. 西北师大学报（社会科学版） ，1995b,32 (4):34-39.52 张彬、杜翠琴.性别与英语学习成绩间的关系研究J. 社科纵横, 2004,19 (1):127-128.53 张洁杨永林. 小学英语教材建设中的语言性别歧视现象研究J. 清华大学教育研究，2003, 24 (S1)：73-76.54 周胜、傅继华. 测试与紧张J. 外语教学与研究,1994（3）：43-46.55 朱韶晖.对小学藏语文教材图片中存在的性别问题的思考J. 青海民族研究，2003,14 (4)：90-92.
