1、2012 年 9 月第 33 卷 第 5 期外语教学Foreign Language EducationSept 2012Vol33 No5学习者语用能力评估研究姜占好1， 2， 周保国2( 1 西安外国语大学 英文学院 陕西 西安 710128; 2 武汉大学 外国语言文学博士后流动站 湖北 武汉 430072)摘 要 : 本文在回顾近 30 年来相关文献的基础上 ， 从历史回顾 、评估内容 、研究局限和未来发展的层面探究了国内外对学习者语用能力评估后发现 : 大部分语用评估缺乏对问卷构念效度的理论阐释及统计学意义上的说明 ， 对学习者语用能力评估内容单一 。由此 ， 文章提出未来语用能力评
2、估研究的方向 : 扩大语用评估问卷的涵盖面 ， 提高语用评估的构念效度 ， 增强语用评估的可操作性 。关键词 : 语用能力 ; 语用评估 ; 数据收集方法中图分类号 : H030 文献标识码 : A 文章编号 : 1000-5544( 2012) 05-0045-04Abstract: On the basis of literature review， this article has made a probe into the assessment of learnerspragmatic compe-tence both at home and abroad in terms of re
3、search focus， research limitation and research orientation in the future It con-cludes that few researchers mentioned validity and validation( whether theoretic explanation or statistic analyses) before con-ducting various questionnaire surveys while most researchers focus on one aspect of learnersp
4、ragmatic competence in theirsurvey Accordingly， some suggestions are advanced to enrich the content of pragmatic assessment， to enhance construct valid-ity and to improve assessment practicality in the futureKey words: pragmatic competence; pragmatic competence assessment; data elicitation approache
5、s1 引言语言学习的理想目标是提高交际能力 ， 正确得体地表达自己 ， 明白无误地理解对方 。语用能力作为交际能力的一部分 ( Bachman 1990; 张辉 1994; 董晓红 1994; Celce-Murcia et al 1995; Bachman Palmer 1996; 殷银芳 、苗新伟 2008) ， 是学习者在特定文化中根据社交语言规则适用的得体性来理解和表达话语的能力 。它可分为语用语言能力和社会语用能力 。前者体现于学习者运用语言本身知识和语言功能知识的能力 ， 后者则体现在学习者运用语言使用范围方面知识的能力 。近年来如何就上述语用能力进行评估的研究日益增多 ( 详见
6、Rose Kasper 2001;Kasper Rose 2002; 刘建达 2006b) 。本文在回顾近 30 年来语用能力评估研究的基础上 ， 拟从历史回顾 、评估内容 、研究局限和未来发展的层面探讨这一话题 。2 历史回顾21 国外学习者语用能力评估回顾早在 1979 年 ， Oller 提出语用水平测试 ( pragmatic pro-ficiency test) 的概念 ， 强调测试中语言的自然性 ， 即把具体的语言使用环境融入语言测试之中 ， 使构成测试的语言源于生活 ， 富有意义 。但是这种观点没有充分考虑到测试环境和测试本身就是不自然的事实 ( 刘建达 2006a) 。1980
7、年 ， Farhady 设计出多项选择的题型测试来自不同国家学生对具体情景里言语行为 ( 如请求 、建议 、争执等 ) 的表达能力 。每个情景的四个选择项分别为 : 语用适当和语言准确的选项 ( 答案 ) 、语用适当但语言不准确的选项 、语用不适当但语言准确的选项 、以及语用不适当和语言不准确的选项 。虽然结果显示他设计的试卷有较高的信度和效度 ，不同性别 、专业 、国籍 、以及母语的学生在这种考试中有明显的差异 ， 但测试的语境仅限于学术环境 ， 言语行为的变量因素只涉及到了交际双方的社会关系和各自社会地位 。遵循 Farhady 的模式 ， Shimazu( 1989) 以 “请求 ”言语
8、行为能力为测试目标 ， 设计出 “美国英语语用能力 ”测试模式 ，发现试卷的整合效度为中等水平 。20 世纪 90 年代以来 ， 国外对语用能力评估方法研究逐渐增多 ( Hudson et al 1992 1995 2001; Yamashita 1996;Yoshitake-Strain 1997) ， 其中以 Hudson 等人的研究较为系统 。他们的语用能力评估方法概括起来有三大类 ( 详见Kasper Rose 2002: 132; Kasper Roever 2005: 325-330;姜占好 2009) : 口语语篇数据收集法 spoken discourse( 包括真实语篇 au
9、thentic discourse 、话语引出 elicitedconversation 和角色扮演 role plays) 、自我报告问卷数据收集法 self-reported questionnaire( 包括篇章完型法 dis-course completion test 、等级量表法 scaled-response 和多项选择法 multiple choice) 以及自我汇报法 self report( 包括叙事型自我报告 narrative self-report 、口头话语原型 verbal protocol， 日记 diary) 。54上述方法因不同的研究目的和不同的研究场合为不
10、同的研究人员所选用 ， 如学习者语用发展和课堂语用知识学习的研究 。其中自我报告问卷数据收集法因其在短时间内能收集到大量具有针对性的数据而受到研究者的偏爱 。但总的看来三大类方法没有超出定性和定量方法的范围 。进入 21 世纪后 ， 国外这方面的研究以 Roever( 2004，2006， 2007) 较为著名 。他指出语用知识评估是一个新兴的但非常复杂的领域 ， 特别指出过渡语语用测试设计中的两大挑战 : 试题设计难度和测试可操作性 ， 提出了影响语用测试题设计的因素 ( 如多项选择题干扰项的选择 、完型填充题中语境的描述等 ) ， 提供了提高语用语言知识测试可操作性的方法 基于网络的语用语
11、言知识评估模式 。这种模式旨在评估学习者语用语言能力 ， 所使用的问卷包含三部分 : 1) 测试学习者理解英语会话含义 ( implicature-I) 的能力 ( 选择填空 ) ; 2) 测试学习者理解英语习惯用语( routine-R) 的能力 ( 选择填空 ) ; 3) 测试学习者有关英语言语行为 ( speech act-SA) 的能力 ( 话语填充 ) 。Roever 用定量和定性研究方法从多个层面对他设计的试卷的信度和效度进行验证 ， 结果显示他设计的试卷有较好的信度( 89) 和构念效度 ( 探索性因子分析发现问卷三部分间相关系数最高达 69， 最低达 32) ( 2006: 2
12、43-4) 。但他的研究忽略了最能体现学习者语用能力的社会语用能力 ( so-ciopragmatic competence) 。22 国内学习者语用能力评估回顾在我国 ， 近 30 年来语用能力评估研究涉及到的方法有书面选择题型 、书面篇章完型和判断正误 ( 何自然 、阎庄 1986; 洪岗 1991; 谌莉文 2005; 陈治安 ， 袁渊泉 2006;赵菲菲 2006) 。何自然教授及其同仁于 1985 年使用调查问卷 ( 多项选择题 ) 对参加广外 “英语语言学和应用语言学讲习班 ”的 79 位青年教师进行了语用评估 ， 发现青年教师总体语用能力低下 。洪岗教授 ( 1991) 使用调查
13、问卷调查了英语专业两个不同年级语用能力情况 ， 发现被试的语用能力和语言能力不存在正相关 。后来 ， 张晓霞 ( 1998) 使用相同的问卷测试了公外学生的语用能力状况 ， 得到了与洪岗教授同样的研究结果 。甘文平 ( 2001) 以选择题的形式 ， 调查了大中学生及大学英语教师对语用学基础知识的掌握情况 。调查发现 ，总的来说我国大学师生的语用能力较差 ， 且老师几乎跟学生一样差 。由是作者结合大中学生的英语教材 ， 大学英语教师受教育的背景以及我国学者了解与研究语用学的现状等方面分析出上述结果的原因 。但是 ， 仅仅通过 10 道选择题就能判断出被试的语用能力状况吗 ? 而且 ， 仅涉及到
14、问候 、致谢 、征询意见 、道歉及告别言语行为的 10 题构成的问卷的构念效度如何 ， 作者并没有进行前测和告知 。2002 年 ， 李悦娥 、范宏雅出版了 话语分析 一书 。该书专辟一章 ， 探讨言语行为 。他们以问卷调查了中国学生“接受或拒绝请求或帮助 ”的话语使用情况 ， 对学生的接受及谢绝的过渡语语用现象进行了分析 ， 认为被试的语用能力偏低 ， 并对造成语用失误的原因进行了探讨 。他们还以问卷调查了中国学生用英语会话时的回应策略使用情况 ， 发现他们中存在着 : 语言层回应失误 、语用层回应失误和心理层回应失误 。但是 ， 对于问卷的效度和信度情况 ，作者依然没有明确提及 ， 只是间
15、接地说 : “问题的编写主要基于 CSC 电脑家庭教师 中的 英语交际情景 ， 笔者根据研究目的 ， 经过选择 、改动 、增加情景介绍的同时 ， 还虚心请教了外教及专家 ， 以便选择更加客观公证 ”( 2002:66) 。所以 ， 对于这两套问卷及其构成是否都测试了同一个构念 ， 缺乏统计学意义上的说明和实证 。刘建达教授对语用能力评估进行了系列探索 ( 2005，2006， 2007) ， 在理论层面上提出我国外语学习者语用能力评估的可行性 ， 从实践层面上探索了书面话语填充( WDCT) 、选择性话语填充 ( MDCT) 和自我评估 ( DSAT)测试我国英语学习者语用能力的方法 。对三种
16、方法的信度和效度进行了实证研究 ， 发现三种方法都具有 “可接受的信度 ”( 2006b: 261) ( WDCT、MDCT 和 DSAT 都达到了 88) 和较好的效度 ( 因子分析表明三种方法在因子 1 语用能力 上的负载率分别为 918、857 和 815) ， 不同的测试方法对考生的成绩和考试中的思维过程都有着不同的影响 。另外 ， 他还利用多层面 Rasch 模型 ， 对中外老师在语用能力测试评卷中的表现进行了对比研究 。结果表明 ， 所有中外老师的评卷都具有较好的内部一致性 ( 中国老师 96， 外方教师 94) ， 但评卷的严厉度有显著差异 : 中国老师比外国老师要明显宽松 。总
17、体上 ， 中外老师都能较好地使用评分量表 ， 但在评分量表的某些方面出现了分阶无序的现象 ( 2007: 395) 。从现有的相关国内文献来看 ， 刘教授的研究是迄今国内从定性和定量两个方面出发探索语用评估最全面的尝试了 。但是 ， 正如他 ( 2006b: 264) 在一篇文章中所说的那样 : “语用能力的测试 目前只是处于研究阶段 。虽然 三种测试方法均有较好的信度和效度 ，但在将它们用于大型考试之前还需做大量进一步的研究工作 有必要在中国英语学习环境下 ， 对其它测试方法做进一步的验证研究 。”所以 ， 总体看来他的研究理论意义大于实践意义 。3 评估内容综观近 30 年语用评估文献 ，
18、 我们发现研究人员对学习者语用能力评估的内容集中在如下几个层面 :31 言语行为层面在引言中我们了解了语用能力的内涵 。其中体现语用功能知识运用能力的关键聚焦于学习者言语行为的实施上 。就言语行为而言 ， 语用能力是一种语境条件下的言语行为能力 ， 包括实施和识别言语行为的能力 。这些言语行为包括请求 、邀请 、道谢 、赞扬 、批评 、抱怨 、道歉 、介绍 、64称呼 、问候 、寒暄 、道别 、提供和提议以及应答上 。学习者的语用能力还体现在其从语音 、词汇 、话语和篇章层次分析这些言语行为的语言和语用规则的能力 。第三 ， 语用能力折射于交际者的语境识别能力 。这里的语境包括相对社交距离 (
19、 如年龄 、亲疏等 ) 、相对社会权力 、谈话环境和气氛等 。这种对语境的认识体现在言语行为上就是对社交语用规则的认识 ， 是指话语者遵循语言使用的社会规则进行得体交际的能力 ， 是更高层次的语用能力 。最后 ， 具体到某一交际者 ， 语用能力还受到其自身学识 、成熟程度 、语言水平和对话题的熟悉程度等方面的影响 。这方面的研究人员有 Liu( 2006) 、Roever( 2006) 、Nguyen( 2005) 、Shimazu( 1989) 、Farhady( 1980) 、李悦娥 、范宏雅 ( 2002) 、甘文平 ( 2001) 、洪岗 ( 1991) 和何自然 、阎庄 ( 1986
20、) 等 。32 隐涵意义层面语用评估涉及的隐涵有两种 : 会话式隐涵 ( idiosyn-cratic implicature) 和程式化隐涵 ( formulaic implicature) 。会话式隐涵又称 common conversational implicature， 需要听者从话语中推测出话语隐涵意义 ( Bouton 1988， 1994) 。例如 : A: “Has the mail come yet? ”B: “Its only eleven”( Roever 2004: 286) 。很显然 ， B 没有直接回答 A 的问句 ，因为该问句需要用 “是 ”或 “否 ”来回答
21、。但 A 根据平常邮件到达时间 ， 推断出 B 的回答是否定的 。第二类会话隐涵包括间接批评和 “教皇式 ”问题 ( Pope Q: Is the PopeCatholic?) 及其变体 ( 如 : Do fish swim?) 。例如 :Two roommates are talking about their plans for thesummerFran: My mother wants me to stay home for a while， soI can be there when our relatives come to visit us at thebeachJoan: Do
22、 you have a lot of relatives?Fran: Are there flies in the summertime?How can we best interpret Frans question?a Fran thinks her relatives are noisyb Fran is new to the area and is trying to find out whatthe summers are likec Fran has a lot of relativesd Fran is trying to change the subject; she does
23、ntwant to talk about her relatives ( Bouton 1994: 162)给出相应说明33 惯用语层面这部分内容要求被试在所给的选择中选出最适合题干部分所描述的场景 。惯用语分为两类 : 一类是情景约束较强的惯用语 ( 如电话用语 ) ; 另一类为功能型的惯用语( 如招呼用语 ) 。例如 :Jack was just introduced to Jamal by a friend Theyreshaking hands What would Jack probably say?a “Nice to see you”b “Good to run into you
24、”c “Happy to find you”d “Glad to see you”( Roever 2006: 239)4 研究局限和未来发展方向1) 不管是国内还是国外 ， 各研究人员在进行评估时 ，测试的只是语用能力的一部分 : 如 Roever 的语用语言能力评估 ( 2006) ， Hudson 等人的社会语用能力评估 ( 1995) 、刘建达的请求和道歉的言语行为评估 ( 2006b) 。在未来的研究里如何通过一次评估 ， 多角度评估学习者的语用能力呢 ? 毕竟语用能力包含社会语用能力和语用语言能力 ，涉及到学习者的知识维度 、内容维度 、加工维度 ( 详见 Ro-ever 2007
25、b; 姜占好 2009) 。2) 国内外语用能力评估不管采取的问卷形式如何 ，但毋庸置疑的是它们都围绕着学习者语用能力这一构念的 。那评估形式的构念效度如何呢 ? 以往的评估中提及构念的研究少之又少 ， 尤其是 2005 年前国内的语用评估 ，根本没有提及问卷的构念效度如何 ， 更缺乏统计学意义上对使用问卷语用能力构念效度的解释和说明 。这就让读者对问卷的构念效度和研究结果产生了怀疑 。所以在以后的研究中对于问卷的编制应遵循一定的程序 ， 履行如Liu( 2006) 所采用的 “情景选样 、情景可能性筛选 、元语用调查 、WDCT 试测和 MDCT 选项设计 ”的步骤 ， 以保证语用能力评估问
26、卷的构念效度 。3) 正如 21 中所提出的 ， 迄今语用能力数据收集的方法有三大类 。被试的数量局限于研究人员选择的范围之内 。所以说这些方法只是用于研究 ， 理论意义大于实践意义 。正如 Brown 对 Hudson 等人 ( 1995) 设计的社会语用评估方法评价所说的那样 ， “这些方法的实用性不强 ”( most parts of their assessment are not strong in practicality)( 转引自 Roever 2006: 251) 。具体到测试语用语言知识 ，Roever 的基于网络的语用语言知识选择填空也许有一定的可行性 ， 但这只是静态地
27、对学习者语用知识的评估 。毕竟对知识的掌握不等于对知识的实际应用 。所以在线语用能力评估 ( online pragmatic performance assessment) 以测试学习者实际场景中的语用能力 ， 尤其是学习者的社会语用能力 ， 将成为未来语用测试研究的焦点 。但随之而来的情景的选择 、描述 、设置和题型的确定及其实践中的可操作性又成为难题 。更难的课题是如何在一次评估中能融合语用能力的两个组成部分及三个维度 ? 这些难题为将来的语用评估提供了广阔的研究空间 。参考文献 1 Bachman， L F Palmer， A S Language Testing in Practic
28、e M Oxford: OUP， 1996 2 Bachman， L F Fundamental Considerations in Language Testing M Oxford: OUP， 1990 3 Bouton， L F A cross-cultural study of ability to interpret implicatures74in English J World Englishes， 1988，( 17) : 183-196 4 Bouton， L F Conversational implicature in the second language:Learne
29、d slowly when not deliberately taught J Journal of Pragmatics，1994，( 22) : 157-167 5 Celce-Murcia， M ， Z Drnyei and S Thurrell Communicative compe-tence: A pedagogically motivated model with content specifications J Issues in Applied Linguistics， 1995( 6) : 5-35 6 Farhady， H Justification， Developme
30、nt and Validation of FunctionalLanguage Testing D Unpublished doctoral dissertation， University ofCalifornia， Los Angeles ， 1980 7 Hudson， T Indicators for pragmatic instruction: Some quantitative tools A In Rose， K R Kasper， G ( eds ) Pragmatics in LanguageTeaching C New York: Cambridge University
31、Press， 2001: 283-300 8 Hudson， T ， Detmer， E ， Brown， J D A Framework for TestingCross-Cultural Pragmatics R Honolulu: Second Language Teachingand Curriculum Center， University of Hawaii at Manoa， 1992 9 Hudson， T ， Detmer， E ， Brown， J D Developing PrototypicMeasures of Cross-cultural Pragmatics R
32、Honolulu: Second LanguageTeaching and Curriculum Center， University of Hawaii at Manoa， 1995 10 Kasper， G Rose， K R Pragmatic Development in a Second Lan-guage M Malden， MA: Blackwell ， 2002 11 Kasper， G Roever， C Pragmatics in second language learning A In Hinkel， E( ed ) Handbook of Research in Se
33、cond Language Teach-ing and Learning C Mahwah， N J : L Erlbaum Associates， 2005:317-334 12 Liu， Jianda Measuring Interlanguage Pragmatic Knowledge of EFLLearners M Peter Lang Publishing， 2006 13 Nguyen， M T T Criticizing and Responding to Criticism in a ForeignLanguage: A Study of Vietnamese Learner
34、s of English D Unpub-lished doctoral dissertation， Auckland: The University of Auckland，2005 14 Oller， J W Language Tests at School: A Pragmatic Approach M London: Longman， 1979 15 Roever， C Assessment of Second Language Pragmatics M/OL Re-trieved December 27， 2007 at http: / /www2 hawaii edu/ roeve
35、r/ilp-test htm， 2007b 16 Roever， C DIF in the assessment of second language pragmatics J Language Assessment Quarterly， 2007a， 4( 2) : 165-189 17 Roever， C Difficulty and practicality in tests of interlanguage pragmat-ics A In D Boxer A D Cohen( eds ) Studying Speaking to In-form Second Language Lea
36、rning C Clevedon: Multilingual MattersLimited， 2004: 281-301 18 Roever， C Validation of a web-based test of ESL pragmalinguistics J Language Testing， 2006， 23( 2) : 229-256 19 Rose， K R Kasper， G Pragmatics in Language Teaching M New York: CUP， 2001 20 Shimazu， Y M Construction and Concurrent Valida
37、tion of a WrittenPragmatic Competence Test of English as a Second Language D Un-published doctoral thesis， University of San Francisco ， 1989 21 Yamashita， S O Six Measures of JSL Pragmatics R Honolulu: Sec-ond Language Teaching Curriculum Center of University of Hawaii atManoa， 1996 22 Yoshitake-St
38、rain， S Measuring Interlanguage Pragmatic Competence ofJapanese Students of English as a Foreign Language: A Multi-TestFramework Evaluation D Unpublished doctoral dissertation， ColumbiaPacific University， Novata， CA ， 1997 23 谌莉文 英语听力理解中的语用推理 J 外语教学 ， 2005( 1) : 68-71 24 陈治安 ， 袁渊泉 语际语用学研究的回顾与展望 J 外语
39、教学 ，2006( 6) : 1-5 25 董晓红 对不同阶段英语专业学生语用能力的调查与分析 J 外语教学 ， 1994( 3) : 91-95 26 甘文平 中国大学师生英语语用能力的调查与分析 兼评 大学英语听力 教材修订版 J 西安外国语学院学报 ， 2001( 1) : 73-76 27 何自然 ， 阎 庄 中国学生在英语交际中的语用失误 汉英语用差异调查 J 外语教学与研究 ， 1986( 3) : 52-57 28 洪 岗 英语语用能力调查及其对外语教学的启示 J 外语教学与研究 ， 1991( 4) : 56-60 29 姜占好 过渡语语用学视角下的我国大学生语用能力评估研究
40、D Unpublished doctoral dissertation 上海 : 上海外国语大学 ， 2009 30 李悦娥 ， 范宏雅 话语分析 M 上海 : 上海外语教育出版社 ， 2002 31 刘建达 外语语用能力 : 定义 、教学与测试 J 江西师范大学学报 ， 2006a( 2) : 108-113 32 刘建达 语用能力测试的评卷对比研究 J 现代外语 ， 2007( 4) :395-404 33 刘建达 中国学生英语语用能力的测试 J 外语教学与研究 ，2006b( 4) : 259-265 34 殷银芳 ， 苗兴伟 外语课堂环境下口语交际能力的培养模式 J 外语教学 ， 20
41、08( 5) : 42-45 35 张 辉 试论跨文化交际中的语用迁移与语用失误 J 外语教学 ， 1994( 3) : 24-27 36 张晓 霞 Interlanguage Pragmatics: Insights into English LanguageTeaching D Unpublished Master Thesis Hang Zhou: Zhe Jiang Uni-versity， 1998 37 赵菲菲 语用能力与大学英语教学 D Unpublished Master ThesisShanghai: Shanghai International Studies Univer
42、sity， 2006基金项目 : 本文系教育部人文社会科学研究规划基金项目 ( 项目编号 : 12YJA740030) 、陕西省教育厅科研计划项目 ( 项目编号 : 11JK0408) 和西安外国语大学重点教研项目 ( 项目编号 : XJG 201103) 的阶段性成果 ， 同时得到国家留学基金委的资助 ( 留金出 2007 3035 号 ) ， 一并致谢 !作者简介 : 姜占好 ， 西安外国语大学英文学院副教授 ， 博士 ， 硕士生导师 ， 研究方向 : 二语习得 、语用学 、测试学 。周保国 ， 武汉大学外国语学院教授 ， 博士 ， 博士生导师 ， 研究方向 : 二语习得 、句法学 。收稿日期 2011-11-22责任编校 禾 木84
