1、收稿日期 : 20120624作者简介 : 秦永丽 ( 1981 ) , 女 , 山东日照人 , 江苏科技大学外国语学院讲师 , 研究方向为英语语言学 、英语教学法 。基金项目 : 江苏科技大学 2011 校教改立项课题 “英语语法多模态互动教学模式的构建研究 ”( 项目编号 107040116) 的阶段成果之一 。我国近10年多模态话语研究综述秦永丽(江苏科技大学外国语学院,江苏镇江212003)摘 要 : 多模态话语分析是话语分析的新领域,国内开展此项研究已有近10 年时间。基于系统功能语言学理论和认知语言学的研究方法,国内学者对多模态话语的意义构建、模态之间的互补协同进行了理论探讨,并对
2、各语类语篇的多模态话语分析及其在外语教学的应用进行了研究。但由于起步晚,发展历史短暂,多模态话语研究在研究路径、研究方法等方面存在不足,随着科学技术的发展和研究的深入,国内多模态话语研究定会稳步发展,进而推动话语分析乃至整个语言学的发展。关键词 : 多模态话语;理论探讨;应用研究;综述中图分类号 : H030 文献标志码 : A 文章编号 : 1008 3871(2012)05 0117 06一 、引言自 1952 年美国语言学家 Harris 提出话语分析( Discourse Analysis) 理论以来 , 国内外学者基本上是从语言符号系统的各个层面对话语进行的研究 。随着多元文化的相互
3、渗透和信息技术的发展 , 人们发现单纯从语言的角度已经不能对话语进行深入全面的分析和研究 , 因为人们传统习惯中认为是副语言的图像 、颜色和动作等符号在现代社会交流中已不再处于辅助位置 , 而是与语言符号一起共同参与意义构建 。这种运用视觉 、听觉 、触觉等多种感觉 ,通过语言 、图像 、声音等多种手段和符号资源进行交际的现象就叫多模态话语 ( multimodal dis-course) 1。国际语言学界从 20 世纪 90 年代开始兴起了对多模态话语研究的热潮 , 相比而言 , 国内研究起步较晚 , 直到 2003 年才出现了介绍多模态( 式 ) 话语的论文 。迄今为止 , 经过近 10
4、年的理论探索和应用实践研究 , 国内多模态话语研究取得了可喜成果 。本文将对国内学者 10 年来公开发表的多模态话语方面的论文 、论著进行梳理 , 总结所取得的研究成果并指出存在的不足 , 以期对以后的研究有所启示并指明发展方向 。二 、国内多模态话语研究历程多模态 ( multimodality) 一词由来已久 , 从 20 世纪 90 年代开始得到语言学界的关注 。Kress Leeuwen( 1996) 从社会符号学角度以韩礼德的功能语法理论为基础 , 建立了图像分析的多模态话语分析框架 , 主要分析图像 、声音和颜色等在语篇中的作用 2。最早把这一分析框架引介到国内的李战子教授 ( 2
5、003) 开启了国内多模态话语研究的大门 。她的 多模式话语的社会符号学分析 一文不仅向中国学者介绍了基于系统功能语言学的多模态话语分析框架 , 而且探讨了多模式话语分析的教学意义 3。但遗憾的是 , 她的研究似乎未能引起国内学者的足够注意 , 在之后的两年内国内学术期刊上搜不到与 “多模态 ( 式 ) 话语 ”相关的任何论文 。沉寂两年之后 , 国内学者逐渐关注多模态话语研究 。2006 年期间出现了 2 篇论文利用 Kress Leeuwen( 1996) 提出的多模态话语分析框架的应用研究 。2007 年朱永生教授发表 多模态话语分析的理论基础和分析方法 , 为国内学者从系统功能语言学角
6、度开展多模态话语研究提供了理论基础和分析方法 4。此后 , 国内多模态话语研究逐渐增多 。到目前为止 , 以 “多模态话语 ”为主题词在网络版 中国期刊全文数据库 可搜索到 189 篇相关论文 。值得一提的是 , 国内第一本多模态话语研究方面的专著视觉环境下的多模态化与多模态话语研究 也于2012 年 9 月第 22 卷 第 5 期榆 林 学 院 学 报JOURNAL OF YULIN UNIVERSITYSept2012Vol22 No52009 年出版 。该书主要以 Kress 和 van Leeuwen 社会符号学框架下的视觉交流理论为基础 , 从图像 、情态 、构图 、颜色 、印刷版式
7、等视觉交流的各主要方面研究多模态话语 , 成为国内学者从社会符号学角度系统研究多模态话语的必读书目之一 5。至此 , 国内迎来了多模态话语研究的热潮 。三 、国内多模态话语研究成果综述多模态话语分析是把言语和图像 、声音等其他符号资源综合起来 , 分析不同模态之间如何协作参与意义构建 。多模态话语研究在国内的发展不到10 年时间 , 研究成果既有理论探讨也有应用研究 ,但实证性研究较少 。其研究成果根据研究路径不同主要存在两大研究方向 : 一是基于系统功能语言学的多模态话语社会符号学分析 , 研究成果较多 ; 二是基于认知语言学的多模态隐喻研究 , 国内研究刚刚起步 。(一)理论研究1、基于系
8、统功能语言学理论的多模态话语分析基于系统功能语言学理论进行的多模态话语分析主要是从社会符号学的角度 , 依托韩礼德的系统功能语言学理论 , 特别是三大元功能理论探讨话语的模态协同作用 、不同符号资源的互补关系 、多模态话语的功能等 。国内的理论研究主要包括引介Kress 和 Leewen 创建发展的以系统功能语言学为基础的多模式话语基本框架 ; 系统综述多模态话语分析理论基础和研究方法 ; 探讨多模态话语分析综合理论框架的构建 , 话语的模态协同作用以及多模态话语的设计 1, 6, 7; 探讨多模态语篇分析的符号学理据 8。除此之外 , 国内学者也介绍并探索多模态话语分析的工具 , 如王立非
9、、文艳 ( 2008) 介绍了多模态分析软件 ELAN 及其主要功能 9; 冯德正( 2010) 介绍了数字技术对多模态语篇分析的重要作用和功能 10。2、多模态话语隐喻意义的构建研究Charles Forceville( 2009) 将隐喻研究深入到多模态层面 , 开拓了隐喻研究的视野 , 意义深远 11。认知语言学路向的多模态话语研究结合认知语言学和传媒学的研究成果 , 以多模态隐喻为突破口 , 对多模态话语隐喻意义的构建展开研究 , 探讨意义构建类型和工作机制等 。该领域的国际领军人物是以Forceville 和 Urios Aparisi 为代表的欧美学者 。目前 , 我国语言学界对多
10、模态话语的认知研究才刚刚起步 , 相关的研究论文主要以介绍多模态隐喻意义的构建和评价 Charles Forceville 的隐喻研究为主 ,如赵秀凤 、苏会艳 ( 2010) 阐释了多模态隐喻性话语整体意义的认知构建 12; 谢 竞 贤 ( 2011) 结 合Charles Forceville 的理论 , 探讨了 “超语言 ”环境中多模态隐喻的哲学基础及多模态隐喻意义的表征方式 , 并在实验的基础上探索多模态隐喻中文字文本和非文字文本之间的关系 13; 李毅 、石磊 ( 2010) 综述了多模态隐喻的定义 , 研究现状以及研究意义 , 论证多模态隐喻应用到教学领域的可能性 14。系统功能语
11、言学与认知语言学对多模态话语的研究并非对立 , 而是具有互补之处 , 如冯德正 ( 2011) 指出 , 系统功能理论为图像隐喻和多模态隐喻的构建与分类提供一个新的视角 , 同时隐喻理论也为描述多模态语篇的符号意义提供了新的途径 15。(二)、应用研究尽管我国引进多模态话语分析理论只有 10 年时间 , 研究尚处于初级阶段 , 但是研究者对多模态话语分析的研究价值给予了充分重视 , 应用研究涉及各种语类的多话语分析及多模态话语在教学中应用 。此领域内以系统功能语言学为理论基础的实践研究仍占主导地位 。根据语类的不同 , 多模态话语的应用研究主要有以下几种 :1、视觉诗的多模态话语分析 。视觉诗
12、是为运用文字但同时布置成有视觉效果的诗体 , 对该诗体的多模态话语分析国内学者主要以系统功能语言学和多模态话语分析理论为框架分析其多种模态话语意义的构建和整合 , 认为诗的印刷排版 、文字和非文字多模态在表达诗的主题 , 反映作者情感等方面具有 特 殊 的 意 义 , 如 胡 丹 ( 2007 ) 16、王 红 阳( 2007) 17、张旭红 ( 2010) 18等 。2、图文关系语篇的多模态意义构建 。图像和文本的关系问题是多模态话语分析中存在的 “瓶颈 ”问题 。了解图像和文本如何在内容层面相互作用生成意义是多模态话语分析的难点和关键 。系统功能语言学范式内对此进行了多种尝试 , 即以韩礼
13、德系统功能语言学的三大功能为基础 , 以 Kress 和 vanLeeuwen 创建的视觉语法为理论框架上发展起来的811 榆 林 学 院 学 报 2012 年第 5 期 ( 总第 103 期 )视觉图像分析语法框架对图文语篇的意义构建进行分析 , 如王红阳 ( 2007) 19、彭漪 、杨海燕 ( 2010) 20。除此之外 , 认知语言学以多模态隐喻为突破口对多模态语篇隐喻意义的构建展开研究 , 如冯德正 、邢春燕 ( 2011) 以汽车广告为例 , 阐释了空间隐喻可通过方位关系构建社会现实与人际关系 , 并将语言 、图像等各种意义载体组构为连贯的整体 21; 张辉 、展伟伟 ( 2011
14、) 探讨了多模态隐喻和转喻在广告中的动态构建过程以及多模态隐喻和隐喻广告中的图文关系 ; 潘艳艳 ( 2011) 以政治漫画为例 , 讨论了在多模态隐喻形成过程中 , 域源的选择及域源的文化内涵的重要性及其对身份的构建或重新构建的作用 22。3、多媒体语篇的话语分析 。顾曰国 ( 2007) 把多媒体定义为三个或以上的内容载体即逻辑媒介 23。因此 , 多媒体语篇的文本内容是用文字 、图像 、数字音频流 、视频流等呈现方式来传递信息的 。国内研究者对 PPT、超文本等多模态话语分析就属于这一类 。例如 , 胡壮麟 、董佳 ( 2006) 以 23 个 PPT演示作品为例 , 讨论了多模态化对计
15、算机介入的语篇分析语篇意义构建的重要作用 24; 叶起昌 ( 2006)以人民网为实例从社会符号学角度解读超文本的多语式 , 阐释了图文之间的视觉表征意义 25; 韦琴红( 2008) 从元功能的角度分析了 2006 年英国 泰晤士报 上的一个多模态媒体语篇 , 将语篇中的各种意义资源进行整合 , 说明除语言之外的其他符号系统也是意义的源泉 , 也和语言符号一样具有多种功能性 26。4、动态语料的多模态研究 。目前国内多模态话语分析大多是对静态语料进行分析 , 但也有学者基于系统功能语言学理论 , 对动态语料进行研究 。如 ,胡瑾 、曾蕾 ( 2007) 以国际学术会议演讲为分析对象 , 研究
16、自然语篇中口头语言 、视觉 /听觉语言 、态势语言等参与意义构建的过程 27。洪岗 、张振 ( 2010)用 Kress 和 Leeuwen 的视觉图像分析语法框架 , 结合影视学中的声音蒙太奇理论 , 对北京奥运会开幕式上演唱的 我和你 ( You And Me) 的视频声音和截取的图片进行意义构成的分析 , 说明图像和声音在多模态视频语篇意义构建中的作用 28。胥国红( 2010) 对外语教师课堂上的言语和非言语行为如手势 、眼神 、面部表情等如何互补生成意义潜势进行了研究 , 发现优秀的外语教师能很好地运用语言和非语言的不同支架作用来实现教学和社会双重功能 29。5、教学领域的应用研究多
17、媒体的教学环境为课堂带来了图片 、PPT、音乐 、网络等 , 因此基于多模态话语分析理论的课堂教学实践研究有助于推进课堂教学改革 、提高教学效率 、优化教学效果等 。国内最早研究多模态与外语教学关系的是顾曰国教授 , 他 ( 2007) 区分了多媒体学习和多模态学习两个概念 , 构建了一个用于剖析两种学习的模型 23。朱永生 ( 2008) 以国外的多元读写研究为例探讨了多模态对我国教学改革的启示 , 认为我们急需改变传统的办学理念 , 应以 “建构主义 ”取代传统的 “训导主义 ” 30。还有学者具体分析了多模态话语分析对外语教学的影响 , 如王炤( 2010) 分析了多媒体环境下英语写作多
18、模态模式的构建 31; 谢竞贤 、董剑桥 ( 2010) 论证了大学英语听力教学中多模态互动模式的构建和效果 32; 刘芹 、潘鸣威 ( 2010) 运用多模态话语分析的方法 , 对中国大学生英语口语非言语交际能力进行研究 33。多模态话语的教学应用也体现在对教材编写和选择使用方面的指导 。张德禄和张淑杰 ( 2010) 从理论层面探讨了多模态性外语教材的编写原则 , 论述了制约外语教材编写的因素及多模态性外语教材的基本特点 , 进而提出了多模态性外语教材的宏观编写原则和具体编写原则 34。作为延伸的研究 , 陈瑜敏 ( 2010) 考察了情态分析在多模态外语教材语篇中的应用 , 得出视觉情态
19、的选择与交际双方的认同密切相关 , 为多模态教材的研究提供了新的 35。刘明 、胡加圣 ( 2011) 运用多模态外语教学理论及相关认知理论 , 讨论了外语视听教材的多模态化发展趋势及其设计原则和技术特点 , 并根据对现行听力教材的采样分析 , 论述多模态外语视听教材对内容选择的要求 36。随着多模态在教学领域的应用 , 在当今全球趋于一体化 、多元化 、技术化的今天 , 对学生不仅要进行读写能力的培养 , 更重要的是要求学生进行多元识读能力的培养 , 正如胡壮麟 ( 2007) 所说 , “在传统以读写为主的识读能力在多媒体时代已不够用 ” 37。韦琴红 ( 2009) 探讨了多模态化与大学
20、生多元911秦永丽 : 我国近 10 年多模态话语研究综述识读意识和能力培养的关系及多元识读能力培养的模式 38。王梅通过实证研究论证了多模态对培养高校学生读写能力的重要性和可行性 39。四 、国内研究存在的不足和发展趋势综观国内多模态话语研究成果 , 我们可以发现 ,从 2003 年至今 , 研究者对于多模态话语分析的研究价值给予了充分重视 , 在理论探索和实践研究方面均有突破 , 研究的领域涉及多种语类 。但毕竟国内引进多模态话语分析理论的时间不长 , 研究历史短暂 , 在理论建设和研究方法方面有待进一步深化和改造 。目前主要存在以下不足 :(一)以主观性太强的理论研究为主,实证研究不多从
21、已发表的论文 、论著来看 , 国内学者的文章大都是介绍和引进相关理论或研究方法 , 或借用相关理论对各种语类进行应用分析 , 原创性地提出完整的多模态话语分析理论框架的文章并不多 。对语类的应用分析主观性太强 , 大都依赖分析者本人对不同组成部分意义关系的理解 , 面对同样一个模态体系 , 因分析者个人的文化背景 、知识结构或解读动机 、理解能力的差异等可能会出现仁者见仁 , 智者见智的情况 , 缺乏以数据为支撑的实证研究的进一步佐证 。像张征 ( 2010) 这样通过实证研究探讨多模态 PPT 演示教学与学生学习效果的相关性的应用研究就很具有说服力 40, 但目前这种实证研究较少 。(二)多
22、模态话语分析以静态文本为主,较少涉及动态多模态话语国内现已发表的多模态话语的应用分析多数以分析图像 、文字 、图表等多种符号资源组成各种静态语类为主 , 如形体诗 、广告 、影视作品海报等 , 而对动态情景语境中使用多种模态进行意义构建的动态多模态话语分析研究则是少之又少 。而且仅有的研究又都是以分析者个人的主观判断为主 , 缺乏客观的量化数据 。如果研究中能采用顾曰国教授介绍的ELAN 多模态分析软件 , 那一定程度上可使得在客观数据支撑下分析更具有说服力 , 但这对先进的媒体分析技术提出了更高的要求 。(三)分析方法以系统功能语言学理论为主,跨学科研究较少目前多模态话语研究领域相当活跃的课
23、题主要是从系统功能语言学角度 , 根据系统功能语言学的三种元功能 , 即概念功能 、人际功能 、语篇功能对多模态语篇里的图文关系进行解构性研究 。但是多模态话语分析应该是一个跨学科的研究领域 , 涉及到符号学 、认知语用学 、社会学 、传播学等 。因此要对多模态话语符号之间的意义关系进行解构或建构 ,仅仅依靠语言学的一个流派是远远不够的 。只有其他学科的学者共同参与 , 多模态话语的意义才能得到更加全面而正确的解读 。随着科学技术的进一步发展以及人们对多模态话语研究的深入 , 多模态话语分析将逐渐呈现出以下研究趋势 :第一 、研究类型上将呈现由理论探讨向实证研究倾斜的趋势 。目前国内研究主要是
24、利用系统功能语言学或认知语言学的现有理论对各种多模态语类进行主观的理论分析 , 但随着研究者们对多模态话语研究的理论与方法掌握日益成熟并且开发使用多模态分析软件之后 , 学者们会更多地用数据支撑的实证性研究来论证和验证相关的理论探讨和方法介绍 。无疑 , 这对研究者们使用多媒体技术手段提出了更高要求 。第二 、研究对象将逐渐由基于书面语篇的多模态话语分析转移到三维的动态多模态话语研究扩展 。目前的多模态研究大都以分析静态二维语篇中的图文关系为主 , 随着研究工具的日益完善 , 国内学者将会关注动态语境中同时与语言符号出现的诸如图像 、声音 、颜色以及语言使用者的语气 、神态 、动作等共同作用呈
25、现在交际中的意义构建 。同时 , 这对研究者们如何定义多模态话语和如何理解语境提出了挑战 。第三 、研究路径越来越宽 , 呈现出跨面互补研究趋势 。多模态话语分析需要多种学科理论和方法的参与才能更加全面而正确地解读模态间的意义互补关系 。因此 , 多模态话语的研究不应局限于系统功能语言学或认知语言学的范畴 , 而应进行跨面互补研究 , 各学科的融合 、跨学科合作是多模态话语研究的必然趋势 。结语我们生活在一个多模态的社会 , 语言和视觉图021 榆 林 学 院 学 报 2012 年第 5 期 ( 总第 103 期 )像 、声音 、手势等各种非语言符号资源整合 , 参与意义构建 。与之相生的多模
26、态话语分析是个崭新的研究领域 , 发展前景广阔 。国内对多模态话语研究不到 10 年时间 , 但在研究路径 、研究方法和研究对象方面均取得一定成绩 。尽管研究者们对多模态话语分析的研究理论框架和分析方法仍存在需完善之处 , 但任何事物的发展都需要一个过程 , 随着科学技术的进一步发展 , 国内多模态话语分析在研究领域 、研究方法和研究路径方面都会取得进步 , 进而推动话语分析乃至整个语言学的发展 。因此 , 开展多模态话语分析对于话语分析乃至语言学跨面学科的发展具有重大意义 。参考文献1Kress,G R Leeuween,T van Reading ImagesM London: Roule
27、dge,1996: 1832张德禄多模态话语分析综合理论框架探索J 中国外语,2009(1): 24 303李战子多模态话语的社会符号学分析J外语研究,2003(5):1 84朱永生多模态话语分析的理论基础与研究方法J外语学刊,2007(5):82 865韦琴红视觉环境下的多模态化与多模态话语研究M北京:科学技术出版社,20096张德禄多模态外语教学的设计与模态调用初探J 中国外语,2010 (3): 48 537张德禄多模态话语理论与媒体技术在外语教学中的应用J外语教学,2009(4): 15 208汪燕华多模态语篇分析的社会符号学理据J 外语学刊,2010(6):145 1479王立非、文
28、艳应用语言学研究的多模态分析方法J外语电化教学,2008(3): 8 1210冯德正数字技术与多模态语篇J北京科技大学学报(社科版),2010(4):12 1711Forceville,C Multimodal Metaphor Applications of Cognitive LinguisticsC New York: Mouton deGruyter,200912赵秀凤、苏会艳多模态隐喻性语篇意义的认知构建J北京科技大学学报(社科版),2010(4):18 2413谢竞贤多模态视角下的隐喻J 外语学刊,2011 (5):49 5214李 毅、石 磊教学中的多模态隐喻J 外语电化教学,2
29、010 (3):47 4915冯德正多模态隐喻的构建与分类J 外语研究,2011 (1):24 2916胡 丹 Emmett Williams 诗“She loves me not“多模式话语分析J 外语教学与研究,2007(4):16 1917王红阳卡明斯诗歌“L( a”的多模态功能解读J 外语教学,2007 (5):22 2618张旭红视觉诗Me up at does多模态意义的构建J 外语学刊,2010 (1):85 9019王红阳多模态广告语篇的互动意义的构建J四川外语学院学报,2007 (6):31 3420彭 漪、杨海燕 多模态平面商业广告语篇的整体意义构建J 北京科技大学学报(社
30、科版),2010(4):1 621冯德正、邢春燕空间隐喻与多模态意义建构以汽车广告为例J 外国语,2011(3):56 6122张 辉、展伟伟广告语篇中多模态转喻与隐喻的动态构建J 外语研究,2011(1):16 2323顾曰国多媒体、多模态学习剖析J 外语电化教学,2007(4):3 1224胡壮麟、董 佳意义的多模态构建对一次PPT演示竞赛的语篇分析J 外语电化教学,2006(3):3 1225叶起昌超文本多语式的社会符号学分析J 外语教学与研究,2006(6):437 44226韦琴红论多模态话语的整体意义构建基于一个多模态媒体语篇的话语分析J 天津外国语大学学报,2008(6): 16
31、 2127胡 瑾、曾 蕾学术会议英语演讲语篇多模式语言符号意义构建J外语与外语教学,2007(3): 12121秦永丽 : 我国近 10 年多模态话语研究综述1528洪 岗、张 振 多模态视频语篇我和你( you and me)的构成意义分析J 外语电话教学,2010(6): 20 2429胥国红教师课堂上的“言”与“行”对一堂大学英语精读课的多模态话语分析J北京科技大学学报(社科版),2010(4):7 1130朱永生多元读写能力研究及其对我国教学改革的启示J外语研究,2008(4):10 1431王 炤 多媒体英语写作教学中的多模态互动模式J 外语电化教学,2010(6): 14 1932
32、谢竞贤,董剑桥 论多媒体与多模态条件下的大学英语听力教学J 外语电化教学,2010(6): 9 1333刘 芹、潘鸣威多模态环境下中国大学生英语口语非言语交际能力研究初探J 外语电化教学,2010(2): 30 4334张德禄、张淑杰多模态性外语教材编写原则探索J 外语界,2010(5): 28 3535陈瑜敏情态分析在多模态外语教材研究中的应用探析J 外语教学,2010(1): 69 7236刘 明、胡加圣大学外语视听教材的多模态化设计构想及要求分析J 外语电化教学,2011(2): 3837胡壮麟社会符号学研究中的多模态化J语言教学与研究,2007(1): 1 1038韦琴红多模态化与大学
33、生多元识读能力研究J外语教学与研究,2009(2): 29 3239王 梅多模态与多元文化读写能力培养实证研究J外语教学,2012(1): 29 3240张 征多模态PPT演示教学与学生成绩绩效的相关性研究J 中国外语,2010(3):54 58(责任编辑:史丕功)On the Multimodal Discourse Analysis in the Last Decade in ChinaQIN Yong li( School of Foreign Languages,Jiangsu University of Science and Technology,Zhengjiang Jiangs
34、u 212003,China)Abstract: Multi modal discourse analysis is a new field of discourse analysis,which has been carried out for al-most 10 years in China Based on systemic functional linguistics theory and cognitive linguistics research methods,domestic scholars have theoretically explored multimodal di
35、scourse meaning construction and the complementarysynergy between modals In addition,they have carried out multi modal discourse analysis of different genres andits application in foreign language teaching However,due to the late start and a brief study history,there liesshortcomings in its research
36、 path,research methods,etc But with the advancement of scientific research technolo-gy,domestic multimodal discourse analysis will definitely have a steady development,thus promoting the develop-ment of discourse analysis and the whole of linguisticsKeywords: multimodal discourse; theoretical discussion; applied research; research221 榆 林 学 院 学 报 2012 年第 5 期 ( 总第 103 期 )