1、书年第期总第期外语研究 ，编者按胡壮麟教授是我国著名的语言学和外语教育大家，他长期以来关心着外语研究的成长和我院的外语学科建设。我们在胡先生八十寿诞之际以专稿的形式表达对胡先生杰出学术贡献的敬意。进入世纪，人类的社会活动发生着日新月异的变化，新的语篇现象、意义表达方式不断进入人类的语言生活，意义的多模态化、体裁的多样性成为语言发展的必然趋势。语言学研究如何解读人类生活新的符号特质并对此有所贡献，正是本刊三篇专稿所试图关注的问题：李战子、陆丹云的文章梳理了过去二十年多模态符号学的主要研究途径，并展望了该学科的学术前景；张德禄的文章关注在多模态的语境下如何提高学生的多元读写能力，并提出了多元读写能
2、力的教学培养框架；纪卫宁、辛斌的文章则阐释了巴赫金的异质语理论对于研究语言杂合、体裁杂合的启发和意义。胡壮麟教授对上述领域均有深入的阐述和领先的见解：他将多模态符号学的概念引进国内，并身体力行地对多媒体教学、演示、多模态小品等进行过深入研究；他分析了多元社会的人文素质构成并强调了开发“多元智能”的必要性；他关注巴赫金的社会符号学理论并引领中国学者走进巴赫金的符号王国。本刊发表这三篇论文，正是以独特的方式表达对胡先生一生为学的敬仰，并祝胡壮麟先生学术之树长青。多模态符号学：理论基础，研究途径与发展前景李战子陆丹云（南京国际关系学院，江苏 南京）摘要：多模态符号学指社会符号学视角下的多模态研究，本
3、文探讨其理论基础、研究途径和发展前景。过去二十年的多模态研究主要借鉴系统功能语言学的核心理论研究非语言符号的语义生成，主要途径包括：符号语法的构建、多模态语类特征研究、社会场所的再符号化研究等。作为一门新兴的学科，多模态符号学在多种模态的系统语法构建、模态间关系研究、批评性多模态话语分析以及多模态研究的学科融合等方面均具有探索空间。关键词：多模态符号学；系统功能观；研究途径；发展前景中图分类号：文献标识码：文章编号：（）引言模态是物质媒体经过社会长时间塑造而形成的意义潜势，是用于表征和交流意义的社会文化资源（ ）。由于人类社会活动所介入的物质手段日渐丰富，传统上主要通过语言表达意义的做法已逐渐
4、被多种媒介共存的复合话语取代，多媒体化（）体现社会实践的常态，而多模态化（）也成为当今社会文化系统的固有特性。在多媒介的社会活动和多模态的文化系统中，意义是如何生成的？这成为当代人文研究的新话题。自上世纪年代以来，来自不同领域的学者通过对各类素材的分析探索适用于多模态研究的总体分析框架、研究方法和应用启发，其中（）对绘画、雕塑和建筑等艺术作品进行了符号学分析；（，）研究了多模态规则地表达意义的现象，包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等；（，）研究了科技语篇、超文本的多模态特征并对新媒体时代的读写教育提出新的观点；（， ， ）不仅研究多模态的理论建构，还专门研究了数学语篇中
5、的多模态现象、多模态技术并尝试设计多模态分析软件；（，）研究了不同符号在多模态话语中的互补性以及在第二语言课堂教学中多模态的协同性等；近期几本以多模态话语研究为主题的文集（ ， ， ， 等）则反映了社会符号学对当代话语的各种模态在各类语境下的各种体现方式和意义特征的最新研究。中国学者对多模态话语分析的研究始于对国外理论的引介，首篇将多模态符号理论引介到国内的论文是“多模式话语的社会符号学分析”（李战子），该文详细介绍了（）所构架的视觉语法和图像分析方法，并探讨了这种分析方法对于加深认识语言的社会符号特点、对于多模态话语的产生和理解以及英语教学的重要意义。胡壮麟（，）、朱永生（）、张德禄（）等对
6、多模态研究的理论基础、研究路径DOI:10.13978/ki.wyyj.2012.02.006和现实意义进行了评介，对推进国内的多模态话语研究起到了宏观指导的作用。尤其是胡壮麟教授，他不仅将“多模态符号学”的概念引进国内，阐释了多模态、多媒介的区别和关系（胡壮麟），还身体力行地研究了、多模态小品等多模态语篇的语类特点（胡壮麟，），同时他的研究还紧密结合现代教育的现实，将社会实践的多模态性和人文教育要求结合起来，提出当今世界的“”已超越了传统“读写能力”的范畴，多元社会的人文素质是能够识读和评判语言、文化、技术、信息的“多元智能”（胡壮麟）。目前国内的多模态话语研究主要是应用型研究，最为常见的是
7、将“视觉语法”应用于特定语类、语篇的分析，以揭示多模态语篇中意义的构建方式。同时，随着视觉、听觉符号在我国媒体、教育中的大量应用，研究者开始将多模态语篇的分析和多元读写能力、教育话语和课堂模态、阅读途径、媒体影视研究等话题结合，以求对人文素质教育、教学模式改革、网络媒体等社会实践的改良有所指导。回顾近年的研究成果，我们认为多模态研究的主要路径包括：符号语法的构建，多模态语类特征研究，社会场所再符号化过程研究等。以下将探讨多模态符号学的理论基础，分析主要的研究路径并提出多模态研究发展所要关注的问题。多模态符号学的系统功能观在社会符号学的视野中，文化是意义系统，符号资源是人类在一定社会背景和一定的
8、历史时刻里响应特定的社会、文化或经济需要而创造的意义表达系统（），分析语言符号得出的结论对于其他符号模式同样具有适用性：“语言是全部符号事实中的一个特殊系统，对语言学的研究推动了对符号学的研究开拓了我们对其他符号系统的研究”。（胡壮麟：）社会符号学的理论推动了对于多模态符号的系统研究，由此诞生“多模态符号学”（：），即社会符号学视角下的多模态研究。以社会符号观为基本认知的多模态符号学，借鉴系统功能语言学的理论框架和研究方法，将对语言的研究延伸至一切用来构建意义的符号资源，包括口语、书面语、图像、图表、建筑、音乐、动态影像等。在多模态符号学的视角下，每种模态都是符号资源，各种模态发展成产生意义的
9、互相连接的可供选择的网络，所有的模态及各种模态间的互动均具有表达意义的潜势，都对意义的创建起到作用，也可称之为符号潜势或模态潜势。正如系统功能语言学构建了旨在解释语言如何表达意义的“功能语法”，多模态符号学也关注非语言符号的语法，因为符号不是一堆无规则的乱码，而是具有一定结构、关系的系统。符号的“语法”是制造意义的资源，它不是决定对错的一套形式上的规则，而是特定模态中元素间关系的结构，或模态之间的关系结构，这些结构随着时间的流逝而被确立下来并为意义的阐释提供依据，“它使人类能够建立关于现实的心理图像，并理解发生在他们周围的和自身内部的经验。”（：）功能语法中对于“意义”、“元素”、“结构”和“
10、关系”最具有阐释力的理论是语言的三大元功能、意义的层次化体现关系和语法单位的级阶性，元功能、层次化、级阶性的符号观在多模态研究中得到广泛应用。例如，（），（），（），（），（）等借用的语言三大功能假说，分别从概念、人际和语篇功能三个不同的层面分析图象等视觉符号的语义关系；（），（）等将逻辑意义的分类应用于对模态间互动关系的解释；（）描述了在非语言的符号系统中，意义、结构和物质元素是如何层次化体现的；（）等认为对多模态作品进行分析时可借用功能语法对语法单位的级阶性标记方式，将动态多模态话语中聚合在一起的多种符号进行级阶性分解，例如（）把图像的语法单位划分为作品（）、情节（）、图式（）和成员（）四
11、级，（）将影视作品的语法系统分为六个级阶的基本语法单位：作品（）、类 型 步 骤 （ ）、片 断（）、场景 （）、镜头 （）和帧（）。符号语法在多种多样的符号体制中，各符号资源既继承了符号的意义共性又有着不同的表现形式和系统规则。较之传统的文本话语分析，多模态话语分析必须关注两个问题：）各种模态的符号特征，从而对不同模式的语义贡献进行清晰的描述；）多模态话语各成分模态间的关系，研究“模态间性”（ ）并建立分析跨模态关系的框架。和功能语言学视角下的文本分析相同，多模态话语分析亦借助语义单位分析符号系统的资源特点。因为要对跨模态关系进行阐述，首先必须能够对所有模态统一量化比较，尽管视觉图像、声音、
12、印刷体式、建筑设计、身体动作、电子媒体和电影等多模态交际手段会有不同的表现特点和实现方式，但是在特定的社会文化领域中，同样的意义通常可以由不同的符号来表达，语言、非语言模态具有共同的意义潜势，各模态所构建的语义是可以相互比较的，因此多模态符号特征的分析框架往往以语义为参照，例如过程、情态、信息值等。研究基于意义的符号特征、建立非语言模态的符号语法是多模态符号研究的基本途径，其中最具代表性的成果是（）的“视觉语法”。比照三大元功能，（）将多模态意义系统分为再现（）、互动（）和构图（）三种意义，分别对应语言的概念、人际和组篇意义，对各类意义的图像特征和实现方式进行了细化，还通过实例分析证实了视觉语
13、法的可操作性，例如从我们的社会和他人一书的封面中解读出图像再现了分类、分析、象征和行动四种过程；从三维雕塑作品国王和王后中解读出评判和审美性的评价往往与其追求非自然主义效果的符号手段相关，包括忽略背景、非现实主义的色彩和线条、抽象的造型等等。（）还对视觉模态和语言模态进行对比，说明二者的符号潜势并不完全对等，例如图像可表达双向及物过程，小句则不能；小句可表达单个参与者的物质事件、情感类言语过程等，单帧图像则难以再现上述意义。视觉语法成为描述图像意义的适用语法，在多模态分析中得到广泛应用。 （）的“听觉语法”对听觉符号（说话、声音、音乐）的语义资源进行了系统的分类，相应的听觉符号分析也证实了“每
14、一种符号模态都会自动实现三大元功能”。例如，广播剧的声音包括背景音、特征音和存在音，声音的分层和广播剧所要表达的 “视角”（）和“社会距离”（ ）密切相关，属于听觉符号的人际意义资源。 还分析了听觉符号和视觉符号在表达意义方面的差异，例如，音乐（声音）突显的意义是其人际功能，而概念功能和组篇功能则几乎无关紧要。听觉语法在对音乐的分析中得到广泛应用，但是学者们对于听觉符号的意义特征观点不一。 （）认为：在音乐中符号的意义首先通过序列（组篇）实现，只有生成了连贯的乐篇才有可能讨论概念和人际意义，因此组篇意义为音乐符号系统所突显的意义。（）则通过对杰克逊音乐的分析提出了自己的“音乐语法”，即：音乐的
15、意义是一个双层系统，第一层是音系组合层，体现纯粹的组篇功能，第二层是解读层，体现乐篇的概念和人际功能。图文关系是多模态符号学必须关注的问题。从人类语言的“物种发展”来看，早期的文字和图像有密不可分的“同祖”关系，从人的个体语言发展来看，儿童早期的书面语发展往往经历用文字逐渐代替绘画的过程。现代社会多模态复合话语中图文关系的复杂程度远远大于 “象似性”文字和儿童的图文作品。早期的图文关系研究（如和）分别对待图、文，似乎各自的“语法成分”只对本符号系统负责，与其他符号系统没有互动作用。从社会符号学角度来看，图像不只是有赖于文字诠释的形式，它和语言一样，对社会现实和心理现实既具有再现作用，又具有重构
16、作用。符号本身的内在潜质和局限决定语言和图像对于实现类似的语义关系有着各自相对独特的方式和符号效用，二者之间存在各类语义关系，各自又有不同的语义分配，因此多模态符号学寻求图像与文字的综合理解方式，从而为各种交流模态提供理论基础和实践手段。（）建立了一个分析多模态话语中图文关系的综合模式，以解读共通的符号原则如何在不同交际模态中起作用，图文关系语法被应用于研究各种模态间关系，在 （），（）， （）的文集中，多项对于模态间关系（包括广告、卡通书、博物馆设计等）的研究应用了上述分析模式。多模态语类特征研究符号活动的语义选择由语境决定，社会活动因语境不同而产生不同的语义需要，并最终体现为不同的表达形式
17、。因此，观察类似的、复现的语境下的社会活动，往往可以发现符号系统的类型规律。对某种“活动类型”的符号特征的研究就构成了语类研究。语类研究不仅能够揭示表达形式、意义、语境之间的关系，而且有助于改善人们的话语行为：人们可以根据特定的语境预测可能出现的表达形式，也可以根据话语实例推测其所属的语类和所体现的语境。随着符号手段的不断丰富，对多模态话语的语类特征研究显得意义重大，它能够解释为什么社会文化生活中不断有新的语类浮现、有旧的语类发生改变、有两种语类在融合、有一种语类发生了裂变，甚至帮助人们对尚未出现的语类进行预测、分析并引导文化策略。多模态符号学家从不同的角度研究了多模态语类特征、语类关系以及多
18、模态语类的分析方法，其研究领域涉及传媒语篇、科学语篇、数学语篇、教科书、儿童图书、广告话语、多媒体演示、网络话语、影视作品、视频游戏等多种类型。多数研究以视觉语法为基础，提出适用于特定语类的多模态分析模式，并试图揭示文字和图像这两套符号系统对特定语类的语义贡献。英国经济社会研究委员会支持的“语类和情态”项目（： ）研究媒体语篇如何通过“布局”展示其语类特征，以最大限度地实现整体意义（ ， ，）。通过对比纸质和电子媒体的多模态实现方式和语类特点，研究发现：二者最大的差异在其“导航”意义的实现方式“导航结构”。在纸质媒体中，各种语式的关联往往利用索引（）、主题（）、标题（）等手段，信息引导往往通过
19、首页的要点要闻引导实现，各类语式的衔接更依赖于层次关系、空间分割、字体字号、边框线条和图像等直接的符号方式。而电子媒体则更依托技术手段进行分层链接，常常通过各类“超链接”来强化导航效果，导致电子语篇比传统印刷语篇具有更强的交互性（）和可塑性（）、更广的选择自由度、更强的阅读进程控制力和更多样的语篇结构（ ）。正如（）所说，电子语篇因为有了超链接这一技术手段，使得阅读成为一种自由的“旅行历程”。对“导航结构”的研究凸显了非语言模态在话语中的重要作用，也将非语言类的“细节性选择”带到话语阐释的突出位置。（）关注科学语篇的多模态性，揭示多种“视觉符号”如何以互动的方式参与到意义的构建之中。一方面图画
20、、图表、照片、地图、符号代码等视觉素材能帮助读者更好地解读文本，另一方面读者也往往需要文本的解释来正确理解非语言素材的含义。他将科学语篇的多模态语类特征归纳为：每一种符号系统自成体系，实现表征、导向和组建三大功能，彼此无法替代；符号系统间又能相互作用，通过符号的“联合构造”产生模态的跨界意义，从而实现意义的“增值”。他认为科学语篇按照该语类独特的“组合符号原则”表达三重语义。 （）对报告类和解释类科学语篇的分析进一步揭示了这一语类的多模态特点。新加坡国立大学的“多模态分析实验室”（： ）对数学语篇的“多模态性”进行了归纳（ ）：数学语篇利用语言、象征性符码和视觉图像图表等符号资源各自的语义潜势
21、、相互的语义融合以及从一种符号转为另一种符号所产生的语法隐喻和语义扩展来生成语篇的多重意义，三类资源相辅相成，具有语法上的内在联系，构成科学语篇的总体语法。除对具体的数学文本进行了多模态解析外，还从语义潜势的角度分析了科学、数学语篇与纯文本语篇的区别，他们发现科学、数学语篇通过符号所表征的现实与语言所表征的经验具有本质的不同，如等同型关系过程（）中参与者是数字或者不确定的变量，操作型过程（）中参与者不存在主次之分，数学等式表征的经验往往没有动因、中介的区分。试图建立一个“数学语篇的语法模型”，以揭示该语类独特的多模态意义构建方式。“计 算 机 介 入 语 篇 的 分 析”（： ）是多模态研究的
22、又一关注点。耶鲁大学教授（，见胡壮麟：）批评是一种把格式看得比内容重要的“病毒”，引发了关于价值的讨论。胡壮麟（）则通过对于课堂演示的语类分析驳斥了上述观点，他认为首先要区分作为语篇的演示文稿和作为语类的演示形式，其次要了解演示独特的意义构建和传递模式：语篇是借助工具创建的多种模态，点句、图像、图标、色彩音响等媒介各自具有提示性、直观性、分析性和劝诱性等不同的典型模态功能，共同参与主题意义的表达；计算机技术手段在意义的构建和传递中起到至关重要的作用；演示者根据主题、环境、对象和本人技术水平可作多维选择，以将想定的功能和模态有机融合（胡壮麟，胡壮麟，董佳）。胡壮麟（）还对网络流行的多模态小品进行
23、了语类特征的总结：小品中的模态有不同的组合，如文字、乐曲、图象、动作；对同一语篇意义的表达可以采用不同模态，这些模态既可分别使用，也可同步使用；在多种模态同步使用的情况下，其中一至二种模态是主体的，其余模态起陪衬作用。对于计算机介入语篇的分析能够引导多模态产品的消费者（如演示者和多模态小品阅读者）了解人们在表达意义时具有对不同模态的选择可能，了解不同模态间的符号关系能够帮助人们更好地参与社会活动和实现活动的价值和意义。社会场所的再符号化多模态化不仅导致当代话语的内部结构和语义特征发生变化，还对各种场所的社会控制、权力关系、意识形态、行为方式产生影响，新型社团的出现及其运作方式都是语码变革的结果
24、：“常规语码的权势、意识形态以及抵制方式都在变革之中在跨国消费社团中，物流、服务流以及符号生成高密度编码的超现实或超媒介，形成了具有共同文化意识的新区域和场所。”（ ：）（，）等批评话语分析者敏锐地察觉到权势和意识形态在这些新型的区域和场所中的“隐蔽性运作”，而这些“运作”又无不涉及特定场所话语活动的“再符号化”（）。所谓“再符号化”指因社会组织结构变化而产生的符号模式和符号间关系的重塑，它是人类活动及其意义表征系统在“历史维度和物质维度的动态变化过程”（ ：）。这里的符号模式包括语言、视觉听觉方式、空间整合方式和行为方式等各类具有意义潜势的符号系统。正如语言中一些新生的结构和组构会慢慢为公众
25、接受并进入词典库，特定场所的某些符号模式中的某些新生意义搭配也会随时间变得相对固定，被人们默认和接受。同时，新符号模式的影响会波及传统的符号模式，传统符号模式因此出现新的意义指代以呼应新的意义系统。而所有的符号变化都体现着相同的社会语义趋势。批评话语分析者普遍意识到有必要研究话语如何以多种模态共同参与并改变社会、社会行为方式和社会结构，尤其是某些社会场所（如企业、机关、媒体、课堂、医院、家庭等）中社会实践活动方式的多模态“再符号化”过程。（，）研究了医院等社会机构中因内部结构变化而新生成的意义如何通过不同的符号模式得以巩固。研究表明，社会机构中存在着繁多的符号系统，例如短暂符号模式（对话方式、
26、神态表情、手势体势、着装等）、长期符号模式（工作场所的空间格局等）和新的活动模式（小组会议模式、就诊模式）等。社会机构模式的变化（如新型管理模式、产品生产模式的出现）会直接影响旧有的符号模式甚至产生新的符号模式。这样的例子在社会生活中屡见不鲜。例如企业、机关为加强“团队精神”并保留“个人空间”，将办公室进行棋格布局，这同时改变了员工和经理的交流方式；为改善医患关系、保护患者隐私，医院设置独立的就诊空间和建立新型的导医系统，这使得医生、护士的话语系统、行为方式之间的类型差距更为显著；工厂为明确员工岗位职能而设计多类别的工作服等。社会机构总是处于“再符号化”的进程中。课堂作为一个教学场所，其符号系
27、统也随着社会关系、教育理念、教育内容的变化和符号手段的更新而进行重整。“学校英语的生产状况”项目（： ）对中学课堂的多模态化展开调查，指出话语方式的多模态趋势对课堂活动的符号体系提出重构的要求。其中， （）探索了科学课课堂中的意义如何通过言语、书写、图像、身体、行动和与其他物体的互动等得到实现，尤其关注这些模态意义之间的交织和互动如何产生新的意义，以及教师在这个对话过程中如何提供概念的与修辞的框架，从而使学生积极参与。这项研究证实非语言符号在课堂中并不是仅仅起到辅助作用，动作、手势、图像等是教学过程的有机组成部分。这项研究对语言在教学过程中的主导地位提出了质疑。上述研究不仅说明多模态符号学对课
28、堂教学具有积极意义，还指出新的符号形式影响课堂人际意义和学生素质的培养。（）对比了大学生物课、中学文学课、小学音乐课等不同教育层次的课堂活动，发现体势、图片等非语言符号的综合应用不仅对教学效果有极大促进，而且有助于培养一种“民主意识”（：）。（，）的研究证实课堂多种符号意义系统对教师的教学态度、教学方法和学生的参与程度、学习效果产生影响，例如课程标准、课堂分组情况和座位安排、教师在教室的走动、教具的使用、师生的言语方式、师生的目光交流和手势等，语言仅是众多“沉默的”互动方式的一种，多模态意义的发生方式或者制约或者促进了学生的能力提高。同时，（）还批评说，在技术发展为课堂的多模态提供更多可选的情
29、况下，课堂并未合理地利用多模态资源，误用或滥用反映了对课堂多模态的研究不足，也揭示了英国教育制度的某些缺陷。多模态文化的发展影响着教育的改革和创新，多模态不仅是现代课堂教学和教科书的显著特点之一，也是当代生活的基本表达方式。在新的教育语境下，联合国教科文组织将“”重新定义为：“在各类语境下利用书面或印刷材料进行识别、理解、阐释、创造、交流、计算的能力”以及“帮助个人实现目标、拓宽知识、发展潜能、全面参与公共生活”的综合素质（译自胡壮麟：），鉴于当代生活已经不可避免地向多模态的方向发展，现实生活的表征方式不仅丰富多样，而且处于不断的更新之中，那些仅以培养学生理解和使用规范书面语言能力为目标的“读
30、写教育”显然是对“”的狭义解读，无法为学生将来面对工作和生活提供充分有效的帮助。“新读写能力”、“多元智能教育”作为未来人才培养的必经之途也是多模态符号学研究的重要领域。有待探索的空间回顾多模态符号学研究的发展历程和当代多模态符号的研究现状，我们发现这个学科还存在一些未能解决的问题和尚待探索的领域，以下领域尤其具有拓展和深入的空间：）各种模态的系统语法研究自 （）系统地分析了图像意义并建立视觉语法后，对于二维视觉符号及其意义潜势的研究取得较大进展，但是对同样参与意义构建的非语言、非视觉符号的研究还不够深入，某些“和语言差异较大的符号系统”虽有案例研究（ ），但是缺乏系统的语法框架和分析模式，例
31、如听觉符号的意义系统、三维空间布局的符号意义等。）模态间关系研究多模态话语分析倡导用兼容的分析框架研究构成话语的各种符号模式，探讨多种符号模式间的搭配如何能够产生新的整体意义。到目前为止，对模态间关系的研究仅限于讨论图文关系，对于其他模态与图像和文字的意义构建关系研究不多。因此，多模态现象中如何通过“选择符号间关系扩展意义”（ ），如何“把多媒体的意义生成资源综合应用到超语篇使意义增值”（），如何进行多模态化的类型学研究，都是今后需要深入研究的问题。）批评性多模态研究多模态研究中的“话语”已超越谈话、书面语篇等以语言为主要表达方式的言语行为，社会活动中的各种符号方式都是多模态话语分析的对象。因
32、此，多模态话语分析势必将符号和社会活动、社会文化背景相联系，关注各种符号系统在自身所处的社会情境下、在特定社会活动中和价值体系基础上的运行机制和变化过程。就像话语分析的发展终将涉及社会批评这个话题一样，研究多模态话语体现的话语秩序、意识形态、社会关系、社会实践等是多模态话语分析必然的发展方向，相关研究论题包括：工作场所的符号间性和再符号化过程，多模态化在学术、教育等情境下的应用，多元智能教育研究，多模态符号与身份构建等。）多模态研究的学科融合多模态符号学关注非语言的符号模式，一方面有些模式从历史发展来看先于语言产生，大多已形成传统的分析方法、鉴赏系统和术语，另一方面随着现代科技的发展和人类社会
33、生活的变革，新的符号体系不断产生并对固有的符号体系产生影响。多模态研究亦需要探讨方法问题，即在研究中采用何种视角和方法，才能将社会符号学、传统符号理论结合进来并适应新的符号现实的问题。从以往的研究方法来看，多模态符号学家并不排斥传统理论，而是将其他符号学流派、文化研究、人类学、民族志研究、美学研究、戏剧研究等领域的理论纳入功能语言观中进行综合分析，生成了许多独创性的理论框架，使多模态话语分析更加系统化。同时，一些多模态符号学者还开始关注社会符号学和其他语言学视角的相互借鉴和融合，（）、 （）和 （）等几位学者就尝试将交互社会学、语体学、认知语言学等领域理论融入社会符号学视角之中，对多模态互动分
34、析领域做出新的尝试。（）指出多模态研究领域出现了越来越多的融合性视角，而且都和社会符号学有着不可分割的渊源，融合性的视角一定有益于找到多模态互动分析更有效的途径，因此如何在多模态研究领域建立学科融合是多模态研究的一个重要话题。在现代科技日益发展的今天，多模态研究还应该充分利用科技和媒体优势，优化研究方法，包括研究如何建立多模态化语料库，如何合理利用互联网、计算机的资源和技术优势对多模态语料进行转录和分析，如何利用数字媒体技术设计和应用多模态分析软件以研究复杂的意义生成行为，等等。此外，（）还提出，多模态话语研究源于语言学，关注新媒体，但是如何让多模态研究造益于语言研究，多模态话语分析能以什么方
35、式、在多大程度上给语言学带来新的变化，才是语言学家真正关注的话题。结语作为社会符号学的一个应用型分枝，多模态符号学既是一门新兴的“学科”（ ：），是一种“理论和方法”（ ：），也是一种“理论应用的视角”（ ：），更是一类值得研究的“领域”（ ：）。本文介绍了多模态符号学的主要理论基础和研究思路，社会符号学研究者普遍关注的领域和话题。我们看到，社会符号学视角下的多模态话语研究自上世纪年代后期开始至今，始终围绕着如何将功能语言学观扩展运用到所有符号模式这个主题展开，现有的分析成果证明：功能语言学视角下的多模态话语分析是完全可行并卓有成效的，多模态符号学不论在理论框架的建立还是在分析实践的范围和深度
36、方面都取得了较大的学科发展，多模态研究对于社会文化生活也具有较大的影响。总的说来，多模态符号学目前还处于起步阶段，多数研究止步于对各种符号模式进行描述和说明。在年的第十二届全国功能语言学研讨会上，胡壮麟教授（）在大会发言中指出，多模态研究是一个有“难度”的、有“科技含量”的“新学科”，对于多种媒介参与的社会文化现实的研究需要“语言以外的素养”，可见，要做到合理地解读多模态符号如何生成意义以及构建一部适用的多模态语法，要做的工作还很多。然而，多模态化是社会发展的必然趋势，多模态符号研究是一个极具潜力和社会价值的学术领域，对多模态符号的研究必将有助于人类对于自我、社会、符号、意义等人文核心问题的再
37、认知，也必将对社会的良性发展有所贡献。注释：由于本文将多次引用 （）的阅读图像：视觉设计的语法， （）的多模态话语：当代交际的模式和媒介，（）的多模态转录和文本分析和 （）的多模态研究：正在探索的问题和研究领域四本著作，故在下文分别缩略为：（），（），（）和（）。近期国内外多模态符号研究综述见李战子、陆丹云（）。关于系统功能语言学的系统网络、元功能、级阶、层次化等核心理论如何在多模态符号研究中得以延伸和应用，参见陆丹云（）。参考文献：， ： ：，：， ： ：， ： ： ，： ， ：， ： ， ：， ， ： ， ， ： ：， ： ， ：， ：， ： ： ：，（）：，： （）：， ： （）：， ： “” ， ：， ：， ？：， ： ：， ：
