多模态即席话语研究(txt+pdf+epub+mobi电子书下载)

作者：张佐成,邢建玉,王彦,朱美慧,孙建秋,刘建新

出版社：世界图书出版广东有限公司

格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT

多模态即席话语研究试读：

第一章 导言

本书是国家社会科学基金项目《多模态即席话语的语料库分析》（项目号07BYY003）的结项成果，包括在项目研究过程中完成的13篇论文。本章介绍项目的研究目的，评述研究取得的成果，并对一些关键的理论问题进行讨论。

一、研究目的

我们申报项目的初衷源于对人际互动中语言和其他模态关系的兴趣。人际互动是基于意义交换的人类行动。话语分析领域的研究者把人们在互动过程中使用语言的实际情况作为研究对象，揭示了语言使用方面的许多规律。近20年来，话语分析已经从单纯对人际互动中语言的使用的研究扩展到对包括语言在内的多种模态的使用的研究，即多模态话语分析。我们发现不同的模态在即席话语中似乎有某种互补机制。一个突出的表现就是单纯从一个模态（如从言语）来看，话语似乎不连贯、不完整，而交际活动本身却在进行和顺利完成。这说明即席话语本身是连贯的、完整的。模态之间的相互关系值得探讨。这种研究有助于我们更好地认识语言的本质，探求语言背后的社会现象的实质。

目前，多模态话语分析初步形成了系统功能语言学多模态话语分析、多模态互动分析和语料库语言学多模态话语分析三种理论方法。我们也注意到有国外学者，例如Jewitt（2009），把以系统功能语言学为理论基础的多模态话语分析分为两派，与多模态互动分析并列为三种理论方法。这些理论方法在多模态即席话语分析中的应用是我们关注的另一个方面。

我们项目的研究内容可以概括为四个子课题：多模态即席话语的分析范畴、多模态即席话语模态之间的互动机制、语境因素与多模态即席话语、多模态即席话语语料库的建设和使用。

多模态即席话语分析的一个难点是构建分析范畴，这包括对即席话语的认识、话语分析的层面、各层面的内容、话语切分的依据和方法等等。Gu（2006）提出了社会心理层和个体行为层的分析范畴以及各自层面的分析内容。他认为话语是一种社会交往活动，涉及说话、做事以及说话兼做事这些不同类型的具体行为。把这些具体行为进行电子记录就形成了多模态话语。多模态话语表现为“视觉信息流”（video stream）。社会心理层包括社会情境、活动类型和任务／场景。个体行为层包括说话、做事和说话兼做事。对视觉信息流的具体切分，则采用时空、社会角色、功能及目标实现范式方面的线索。在多模态即席话语分析中这两个层面之间的关系需要清晰描述。个体行为层面是人际互动中说话、做事、说话兼做事之类互动者以及研究者可直接观察到的行为。这三类行为之间应该存在某种连通，使得微观层次的这三个方面能够贯穿起来。对多模态即席话语进行切分的依据和方法也需要具体研究。

多模态即席话语中各模态的作用和模态之间的关系是多模态即席话语分析的核心。在人际互动中互动者运用了哪些模态？这些模态对互动分别起了什么作用？有关模态在互动过程中相互之间是什么关系？这些问题仍然是多模态话语分析中还没有解决的问题。要抓住和描述多模态即席话语的机制，就需要对各模态的使用和其相互关系有一个清晰的理论框架。

话语分析的一个基本前提是承认语境和文本之间的互动。即席话语受语境因素的影响，例如活动类型、场景等对即席话语有塑形作用。如何认识和处理语境是多模态即席话语分析的重要内容。

全面描述多模态即席话语的特征和工作机制需要把多模态即席话语使用的各种模态集成展现在一个视窗界面和操作平台上。这样既便于对各个模态分别进行研究，也便于开展模态之间关系的综合研究。这涉及语料库工具在多模态即席话语研究中的作用。语料库软件工具（例如ELAN）的集成能力，把各个模态的使用进行标注并共时展现在同一视窗界面上，为我们观察它们之间的互动机制提供了条件。另外，多模态即席话语复现性的研究也需要采用语料库的方法。如何建设多模态即席话语语料库、如何使用它是我们希望探讨的问题。

二、各章内容简介

在项目研究过程中，我们完成了13篇论文，依次放在本章之后，分别对我们关注的上述问题进行了探索。下面逐一对各章探讨的核心问题和得出的结果加以介绍和讨论。

第二章是对多模态话语分析形成的三种理论方法的述评，由张佐成、陈瑜敏撰写。近20年来，经过国内外多模态话语分析学者们的努力，目前已经形成了系统功能多模态话语分析、多模态互动分析和语料库语言学多模态话语分析三种理论方法。这三种理论方法的理论渊源、具体分析范畴、步骤、工具各有特点，分别已经在不同类型的多模态话语的分析中得到应用。这些理论方法都认识到人类互动时运用到多种模态，各个模态都有自己的、来自于人类实践的意义系统。因此，它们对我们研究多模态即席话语都有价值。由于多模态即席话语也是人际互动和人类实践的表现形式，我们可以运用、补充和发展现有理论方法中的概念、方法来研究它其中的具体问题。

第三章至第六章是我们试图对多模态即席话语、语境、互动机制和语料库构建这些重要问题的理论探讨。第三章主要阐述我们对多模态即席话语的概念、特征的认识，提出分析范畴和语料切分方法，由张佐成、刘建新撰写。多模态即席话语涉及话语、文本、语境、活动、实践和意义这诸多范畴的内容。在话语研究的大背景上，我们提出多模态即席话语的现场性、模态间互动性、动态可切分性和复现性这些特征。依据这些特征，我们提出多模态即席话语分析的微观、中观和宏观层面以及把片段作为分析单位的方法。语料切分则根据模态的特征和人际互动的阶段性来操作。

第四章由朱美慧撰写，阐述多模态即席话语分析中的语境问题。作者对传统话语分析和多模态话语研究中关于语境的认识进行了评述，提出多模态即席话语分析中自上而下和自下而上两种处理语境的思路，以及在多模态即席话语分析中根据相关性原则选择语境因素的观点。

第五章由邢建玉撰写。他在现有关于模态之间关系的研究成果的基础上，提出从语言模态与非语言模态之间的关系、非语言模态之间的关系、模态所起作用、模态选择和交流场景的关系等方面考察多模态之间关系的观点，还归纳出模态之间互补、反向互补、非互补三种互动关系，并对各种互动关系的细类进行了讨论。

第六章由王彦撰写。多模态话语语料库的建设是语料库语言学研究的前沿问题（Baldry ＆Thibault 2006）。以单一模态的语料（书面文本、口头语料的文字转写）为内容的语料库比较成熟，形成了一系列的语料采集、标注、处理和应用的技术方法和评价标准，但多模态话语语料库涉及多种模态。这些模态之间的相互关系尚处于探讨中，如何收集语料、如何处理、如何评价多模态话语语料库因而没有一个统一的标准。本章作者提出把社会学和语言学有关理论结合起来构建多模态即席话语语料库的思路，并具体讨论了商务和学术多模态即席话语语料库的语料库结构、语料选择标准、分析范畴、语料标注和处理等关键问题，还结合一个语料分析实例展示了多模态即席话语分析的方法。

第七章至第十一章是我们以商务话语、学术话语和媒体传播话语为例进行的多模态即席话语的实证性分析。由于多模态即席话语的语料库分析整体上还处于探索阶段，我们采用了从个案分析着手的路径，希望通过具体的语料分析来加深对有关多模态话语分析理论方法的认识，探索分析多模态即席话语的方法，为进一步研究积累经验。这五章实际上是我们研究过程的阶段性成果。

第七章由邢建玉、邓达山撰写。邢建玉、邓达山选择跨文化商务会议中尴尬场面作为分析对象，考察会议参与人的语言模态与身体姿势、手部活动、头部活动、面部表情、眼神等交流模态在其中的相互使用及所构建的意义。他们的分析结果表明，语言模态能够单独构建某个意义，如“不悦”。而“尴尬”这个意义则通过语言模态和其他模态的合力来构建。另外，其他模态对“不悦”这个意义有强化作用。把语言模态和其他模态构建的意义都考虑进来，对商务会议参与人现场的行动进行细腻的描述，这帮助我们全面认识跨文化商务交际这种人际互动，对交流障碍（如“不悦”、“尴尬”）的产生、表现以至最终处理的研究提供了有价值的信息。

第八章由张佐成、王昕撰写。本章以学术会议主旨演讲者的专业身份构建作为研究对象，考察主旨演讲者运用语言模态和音韵、面部表情、手部动作、眼部动作、头部动作等模态完成一系列行动的情况。在学术演讲这种多模态即席话语中，主旨演讲者以语言模态搭建学术背景，扮演学科成员和学科专家的身份，同时，音韵、手部动作、头部动作则对语言模态表达的意义予以强调。注视这种眼部动作模态把听众介入到互动之中，参与演讲者构建的话语空间，协商和确认演讲者的专业身份。微笑这种面部表情模态和注视一起，构建了演讲者的个人身份，为专业身份的构建服务。这项研究表明，多模态即席话语作为人类互动和社会实践的方式，包涵了丰富的内容，构建了像身份这样抽象的意义。而通过对模态这种社会文化中介的考察，我们可以了解和把握这些内容和意义。

第九章由朱美慧撰写，分析产品发布演讲这种重要的商务话语类型中演讲者在产品揭幕这一关键片段运用各种模态的特点和不同模态之间的相互关系，最终目的在于探讨这些特点和关系对实现企业的营销传播目的的影响。在分析过程中，作者以模态使用为着眼点，观察它们构建的行动，并具体描述了演讲者使用多种模态构建的三个行动：发表演讲、提升企业形象和控制播放投影。该章的分析方法表明，我们可以对人类行动这样现场的、动态的活动进行准确的把握，描述它的阶段、过程和效果。

第十章由张佐成、李雪芳撰写。所用语料是两场大学生模拟商务谈判的视频。作者们着眼于谈判手在争论、纠正和拒绝三种不同程度的威胁面子行为中以语言、音韵、手部动作、头部动作、眼神、面部表情模态为方式的缓解策略，发现谈判手运用语言模态实现了多种缓解策略，而音韵、手部动作、头部动作、面部表情对语言模态表达的意义进行强调。研究发现，眼神和面部表情的配合有与对方互动的作用，同时还表达了致歉或感谢的意思，构成了一种对语言模态所表达的威胁面子行为进行缓解的策略。

第十一章由王彦、黄颖撰写。她们研究了电视访谈节目《鲁豫有约》中主持人给受访人的反馈信号。通过对该节目30个视频中语言、非语言、语言伴随非语言三类形式的反馈信号和它们的功能的分析，研究者对它们的效果进行了讨论。反馈信号是电视访谈中主持人一方针对会话另一方（受访人）的话轮，实际上是主持人的反馈这种言语行为。研究者发现这种言语行为受到受访者和主持人两方面因素的影响，包括他们的性别、年龄、职业、社会地位、彼此熟悉程度等。

第十二章由张佐成、朱美慧撰写，是利用初步建成的商务学术语料库进行研究的一项成果。我们从前面各章所述的具体研究中看到一些有倾向性的现象，例如即席话语中参与人自身的模态使用具有某种系统性和连贯性，似乎存在自身的模态选择的系统，通过模态的选择的变化来表达特定的意义；参与人之间也存在某些相似性，例如在表达同样意义时所选择的模态和模态之间的互动也具有相似性。鉴于此，我们利用上述商务学术语料库来对一个具体的言语行为——表达不同——进行研究。我们从语料库中提取了三类学术话语体裁（包括学术讲座、学术会议演讲、学术讨论）的视频，对其中的表达不同片段进行标注、统计，试图对我们的关切有一个回答。研究结果表明，多模态即席话语中互动者使用模态有一定的规律性，体现在语言和非语言模态的共现具有一定的复现性。

第十三章涉及模拟商务谈判这种多模态即席话语的教学研究，由孙建秋、陈冀撰写。多模态即席话语研究的目的除了话语分析、语用学、语料库语言学和语言工程这类理论和应用研究外，一个重要的目的是教学与培训。从前面各章对即席学术、商务话语的多模态研究中我们可以看出，人类互动运用了多种社会符号资源，语言只是其中一种。要完成即席话语这种社会活动，尤其是商务谈判这样高风险的行动，需要谈判手对语言模态和其他模态有透彻的了解才能在现场有良好的表现。本章介绍了目前我国模拟商务谈判教学的现状和做法，阐述了商务谈判中多种模态的应用和因不当应用而导致的问题，最后还对实践中模态间的关系加以总结归纳。这篇论文显示多模态话语研究对教育、培训的重要价值。这也可以看作是专业话语教学实践对多模态即席话语理论提出的研究诉求。

第十四章由刘建新撰写。多模态即席话语分析是以人类互动为研究对象的。话语分析可以有众多的研究取向、目的和因之选择的研究方法，研究关注的方面和结果也会不同。例如，Bhatia（2004）指出，话语分析有教育导向的分析和社会导向的分析。前者重视对文本的分析，后者则关注文本的社会意义方面的问题。本章作者在对整个项目研究过程、成果进行回顾和提炼的基础上，结合当前话语分析的趋势，认为即席话语研究以话语实现的社会意义为最终目的，提出多模态即席话语分析的三个层次：关键片段分析、最小语境分析、模块化分析，并对模块化分析所涉及的三个方面做了具体讨论。本章可以看作我们对多模态即席话语分析研究取向、研究方法的理论提炼，对进一步开展即席话语分析应该具有指导意义。

三、研究成果的意义和进一步研究的问题

我们研究多模态即席话语的目的是更好地了解人际互动的机制和意义。通过分析不同类型的多模态即席话语，例如商务会议、电视访谈、学术演讲、商务谈判、商务演说，我们深化了对多模态即席话语的认识，探索出了一些新的研究路径。（一）多模态即席话语的特征

一般涉及即席话语往往关注它的现场性，即话语发生的时间、空间、场所、活动等（顾曰国1999；Gu 2002；Gunnarsson 2009）。现场性特征无疑非常重要，但我们发现在即席话语研究中还应该注意到多模态性、动态性和复现性这些特征。即席话语从本质上来说是一种人类互动。Fiske（2011）指出，人类互动是人类以意义交换为目的的活动，包括意义沟通、协商和传递。意义传达和转递，作为社会行为，需要借助各种社会符号或者模态（Kress ＆van Leeuwen 2001，2006；Norris 2004）作为中介来进行。因此，人类互动具有多模态的特征。动态性体现在作为人类的活动和实践，即席话语表现为一个具有连续性与阶段性特征的动态过程。即席话语动态性当然首先是由其现场性决定的。同时，即席话语不是一个单一的、静态的行为，不仅涉及言语行为，也涉及各种非语言行为，以及各种包括身体使用在内的工具化和技术化行为。即席话语的连续性强调话语的发生是在特定时间、空间和文化语境内的持续行为，而不是分离的片段。这与即席话语是意义交换的本质相关。现场性和动态性并不意味着多模态即席话语是个别或随机的行为。相反，即席话语具有自己的复现性，话语生发有可以辨认的形式（Gu 2006；Norris 2004）。一方面，人类互动是意义交换活动。意义的产生、交换和消费是有历史和现实条件限定的。人类在以往的实践中形成的对事物的认识和经验构成人类的意识（Vygotsky 1978），经由历史沉淀，形成某种特定意义，构成一个个认知图式，成为当前互动过程的中介。人们根据所处的时空条件来调用历史形成的认知图式（这种调用可以是有意识地也可以是无意识或自动地），对它进行更改、更新、提升来进行当前的互动。这是即席话语复现性的一个体现。另外，人际互动是人类的行为，包括语言使用和其他模态的使用。每个模态都是一套符号系统，表达特定意义及潜在意义。这样，人们运用这些物质性或文化性的工具进行活动就不完全是私人的而是社会性的活动（Vygotsky 1978；Engeström 1999）。这类社会性活动往往有章可循。关于话语体裁的研究成果为此提供了例证。体裁是人们对反复出现的交际情景的修辞反应（Miller 1984）。也就是说，尽管某个具体的交际情景看上去是现场的、暂时的、个别的，但是该交际情景的处理却受体裁的限制，从而使该交际事件成为体裁存在和分类的一个具体实例。具体的即席话语反复体现着话语体裁的特征，这是即席话语复现性的例证。（二）多模态即席话语模态间的互动机制

我们进行的实证研究表明，多模态即席话语模态间存在有趣的互动机制，有模态间的相互强化，如商务会议、商务谈判、学术演讲中音韵特征、手部动作、点头对语言模态表达意义的强调；有模态间的互补，如商务谈判和学术演讲中语言模态表达负面的信息，面部表情的微笑和注视模态配合表达歉意，从而成为缓解威胁面子的策略。我们在具体个案分析的基础上把模态间的关系归纳为互补、反向互补与非互补三类，对即席话语中模态间互动关系进行了一个比较全面的描述。（三）多模态即席话语语料库的建设

我们在对多模态即席话语特征进行分析的基础上，提出了语料选择、处理、结果输出和分析的一套思路，初步建立了一个商务学术多模态即席话语语料库，并利用它开展了具体的研究。（四）在研究方法上四个方面的创新

1）我们提出了微观、中观和宏观三个分析层面。现有的两种多模态人际互动的分析框架中都有分析层级：社会情景、任务或花絮、行为（Gu 2006）；人际互动事件、高一级行动、低一级行动（Norris 2004）。前者自上而下，从最高层级社会情景到最低层级行为。后者自下而上，从低一级行动到人际互动事件。两者的分析单位都是具体的低层级上的行为，例如具体的行为或行动。我们在两位先行者研究的基础上，提出多模态即席话语分析包括三个层面：①微观层面，即由说话、做事、说话兼做事构成的能够表达完整意义的互动片段，相当于个体行为层（Gu 2006）；②中观层面（互动片段缀连成的统一体，体现为人际互动的阶段）；③宏观层面（由各种片段统一体构成的完整的人类互动）。这种分析方法的优点在于分析过程中我们可以把行动从模态使用的微观观察和行动的宏观社会价值统一在一起，把个体行动和社会结构连接起来。我们以片段，尤其是关键片段作为分析单位。Gu（2006）的理论框架从整体上把握了人际互动，提出了说话、做事、说话兼做事这些研究者可以观察和把握的人际互动者的具体行动和它们的功能，但他没有关注这些行动使用的模态。我们在分析中采用他的说话、做事、说话兼做事这些概念，自下而上，从低一级行动入手，辨别模态的类型、模态作为中介完成的行动和其功能类型，逐次往上。简言之，片段就是分析单位，包括说话、做事、说话兼做事这些通过模态中介执行的具体的行动。Gu（2006）所讲的如活动类型、任务、花絮等社会心理层的内容一方面是多模态即席话语分析的内容，同时它们也构成了具体行动的中介工具，就像人们的即席话语产出是受话语体裁知识中介一样（Berkenkotter ＆Huckin 1995）。因此，多模态即席话语分析的单位就是以模态和与之相关的社会文化图式作为中介工具的互动片段。片段中的说话、做事、说话兼做事三者之间的贯通是模态和社会文化图式中介作用的体现。这样，Gu（2006）分析框架中个体行为层的内容得以进一步丰富，而且对之有了连贯的解释。

2）即席话语划分阶段时我们把模态的使用和活动类型的特征结合起来考虑。活动类型特征是即席话语复现性的表现，而模态使用密度的特点是现场性的一个体现。我们把两者结合起来可以比较准确地把握即席话语的阶段。

3）文本分析和对参与人的自我分析结合起来。话语分析往往关注人际互动中参与人外化的各种表现，对之进行描述和分析。但人际互动是社会心理活动，还需要考虑参与人自身未表达因而研究者不可能从话语中得到的信息。我们在研究中注意到采用互动参与者的访谈语料提高多模态即席话语分析的有效性。例如，我们对商务会议和商务谈判比赛的语料除了文本分析外，同时还访谈了商务会议参与人对自己经历的认识以及比赛点评专家的观点。这种把“研究者视角”（etic perspective）和“亲历者视角”（emic perspective）结合起来的方法对我们增强语料解读的有效性大有帮助。

4）我们在分析语料时注意到从参与人自身表现的系统角度来判断他们行动的意义和意图。这本来是话语分析的一个基本原则，但在话语分析实践中往往存在研究者主观臆测的情形。我们试图克服这一方法上的局限。例如，在分析某个片段的模态使用时我们考虑参与人的选择系统，即他的常态是什么，如互动中一般是面带微笑或面容严肃，而此时此刻面部表情是什么。通过对他们的模态选择系统的描述和现场互动的具体选择，我们对模态中介的行动的解读应该更有效。

即席话语的多模态分析是话语分析的发展趋势。通过本项目的研究，我们对即席话语，尤其是商务话语和学术话语两种重要的即席话语运用各种模态来完成人际互动的状况有了比较深入的了解，初步描述了语言和其他社会符号资源在这些不同的社会活动和领域中使用时的互动机制，提出了一套分析多模态即席话语的分析范畴、单位和切分处理的方法。研究成果对话语分析理论、语用学理论关于文本和语境的关系的进一步认识也有价值。我们也为使用语料库研究多模态即席话语提供了经验。多模态即席话语中互动者使用模态有一定的规律性，他们似乎有稳定的模态和模态意义选择系统。

我们的研究成果揭示了学术话语、商务话语和媒体话语中人际互动运用模态的特点，这些对语言教学和培训是有价值的信息。人际互动中动用多种模态，对这些模态表达意义的敏感和应对，对成功开展人际互动非常有价值，也可以避免不必要的交流障碍。例如本书第七章所示，跨文化商务会议中参与人使用语言和面部表情、坐姿等模态分别构建了不同的信息，而另一方对此没有适当回应，从而失去了处理尴尬局面的机会。Norris（2007）对商务演讲中拉美裔美国人运用各种模态表达不同意义和信息的研究亦显示了对多模态互动中多重意义构建的敏感性的重要性。

进一步的研究我们希望能够把参与人的行为尽可能更精确地描述出来，例如对互动者的意义选择系统进行完整描述，从而使对互动者即席话语中的模态使用进行解读更加有效和可信。这样也便于生成范畴把其表现形式化，利于计算机语言处理建模时参考，同时也可以为推断话语的心理过程提供思考的问题和方向。具体可以通过对特定互动者在整个会议、谈判、演讲中的各种模态完整进行标注，而不是仅仅标注和关注关键片段，从而得出其模态选择系统。

在研究方法上，需要继续探索如何运用语料库工具把离散的各个模态的使用状况和相互关系进行标注和输出，找出模态之间的互补方式。这是多模态即席话语语料库语料标注和输出要解决的问题，也有赖于语料库工具自身的完善。

另外，在研究目的取向上，我们除了要继续关注多模态即席话语本身的研究，例如模态间的互动关系，还要重视模态运用构建的各种社会意义，例如社会身份、传播效果等等，使多模态即席话语分析在深度和广度上都进一步拓展。

我们衷心感谢各位语料提供人，特别鸣谢中国管理现代化研究会国际商务谈判专业委员会，你们的慷慨支持使我们的这项研究才有了可能。我们向有关专家学者在学术会议上给予我们的宝贵反馈意见致以诚挚的谢意。我们也感谢帮助转写语料的研究生、本科生同学。项目的五位评审专家对我们的结项成果提出了建设性的评阅意见，为我们修改成果稿和进一步研究指明了方向。项目组成员在项目进行过程中克服各种困难，这本书算是对大家互相促进、协作、攻难克关的一次纪念。

第二章 多模态话语分析三大理论方法述评

在当今多模态话语分析的热潮中涌现了一批研究者，逐步形成了三种系统连贯地分析多模态话语的理论方法：①以Gunther Kress和van Leeuwen为代表，从社会符号学角度出发，在功能语言学研究的基础上构建理论框架、确定分析范畴，通常被称为“系统功能符号学”（systemic functional semiotics）或“系统功能多模态话语分析”（systemic functional-multimodal discourse analysis）。②以Norris为主要代表的“多模态互动分析”（multimodal interactional analysis）。③Gu提出的语料库语言学多模态话语分析，以社会行为心理学、行为生态学和感知生态学为指导对人际互动鲜活的状况进行分析、建模，为语言工程服务。本章尝试讨论三者各自的理论基础和具体分析方法，并探讨它们对多模态即席话语分析的启示。

一、系统功能多模态话语分析

系统功能多模态话语分析的理论根源是系统功能语言学（Halliday 1994；Halliday ＆Matthiessen 2004；Martin 1992）和社会符号学（Halliday 1978；Hodge ＆Kress 1988；van Leeuwen 2005a）。模态指的是“符号模态”（semiotic mode）（Kress ＆van Leeuwen 2001：20）。常见的符号模态包括语言、图像、声音、空间和身体动作等，主要以符号系统的数量来界定多模态话语。

系统功能符号学首先在对语言符号的研究中发展其理论体系，“将语言视为社会符号……就是要在社会文化语境中解读语言，从符号的角度将文化本身解读为信息系统”（Halliday 1978：2）。多模态话语的解读同样必须考虑语境因素。语境是系统功能符号学中一个重要的概念，指交际发生的符号结构或符号环境（Halliday 1978）。语言与社会语境之间是“复杂的自然辩证关系”（Halliday 1978：183），通常用“体现”（realization）一词描述，语言积极地以符号的形式来表现社会系统，构建着社会系统同时也被社会系统所构建。系统功能符号学关于其他符号系统与社会语境关系的论述，很大程度上借鉴了语言与社会语境的体现关系。“层次”（stratification）思想和“元功能”（metafunction）假说对构建多模态话语的符号学分析框架意义重大。层次思想提供了考察多模态现象的三个角度：语境层、表达层及内容层内部（Matthiessen 2007：3-4）。系统功能符号学的研究重点为内容层内部，即考察各符号模态运作的规律性特征、不同符号模态如何共同在特定语境中制造意义及模态间的关系。基于对意义的研究而提出的元功能假说为解决以上问题提供了视角。功能被视为意义演化的基础（Halliday ＆Hasan 1985：17），语言以外的其他符号模态（如图像、音乐和动作等）也具有多功能性（Kress ＆van Leeuwen 2006；O'Toole 1994；van Leeuwen 1999；Martinec 2000）。符号在使用过程中同时产生概念、人际、组篇三大意义，这种符号内在的多功能性可以往上延伸到语境层，分别对应语境中的语场、语旨和语式（Halliday 1978；Halliday ＆Hasan 1985；Martin 1992）。这样，符号内容层的多功能性和语境因素就密切联系在一起，为在社会语境中解读符号选择的意义提供了理论前提。（二）分析方法

以视觉平面图像为例，图像的社会符号学分析主要有两种思路，分别以O'Toole（1994）、Kress和van Leeuwen（1996，2006）为代表。O'Toole（1994）把语法中用于描述语法单位等级关系的级阶概念用于分析美术作品和建筑，提出“作品”（work）包括“情节”（episode），情节包括“人像”（figure），人像包括“部分”（member）等级阶（1994：37）。他将三大元功能贯穿于上述分析单位，从高到低各级分析单位都体现三大元功能。O'Toole（1994）的功能—级阶方法在数学符号（O'Halloran 1999，2005）和建筑（Stenglin 2004）研究中得到应用。

Kress和van Leeuwen（2006）的符号学分析法在音乐（van Leeuwen 1999）、网页（Knox 2007）等非线性、动态语篇的研究中得到应用和发展。他们秉承了功能语法中的元功能思想，认为视觉图像跟其他所有模态一样都履行再现经验世界、表达信息制造者和接收者之间的交流和图像中参与者与观看者之间的互动、以及视觉资源的构图布局三方面的要求（Kress ＆van Leeuwen 2006：41-44；具体可参阅李战子2003）。他们遵循“选择就是意义”（meaning as choice）（Halliday 1994）的原则，用系统网络方法表现模态选择的意义潜势及各选择间的“析取选择”和“合取选择”关系（胡壮麟等2005：56）。譬如，互动意义包括接触、社会距离和态度三个子系统，见图2-1，它们之间是合取关系（即同时要在这三个子系统中进行选择），用大括弧表示；各子系统又包括多个选项或二级子系统，选项间是析取关系，用直角括弧表示。通过考察符号子系统间和选项间的关系，话语分析者能较全面地描述并把握图像中参与者和观看者间复杂微妙的人际意义。图2-1　图像中的互动意义（Kress ＆van Leeuwen 2006：149）

Kress和van Leeuwen（2006）重视系统功能语言学中的“拓扑学”（topology）方法。在讨论图像中的情态时，使用“连续统一体”（continuum）来描述各情态标记的程度计量，以此分析不同语境中的“编码导向”（coding orientation）（即不同语境中图像真实程度的标准）；在讨论构图意义中的显著性和连结程度时，也采用拓扑学的视角。此外，他们采用功能语篇分析中常用的功能标签（如动作者、目标、环境成分等）来描述图像中再现的人物／非人物参与者、情景因素等；采用投射概念描述带有对话泡／思维泡的图像里话语内容由说话者／感受者作为中介进行协调的特点。

Kress和van Leeuwen（1996，2006）将语言研究中发展起来的分析范畴和方法扩展到对图像的研究时考虑图像自身固有的特点。譬如，图像中的过程类型就并非像语言及物系统那样包括物质、行为、心理、言语、关系和存在六类（Halliday 1994），而在确定过程类型前，先根据“矢量”（vector）的有无，将再现分为“叙事再现”（narrative representation）和“概念再现”（conceptual representation），其中叙事再现包括行动过程（图像中的人物肢体或工具等元素形成斜线从而构成矢量）、反应过程（当矢量是图像中人物的目光时）、言语／心理过程（当矢量是对话泡／思维泡时）。而不具备矢量的概念再现则可细分为分类过程（参与者之间存在同属某一类的从属关系）、分析过程（参与者之间是整体—部分的关系）和象征过程（参与者分别为承载者—象征属性）。再如，在表述方面，以行动过程及其环境成分为例，语言中通常用行为动词来体现的意义，在图像分析中通常由矢量来体现；在语言中使用介词来表示的方位关系，在图像中其体现形式常为前景和背景的对比（Kress ＆van Leeuwen 2006：46）。不同符号模态（譬如书面文字和图像）在体现类似的语义关系时，具有各自特定的体现方式。此外，该分析法承认某些语义关系只能由某种／某些模态来体现，或者说某些语义关系用某种／某些模态来体现更为容易，这与符号模态本身的表达潜势和局限性有关，也与特定的历史社会文化语境密切相关（Kress ＆van Leeuwen 2006：46）。

就交际语境中各符号模态间的关系和互动而言，系统功能多模态话语分析也有系统、连贯的分析方法，强调要在不同符号模态“同步的、如同管弦乐般的配合”（Bateman 2008：1）当中研究多模态话语的意义。这类研究包括对同一语篇中各符号模态间关系的考察，以及对多个多模态语篇之间关系的研究两类。Lemke（1998）指出，多种符号系统互动产生的意义并非简单的相加，而是一种复杂的类似相乘关系的意义新秩序。对同一语篇中各符号模态之间的关系可以从概念意义（Lemke 1998；Royce 1998，2002；O'Halloran 1999；Martinec ＆Salway 2005）、人际意义（Martin 2001，2004）或者组篇意义（Kress ＆van Leeuwen 1996，2006；Martin 2001，2004）的角度入手研究。

从概念意义出发的模态间关系研究，包括借鉴语言学中的词汇衔接（Halliday ＆Hasan 1976）发展出的“符际互补关系”（intersemiotic complementarity），即重复、同义、反义、上下义、部分与整体、搭配（Royce 1998，2002）；结合Halliday（1994）的逻辑—语义关系（即扩展、延伸、增强）和Barthes（1977）对图文关系的分类（即图像阐释文字、文字阐释图像、图像和文字平等的接力关系）发展出的试图能被计算机识别的图文关系系统（Martinec ＆Salway 2005）；利用电脑数字技术进行图像加工，对概念意义的隐喻性构建中的图文关系的考察（O'Halloran 2008）。关于模态间互动产生的人际意义，Martin（2001，2004）指出图像如同比喻，能在读者心中激发起对所描绘事物的评价，从而与相应的文字一起共同表达评价意义。在组篇意义方面，Kress和van Leeuwen（2006）从已知—新信息结构、理想—真实信息、中心—边缘的信息值等方面分析了图文关系。Martin（2001，2004）认为Kress和van Leeuwen（2006）的信息值分析框架可以加以扩展，考虑主位—述位关系，即充当信息主位的图像具有人际主位（Halliday 1994）的功能，因此能“顺化”（naturalize）充当述位的文字的评价意义。

对多个多模态语篇之间的关系则可以从“重新符号化”（resemiotization）（Iedema 2003），以及在不同符号模态之间实现翻译（Martinec ＆van Leeuwen 2007）等方面进行探讨。Iedema（2003）提出重新符号化，认为这是多模态话语研究中不可或缺的视角。重新符号化强调产品产生的社会构建过程而并非产品本身的信息呈现，考察在此过程中为何某种符号（而不是别的符号）被运用。Martinec和van Leeuwen（2007）探讨了将文本翻译成图表的可能性，基于中心—边缘等关系将文本和图表归纳成多个类型，提出个体和联系等分析单位。个体在文本和图表中可以分别通过参与者和“节点”（node）来体现；联系在文本中可以通过关系过程和衔接来体现，在图表中通过“连线”（link）来体现，从而使图文转换成为可能。

二、多模态互动分析

Norris（2004：10）指出，多模态互动分析吸收了互动社会语言学、中介话语分析和多模态研究等方面的研究成果，并采用摄像机和计算机作为研究工具。具体来说，从互动社会语言学中吸收的概念包括“实时互动”（real-time interaction）和“使用中的语言”（language in use），吸取了多模态研究中重视音乐、色彩、身体动作模态等做法，认为“人类互动”（human interaction）是人类以各种形式的符号（模态）作为“中介的行动”（mediated action）。（二）分析方法

多模态互动分析法采用“模态密度前景—背景连续统一体”（modal density foreground-background continuum）的分析框架，认为互动是通过言语、“距离”（proxemics）、“身体姿势”（posture）、“手部动作”（gesture）、“头部动作”（head movement）、“注视”（gaze）、“场景布局”（layout）、“印刷物”（print）、音乐等模态的各种协同使用来进行的，每种模态都是一套符号系统，在人类互动中言语模态并不总是起主导作用。每个模态的使用都有自己可观察到的过程，例如起点、持续和结束，因此可以分别进行描述。人类互动被视为一个交际事件，由一系列“高一级行动”（higher-level action）构成，每个高一级行动由若干“低一级行动”（lower-level action）构成，整个交际事件有可以辨认出的阶段，各阶段都有自己的由各种模态协同执行的“前景化的高一级行动”（foregrounded higher-level action），同一交际事件的其他高一级行动仍然存在于“社会行动者”（social actor）的“意识或注意”（awareness or attention）里，但却被“背景化”（background）或“中景化”（mid-ground）。以访友为例，它是一个交际事件，可分为多个阶段。初到友人家阶段访友是高一级的前景化的行动，而到后来的阶段，如和朋友聊天、哄孩子玩等则成为高一级的前景化的行动，访友这一在前一阶段被前景化的行动此时变成背景化的行动，但是它仍然处于访友者的意识或注意里，而且对其他高一级的行动具有结构作用。各个阶段之间的变换存在过渡，使用言语或其他模态来完成。

针对各个模态之间的关系以及各个模态在意义表达过程中是合力还是各自表达各自的意义，Norris（2004）指出，各个模态有合作表达意义的情况，例如讲话时语言、手部动作、头部动作、注视等不同类型的模态都对正在进行的讲话行动有贡献，但同时不同的模态还在完成其他高一级行动。例如Sandra访问朋友Anna的过程中，她的注意焦点是和Anna进行交流，但同时她抱着Anna的女儿，使用触摸模态和那个女孩互动，尽管这种互动不是前景化的高一级行动。Norris（2004）还发现了各种模态使用的次序，例如身体姿势模态的启用稍先于言语模态，注视则通常在言语结束之际出现。

人类互动作为一个连续的动态的过程，话语分析者如何把它进行切分是一个难题。Norris（2004）提出根据行动者对有关行动的注意或意识的程度来进行切分：最受行动者注意的是前景化的行动，最不受注意的是背景化的行动，中间还有中景化的行动。这些都是高一级的行动。由于这些行动都是以有关的模态作为中介的，而模态的使用是可以辨别的，密度高（即多种模态并用或某些模态密集使用）的高一级行动是前景化的行动，因此，人类互动的过程能够辨认出阶段来。

三、语料库语言学多模态话语分析

对鲜活的、自然发生的人类互动加以研究，对之进行抽象并构建机器可以处理的互动模型，Gu（2006）提出了语料库语言学多模态话语分析。这种方法的依据是“社会行为心理学、行为生态学和感知生态学”，采用“面向对象的软件工程中的模型构造法”（顾曰国2006:22）。他把模态定义为“人类通过感官（如视觉、听觉等）跟外部环境（如人、机器、物件、动物等）之间的互动方式”（顾曰国2007:3）。人类互动运用多种模态来进行，是“饱和的人类经验”（saturated experience）（Gu 2008，2009），从不同视角进行观察都能得到有效的数据，即“多视角原则”（principle of multiordinality）（Gu 2006:129）。对人类互动的复杂现象顾曰国（2006:24）提出采取“角色构建”的概念，把参与人、物、场景布置等有关的角色之间的各种关系进行深度描述，构建各种角色互动的模型。（二）分析方法

Gu提出采用解剖学的思路来对多模态话语进行处理。首先，他把人类互动看作是“在一定时空中发生的社会行动”（social action over space and time）（2006：133）。多模态话语分析的内容是完整的“社会活动／社会情景”（social encounter/social situation）（Gu 2006:131）。但他坚持区分行动／目的和意义／交际两对概念，反对把人类行动简约成交际行为，赞成在研究人类互动时要强调互动的目的结构（Gu 2006:134）。

人类互动被看作是一套“社会情景”（social situation）和“社会行动者”（social actor）在社会情景下的各种说话、做事和／或说话兼做事行动（2006：138）。社会情景是连通社会和个人的桥梁，其目的结构决定活动的类型和具体的行动，对个体的行为既有“框定作用”（framing function），也有“使成作用”（enabling function）。“活动类型”（activity type）是“文化认可的活动的范式”（culturally recognized activity）。活动类型的目的决定具体行动的性质是“任务”（task）还是“花絮”（episode）：任务是实现活动类型核心目的的行动，花絮是实现活动类型边缘目的的行动（Gu 2006:142）。社会情景、活动类型、任务／花絮三者属于三个不同层级的范畴，层级之间具有体现关系：第一层由第二层构成，第二层由第三层构成，三者共同构成该理论方法的第一个层面：“社会心理层面”（sociopsychological layer）。第二个层面是“个体行动层”（individual behaviour layer），关涉人和人互动中的具体行动，分为说话、做事或说话兼做事三种，说话、做事都可以再分为“行为”（act），而行为又可以分为言外之力的“韵律单元”（prosodic unit），即实现行为的言外之力的词或音素。

采用这两个层面和各层面内部的范畴，Gu发展了一套对鲜活的人类互动进行描述的理论框架。按照这一分析框架，首先辨认出人类互动的社会情景，包括一个或若干的社会情景，再把它划分为活动类型，再划分为任务／花絮。再就个体行动从说话、做事或说话兼做事三方面具体细分为各种言语行为、动作行为直至各种言外之力的实现成分。

顾曰国（2002:490）在谈语料库采样问题时指出，“录音取样原则上应该是我们对语言与社会、语言与各种社会活动的关系有着整体的且深刻的认识的基础上进行的”。在把握多模态话语的时候也要依据对参与话语的各种角色的深刻的、整体的认知，这种认知是可能的，也是人类互动过程中实际在发生的。社会心理层面具有心理现实性（Gu 2006:148），在社会化过程中通过学习和体悟人们懂得了自己文化中的有关社会情景、活动类型以及与之联系在一起的行动哪些是任务／花絮。个体的行动有头有尾，是可以观察和描述的。

对于模态之间的关系，Gu没有做详细的论述。他的分析重点在多模态话语的内容上。这种分析方法把人际互动分成“内容层”（content layer）和“媒介层”（medium layer）。内容层是摄像机采集到的代表人际互动的视频图像；媒介层是内容的承载者，根据不同的计算机处理工具而有不同的成分。以视频图像为例，模态实际上是用来分析视频内容的计算机软件工具所能处理的媒介，如声音、身体姿势、动作等等。对多模态话语内容的切分，Gu（2006）提出根据时空转换、人体之间音质差异、活动过程等线索来处理的步骤和方法。

四、上述三种理论方法对研究多模态即席话语的启示

系统功能多模态话语分析、多模态互动分析和语料库语言学多模态话语分析各自的理论依据和具体方法多有不同，但它们从不同角度和方面揭示了人类互动的本质。人类互动是人类以意义交换为目的的活动，即传意活动（Fiske 2011）。人类互动可以是人类之间面对面的互动，也可以是人类和自身创造的文化产品如书画、物品之间的互动。从形式上看，面对面的人类互动和人类与文化产品的互动是两类不同的互动。对研究者而言，实际上两者之间存在许多共同之处。首先，互动是以意义交换为前提的，在面对面的互动中，双方都产生意义，成为对方消受的对象；在人类和文化产品的互动中，文化产品作为对人类经验的物化，本身就充满了意义，成为对方（人）消受的对象，消受的也是意义。因此，两种互动只是形式上不同，本质上是相同的，即都是对意义的产出和理解。

意义的产生、交换和消受是受历史和现实条件限定的。人类在实践中形成的对事物的认识方式和认识结果形成“惯习”（habitus）（Bourdieu 1977），是人们互动过程中有意识或无意识运用的认知图式，对处于具体时空条件下的人类互动提供了互动的框架和方式，同时也对互动起到限制作用。另外，人类互动具有多模态、连续和即席的特征。传意作为社会行动，需要运用各种模态来进行。语言只是一种模态，除它之外还有距离、身体姿势、场景布局、物品等多种模态在人类互动中发挥作用（Norris 2004，2007）。多模态话语的“即席性”（situatedness）决定于话语发生的具体时空条件和社会条件（Gu 2002，2006）。

三种理论方法不仅揭示了人类互动的本质特征，还就如何探究人类互动提供了路径和方法。系统功能多模态话语分析在系统功能语言学的基本思想基础上，把语言、声音、图像看作社会符号，在社会符号学的平台上分析它们的使用（Kress ＆van Leeuwen 2001）。在语言分析中发展起来的概念，例如及物性、情态、信息结构、衔接和连贯，也被拓展应用到其他模态的分析中，例如从图像（O'Toole 1994；Kress ＆van Leeuwen 1996，2006）扩展到色彩（Kress ＆van Leeuwen 2002）、排版式样（van Leeuwen 2005b）和数学符号（O'Halloran 1999，2005），从视觉符号扩展到听觉音乐声响（van Leeuwen 1999）和手势动作（Martinec 2000；Hood 2007），从二维平面到三维立体（Stenglin 2004；Martin ＆Stenglin 2007），从静态页面到动态超文本（Lemke 2002b；Djonov 2007；Knox 2007）和电影电视（Baldry 2004；Baldry ＆Thibault 2006；Thibault 2000）等等。

多模态互动分析把人类互动看作通过各种模态的中介作用而开展的社会行动，重视对人类互动实况的考察，力图使话语分析反映社会行动复杂的实际情况。例如，Norris（2007）关于受访者演讲中构建种族身份认同的研究表明，受访者运用言语模态来构建自己作为“拉美人”（Hispanic/Latino）的身份认同，这是前景化的高一级行动，同时她还完成了中景化的高一级行动，即构建自身的墨西哥族裔的身份认同，这是运用手部动作、面部表情等模态来完成的。这种分析方法抓住了人类互动多层次、多目标的状况，使得分析结果更加全面和深刻。语料库语言学多模态话语分析对人类互动的研究建立在对之从多视角所进行的整体、深入的理论认识和分析的基础上，把人类互动分为社会心理层和个体行动层，对之进行全景式地细致分解和描述，并运用语料库的方法把各种有关信息集成处理，抽象提炼出一个个模式，达到对人类互动的深入认识，以便为人工智能工程服务（Gu 2006）。

这三种理论方法对多模态即席话语分析具有多方面的启示作用：①多模态即席话语分析的内容。多模态即席话语是在具体的时空和社会条件下进行的人类互动。人类互动是一种社会行动，通过各种符号系统来进行。我们需要揭示这些符号系统的意义、目的、过程和方式，以更好地认识社会文化的“意义潜势”（meaning potential）。②多模态即席话语的分析范畴。人类互动运用的各种模态都是一套符号系统，各个模态之间的互动存在规律。人类互动体现为可辨认的类型，每个类型都有可辨认的过程，过程的实现可以通过模态的使用来观察。这样的话，多模态即席话语的分析范畴就应该包括社会情景类型、目的、任务、模态的使用等核心内容。③提供了对语境这个复杂问题进行处理的手段。

一般的话语分析涉及语境时往往把它作为言语发生的背景，援引语境因素来解释各种言语特征。系统功能语言学多模态话语分析中语境是分析涉及的一个层面，是意义的所在，被体现层的词汇语法特征来实现。在多模态互动分析中，语言之外的模态没有被当作语境，而是和语言模态共同作用来传意的资源，也就是说没有把语境单列为一个分析层次。语料库语言学多模态话语分析从整体上把握人类互动，提出了社会心理层，个体的说话、做事或说话兼做事这些行动发生在社会心理层的分析之上。不管是否把语境作为一个单独的层次，语境和多模态即席话语的分析如影随形。Norris（2004）所讲的背景化的高一级行动实际上就是前景化的行动的语境，只不过前景化的行动也会演变成中景化和背景化的行动，成为新的前景化行动的语境。Gu（2006）所提出的社会心理层也是人类互动的语境，因为它是话语参与人在人类互动时运用的社会文化资源。这三种理论方法还对多模态即席话语中模态关系的分析提供了技术路径和手段。

多模态即席话语分析以社会行动者为中心，以他们进行互动时意识到的、利用的模态和利用的方式（Norris 2004）以及人类互动自身的肌理（Gu 2006）为线索和依据，而不把分析者的理论范畴和概念强加到人类的实际互动中。语料库数据集成功能能够把多种模态的各个范畴集成展现在一个视窗界面和操作平台上，便于对模态之间的互动进行观察、切分和分析（Gu 2006）。

五、结束语

人类互动是多模态的、动态的意义交换过程。系统功能多模态话语分析、多模态互动分析和语料库语言学多模态话语分析分别关注了其不同的方面。多模态互动分析和语料库语言学多模态话语分析更注重多模态话语的即席性。由于多模态话语的即席性特征，从研究的路径上来讲，多模态即席话语分析都存在以个案研究为基础、从实例着手进而概括的倾向，但语料库语言学多模态话语分析明确运用语料库工具，有可能在大量个案和实例研究的基础上对多模态即席话语的特征进行理论归纳。从对影视产品的多模态话语采用语料库方法进行的研究（Thibault 2000；Baldry 2004；Baldry ＆ Thibault 2006，2007）所取得的成果来看，语料库语言学多模态话语分析对揭示人类互动的规律具有更大的前景。

第三章 多模态即席话语的分析范畴

多模态即席话语是我们的研究对象。本章就多模态即席话语的概念、特点和分析范畴进行具体阐述和诠释。

一、话语研究背景上的即席话语

即席话语分析作为话语分析的分支，需要参照相关的话语研究概念及研究方法和手段。话语、文本、语境、活动、实践、意义等概念是认识即席话语的基础，须逐一讨论，以深入了解即席话语。（一）话语

话语是包括即席话语在内各种话语实践的统称。话语研究的范畴比较宽泛，往往可以指各类认知和经历的表现形式。日常生活中的各种事件，不论远近、可见与不可见，都可以看作话语的例子，如青少年犯罪、吸毒、暴力、堕胎、伊拉克战争、金融危机、互联网色情等等。有些话语涉及日常生活，内容非常琐碎，比如朋友聚会、街头巷议、闲言碎语等。有些主题比较宏大，需要专业知识或专门学习才能了解，如全球暖化、核辐射防护等。话语的复杂性、其表面上的非相关性以及各种事件、现象、社会习俗在其中的复杂整合使得话语概念显得不太容易理解和把握。

Gee（1999）提出了“小写话语”（discourse）和“大写话语”（Discourse）的概念。小写话语指话语中的语言使用形式，范围较窄。大写话语的范围比较宽泛，侧重语言使用中意义及相关的身份体现。Gee认为语言的形式不能离开语言的功能及讲话者的意图而独立存在。Blommaert（2005）则认为话语是与社会、文化、历史语境相关的各种人类活动的符号表现。此观点将话语放在社会历史语境中理解，同时又注重语言和语用的重要性。

从方法上讲，Zellig Harris（1952）最早提出话语分析应关注大于句子的语言单位，目的是纠正语言学研究中对句子及句法结构的过度强调。Harris的分析侧重书面和口头语篇，不过也意识到了非语言因素对语篇的影响。后来的研究者基本上都是在此基础上的延展，即从语言学角度出发，观察语篇特点，如衔接、语篇标记、语篇结构关系等（Brown ＆ Yule 1983；Halliday 1994；Halliday ＆ Hasan 1985；Martin 1992）。另一类学者受福柯的谱系理论和新马克思主义意识形态理论的影响，侧重对语篇中的权力关系等现象的分析，所研究的范围涉及各类热点社会议题，如全球化、全球变暖、女性平权等（Fairclough 2006；Wodak 2001）。此类学者分析具体文献，但更关注宏大叙事和对相关社会状况和语境的一般化描述。

大体而言，语言学角度的研究重点落在文本本身和分析方法上，而社会学角度的分析更偏重理论与社会现状和现实间的联系。侧重文本的话语分析包括对小句、承接、关联、指代及体裁的研究以及最近对模态间关系的研究（参见Baldry ＆ Thibault 2006；Bateman 2008；Brown ＆ Yule 1983；Celce-Murcia 1990；Halliday 1994；Halliday ＆ Hasan 1985；Harris 1952；Martin 1992；McCarthy 1991；Nystrand 1982；Swales 1990；Thompson ＆ Hunston 2000）。侧重社会关系的话语分析关注语篇中所反映的社会阶层关系、权力架构、社会平等、性取向、后殖民化、全球化等社会问题和现象，语篇可能产生的影响以及语篇转化为社会行为的可能性（参见Blommaert 2000，2005；Fairclough 1992，1995b；Fairclough ＆ Wodak 1997；Gee 1999；Harris 1952；Lassen，Strunck ＆ Vestergaard 2006；Lemke 1995；Parker 1992；Scollon 1998；van Dijk 1993；van Leeuwen 2008；Wodak 2001）。批判性话语分析作为其中的一个主要分支，政治上的激进取向尤为明显。

Fairclough和Wodak（1997）指出话语分析一般具有三类功能：描述功能、诠释功能和阐释功能。描述功能涉及话语的文本特征；诠释功能涉及语篇中所包涵的社会文化和认知资源；阐释功能则强调语篇与意识形态、权力等结构的互动关系。Fairclough和Wodak认为阐释功能是话语分析关注的核心功能。当然，其他两种功能同样重要。实际上，三者之间并没有一个明确的界限，实际的话语分析中三种功能往往融合在一起，具体侧重取决于研究者的认识、知识背景、所处的社会环境以及研究的目的和倾向。（二）文本

话语和文本的关系涉及话语分析的出发点和终点的问题。从社会建构理论出发，Fairclough（1992，2003）提出了一套话语分析范式。该范式由文本、言语实践和社会实践三个相互联接的话语层次构成，分析文本的文本化特征，生产、分配和消费以及文本发生的社会实践状况。文本是言语实践的产物。文本意义来自语言，更受特定的社会语境及交际事件制约。前文提到的两种话语分析倾向的差异主要是它们对文本的依赖程度。文本化话语分析主要分析文本中的语言和符号资源，比如词汇、句子、情态、体裁等；社会化话语分析主要分析连接文本特征与各种有关社会群体间的沟通渠道和媒介。

一个文本可以看作一个语义单位、一种产品、一个过程或者一种意义的社会交换。任何口头语、书面语以及通过其他媒介形式表现出来的具体事例，都可以看作文本。Kress和van Leeuwen（2001）因此指出所有文本都是多模态、多维度的。从语言角度看，文本就是简单的说辞，比如打招呼、沉默、谈话、聊天、演讲。从社会符号学角度看话语，文本可以是图像、美术作品、照片、歌曲、动画等形式。几乎所有存在的事物都可以看作是文本，比如一栋建筑物、一件瓷器、一套家具、一台机器及一种设计。甚至人的身体也可以看作是文本，能够通过服饰、发型、纹身或整形手术进行调整和改变。

文本是话语的介质和体现，话语的内容、话题、形式、组织、结构等都可以通过研究文本而获得。通过文本，我们可以了解作者的意图和潜在读者。通过分析文献、访谈、调查及观察，我们还可以在一定程度上预测文本所产生的效果、文本所代表的话语间的联接性以及文本自身建立联接性的能力。我们不一定确切知道这种联接性是如何实现的，但是有可能通过仔细揣摩和观察来解读。

由此，文本可以看作是话语的典型或非典型示例，是话语的例证，是话语和话语特征的具现，是话语在真实世界的代表和存在，是一种表演，也可以是强权阶层和弱势群体共享的工具和手段。同时，文本应放在时间框架下来了解。换言之，文本有过去，有现在，有将来。文本生态（Heyd 2008；Karlgren 2010）的概念或许能更好地描述这种相互依赖同时又相互竞争的状态。（三）语境

语境对分析文本十分重要，包括对文本作为本体的分析，即文本作为实体或者过程；对文本内及文本间关系的分析，即关联性；对文本所占地位的分析，如价值、信仰、影响等（Grabe ＆ Kaplan 1996；Hymes 1986；Saville-Troike 2003；van Dijk 2006，2010）。语境不仅包括文本周围的现实状况，也涵盖人们的意识和互动概念形式。显然，语境不是静态的实体，而是众多层面互动和妥协的结果。

语境具有动态性和多变性。多变性既是文本大小、规模和重要性的反映，又受文本和社会状况以及研究者个人偏好的影响。由此可见，语境往往受现实状况和个人（包括研究人员在内的参与者）的思维图式影响，而个人的思维图式并非一成不变，通常会根据社会情境不断变化。因此，语境分析应是动态的，要受具体的时空因素制约。

语境分析不应求全，而应就关键事件或模块进行分析，同时需考虑两个因素：①特定话语分析需要语境知识的多少；②特定话语分析中语境的起始。研究者需要考虑研究目的、具体的研究问题以及研究者可以获得的资源，来决定哪些语境因素相关或不相关。另外，研究者需要考虑研究项目所处的时空位置，比如所收集资料的地点与资料收集时间长度对资料的影响（Titscher，Meyer，Wodak，＆ Vetter 2000）。

由此，研究人员应遵循相关性、选择性和实在性原则。相关性原则要求语境分析只包括与特定模块相关或显著的语境信息。选择性原则指分析的目的不是为了穷尽语境信息，而是由研究目标决定，不是所有语境因素都需要考虑进来。语境分析应该最小化和具体化而不应该一般化或者最大化。具体的语境因素的取舍要由研究者根据各种现实条件来判断。实在性原则要求语境分析手段应具有可操作性，以明确回答一个核心问题：何人何时何地以何种方式做了何种事体（并由此产生了何种影响）？围绕此问题，过去半个多世纪以来，话语研究者从不同领域出发，提出了诸多语境分类方式，例如远境与近境、思维语境与物理语境、局部语境与整体语境、认识语境与现实语境等（Chilton 2004；Grabe ＆ Kaplan 1996；van Dijk 2010）。为求全面，这些分类方式往往需兼收并蓄，以致变得异常繁杂，难于操作，甚至有用语境分析代替话语分析的趋势，比如van Dijk（2006，2010）最近几年的文章。实在性原则因之要求语境分析不仅要切中要点更应具有切实的操作性，即容易理解、易于上手、便于实行。（四）活动

把话语作为一种社会文化活动来分析，话语分析的目的在于澄清话语和社会文化活动之间的关系。Scollon（2001）在阐述其中介话语分析体系时指出，所有的行动的实现都需要文化或媒介工具作为介质，这些介质包括物质产品（如电脑、汽车、服装、炊具等）和符号工具（如文字、图片、手势等）。行动的发生都会涉及复杂的社会、心理和物质轨迹。中介话语分析侧重民族方志式的实地研究，其中的一些概念和方法，比如中介行动、从事场所、调解手段和实践联接等，把语言和非语言社会理论和分析框架结合起来，在凸显话语和行动间辩证关系的同时，又保证了分析话语和行动时的均衡性。（五）实践

实践需要通过反复重复实现，往往体现一定的规律，同时也非常灵活（Lave ＆ Wenger 1991；Wenger 1998）。实践，尤其是职业实践，具有公共性特征和制度性特征。公共性特征指所有的职业实践活动都有特定的参与人群，具有相似兴趣、爱好等，按照一定的组织方式，定期或不定期的沟通，从事一些活动。制度性特征指专业实践活动往往牵涉到一些专门的组织，比如企业、政府部门、教育部门等等。这些机构有特定的办公场所，有专门的从业人员，通过专门的规章制度、行业规范来指导和约束从业人员的行为。制度性和公共性有诸多相似之处，不过制度性更关注专业实践和机构中规范、信念、价值、意识形态、组织文化等层面之间的关系。从这个角度讲，专业实践活动往往需要在特定的社区和制度情境中发生，受这些情境制约，同时又影响这些情境因素。

要理解专业实践中的公共性和制度性特点，须进一步区分两个重要概念：话语社团和实践共同体。与一般社团不同，话语社团强调参与者所从事的特定活动，比如学术研究、体育运动、网络交友、语言学习、共享软件开发传播等。往往一个特定的话题或者兴趣爱好就可以形成一个特定话语社团（比如雅虎兴趣小组）。话语社团成员间的关系比较松散，参与程度强弱差异也各不相同，只要满足一定条件即可加入，进入和退出相对比较自由，也缺乏严格的界限。实践共同体和话语社团不同，强调其成员所从事的活动以及活动的方式和特点，强调相互参与和共同目标（Wenger 1998）。实践共同体是一种社会学习过程，参与者在一定时期内就某些问题或事体进行协作，通过交流意见解决问题，促进创新。（六）意义

人类互动是基于意义交换的实践和活动。意义在活动和实践中产生、认知和传播。话语研究主要关注意义的三个层面：①意义产生的方式。从符号学来看，这涉及包括语言在内的各种符号。从多模态角度看，意义涉及各种模态间的互动。这也是本项目的一个研究重点。②涉及意义本身的问题，也就是文本产生了或表现了何种意义。这里面有微观的东西，比如文本本身的内容，也有宏观所指，包括互动目标、权势关系、身份构建等等。③意义传播的问题，这涉及文本和话语衍生的社会功用，包括意义传播的方式、形式、范围以及所产生的社会影响和后果。这是话语分析的一个主要走向。这些意义的构建是通过运用各种物质、文化工具来进行的。

综上所述，放在话语研究的大背景上，即席话语可以看作是人类在具体的时间、空间、场所、活动中协商、交换和传递意义的互动行为，是人类运用现有和不断创造出来的物质、文化工具进行的实践的组成部分，可以通过在语境中分析文本来认识和把握。多模态即席话语分析应关注上述有关话语分析的五个层面，即文本传导、语境联接、活动导向、实践相关和意义生成。其中文本既是例证又是介质，语境提供了理解文本和话语的背景和条件，活动强调了即席话语的发生和运作的方式，实践是话语可能发生的条件和土壤，而意义则是各类话语的核心所在。这五个层面，相互渗透，相互依赖，形成了复杂的话语网络，在实际分析中，研究者可以根据研究的性质和目的有所调整。

二、多模态即席话语的特点

本节以“多模态即席话语的特点”为题，之所以在即席话语前加上“多模态”一词既是为了和课题的名称一致，也是为了强调即席话语的多模态特征。我们下面从现场性、模态间的互动性、动态性、复现性几个方面来讨论多模态即席话语的特点。（一）现场性

现场性，顾名思义，即席话语强调话语是在特定时间、空间和文化语境内发生的，具体的时间、空间、场所、活动对即席话语既有制约作用，也有使成作用（Gu 1999，2002），突出强调个体现场即时的参与，体现了社会环境和个体活动之间的相互作用。现场性使即席话语也因之具有了灵活性特征。（二）模态间的互动性

即席话语从本质上来说是一种人类互动。Fiske（2011）指出，人类互动是以意义交换为目的的人类活动，包括意义沟通、协商和传递。意义传达和转递，作为社会行为，需要借助各种社会符号以及“模态”（mode）进行。Kress和van Leeuwen（2001）指出，模态由一套符号构成，具有常规的形式，表达一定的意义。语言是一种模态，此外还有头部动作、手部动作、身体姿势、目光注视、距离、场景布局、印刷物等（Norris 2004）。

模态之间存在多种互动关系来完成人类的意义交换。例如，语言和视觉图像之间既有语言对图像意义的定位即言语起主导作用的关系，例如报纸的图片和图片说明（Fiske 2011），也有视觉图像主导交际事件而语言为辅助甚至不被使用的关系，例如电视广告中使用图像、色彩、音乐、场景布局等符号资源而不必使用语言模态的情况（Norris 2004）。更多实例可参阅本书有关章节中对商务、学术话语中模态使用的描述和分析。

由于人类互动是通过各种模态的符号资源作为中介来进行的，因此，多模态即席话语可以是即兴话语，还可以包括通过讲稿、演示幻灯片以及其他技术作为中介的有准备的话语，例如学术会议、商务谈判、电视访谈。它们都是以社会文化工具（例如语言、话语体裁等）作为中介进行的人类行动。

即席话语研究中如何定义模态并没有一个统一的标准。顾曰国（2007）把模态看作是人的感官和外部环境的互动方式，而Norris（2004）则把模态看作是一套社会符号，是人类行动的中介。模态的定义与划分取决于特定语料的具体特点与形式、研究目的、所使用的手段与技术等因素。（三）动态性

多模态即席话语作为人类的活动和实践，表现为一个具有连续性与阶段性特征的动态过程。即席话语动态性当然首先是由其现场性决定的。同时，即席话语不是一个单一的、静态的行为，不仅涉及言语行为，也涉及各种非语言行为，以及各种包括身体使用在内的工具化和技术化行为。即席话语的连续性强调话语的发生是在特定时间、空间和文化语境内的持续行为，而不是分离的片段。这与即席话语是意义交换的本质相关。即席话语的目标的实现存在阶段性，这样就为话语片段切分提供了依据（Gu 2006）。（四）复现性

现场性和动态性并不意味着多模态即席话语是个别或随机的行为。相反，即席话语具有复现性，体现在话语生发有可以辨认的形式（Gu 2006；Norris 2004）。首先，人类互动是意义的交换活动。意义的产生、交换和消受是由历史和现实条件限定的。人类在以往的实践中形成的对事物的认识和经验构成人类的意识，经由历史沉淀，形成某种特定意义，构成一个个认知图式，成为当前互动过程的中介（Vygotsky 1978）。人们根据所处的时空条件来调用历史形成的认知图式，对它进行更改、更新、提升来进行当前的互动。这是即席话语复现性的一个基本理据。另外，人际互动是人类的行为，包括语言使用和其他模态的使用。每个模态都是一套符号系统，表达特定意义及潜在意义。这样，人们运用这些物质性或文化性的工具所进行的活动就不完全是私人的而是社会性的活动（Engeström 1999；Vygotsky 1978）。这类社会性的活动往往有章可循。

话语体裁的研究成果为此提供了例证。体裁是人们对反复出现的交际情景的修辞反应（Miller 1984）。也就是说，尽管某个具体的交际情景看上去是现场的、暂时的、个别的，但是该交际情景的处理却受体裁的限制，从而使该交际事件成为体裁存在和分类的一个具体实例。这同时解释了语料库方法在多模态即席话语分析中的潜在价值所在。通过对看上去是个别的、具体的文本的分析，我们可以归纳出整个体裁的状况，就像社会符号学多模态话语分析那样，通过对具体话语的分析，得出意义的系统网络，描述整个体裁的意义潜势。

三、多模态即席话语分析的层面、单位和切分方法

多模态即席话语是动态的、灵活的、非线性的和非限定性的，但受社会环境制约。多模态即席话语广泛存在，可以分为多个可辨认的类型。Gunnarsson（2009）研究了各种专业话语，例如学术话语、法律话语、商务话语等，并指出专业话语具有专业知识、目标指向和即席性、规范性等5个主要特征。多模态学术和商务话语作为重要的互动类型，是典型的专业话语。本课题即以即席话语在这两种专业话语中的体现及多模态资源的运用特点为研究重点，采用多模态即席话语的分析方法更好地理解这两类人类互动。

根据前面对多模态即席话语特征的讨论，我们可以把学术和商务这两类专业话语描述如下：专业话语是商务或学术实践共同体的成员在共同体的话语资源（例如话语体裁）和各种有关模态的中介作用下，介入／参加共同体事务的行动。这个行动具有复现性、阶段性，整个话语可以看作由相互缀连的具体行动构成的链条，每个链条的片段都可以进行分析，其中有些链条是行动中关键的部分，称为关键片段，例如学术演讲过程中的现场答问，商务谈判中的讨价还价（Firth 1995）。每个片段都是一个行动，承载着即席性（发生在具体的时空、活动过程、参加者的心理状况等即席话语的特征）。

在具体的切分过程中，我们首先辨认出行动。辨认的依据是模态的使用状况。Gu（2006）提出的解刨人际互动的理论方法中把人类互动分为两个层面：社会心理层和个体行为层，从整体上把握了人际互动的各种关系。他的个体行为层面涉及说话、做事和说话兼做事这些个体行为。个体之间的说话、做事、说话兼做事这些个体行为可以看作Norris（2004）所讲的“使用中介进行的行动”（mediated action），即它们是通过各种模态作为中介来进行的。其次，我们对行动从模态使用所涉及的语境、活动、意义、实践等方面进行细致分析，把行动从模态使用的微观观察和行动的宏观社会价值统一在一起，把个体行动和社会结构连接起来。这个分析过程可以从分析层面、分析单位、切分方法三个方面具体阐述。（一）分析层面

Gu（2006）和Norris（2004）各自提出的分析框架中都有分析层级：社会情景／人际互动事件、任务或花絮／高一级行动、行为或低一级行动。前者自上而下，从最高层级社会情景到最低层级行为。后者自下而上，从低一级行动到人际互动事件。两者的分析单位都是具体的低层级上的行为，例如具体的行为或行动。我们在两位先行者研究的基础上，提出多模态即席话语分析包括三个层面：微观层面，即由说话、做事、说话兼做事构成的能够表达完整意义的互动片段，相当于个体行为层（Gu，2006）；中观层面（互动片段缀连成的统一体，体现为人际互动的阶段）；宏观层面（由各种片段统一体构成的完整的人类互动）。（二）分析单位

我们以片段，尤其是关键片段，为分析单位。Gu（2006）的理论框架整体上把握了人际互动，提出了说话、做事、说话兼做事这些研究者可以观察和把握的人际互动者的具体行动和它们的功能，但他没有关注这些行动使用的模态。我们在分析中采用他的说话、做事、说话兼做事这些概念，自下而上，从低一级行动入手，辨别模态的类型、模态作为中介完成的行动和其功能类型，逐次往上。简言之，互动片段就是分析单位，包括说话、做事、说话兼做事这些通过模态中介执行的具体的行动。Gu（2006）所讲的如活动类型、任务、花絮等社会心理层的内容一方面是多模态即席话语分析的内容，同时它们也构成了具体行动的中介工具。因此，多模态即席话语分析的单位就是通过模态和与之相关的社会文化图式作为中介工具的互动片段。把片段中说话、做事、说话兼做事三者贯通起来的是起中介作用的模态和社会文化图式。（三）切分方法

片段的切分依据模态使用的连续过程和模态互动表达的意义，以社会行为者为中心，以其表达和解释的经验、感情、事实作为分析素材，依据他们互动时意识到、利用的模态和利用的方式，不把分析者的理论范畴和概念强加到他们的实际互动中。Norris（2004）提出的模态分类和Gu（2006）提出的视觉信息流切分原则作为片段切分和标注的指导。在具体的模态标注和分析中，社会符号学多模态话语分析得出的各种模态的系统可以用来分析注视、头部动作、身体姿势等等。例如，Kress和van Leeuwen（2006）提出人物之间的目光的交流（gaze）选择系统包括索取或给予、亲近或距离／疏远、主观或客观这些具体选择，对分析即席话语的注视模态有指导作用。Norris（2004）对行动中模态的使用价值的认识也值得参考。她发现有些模态在行动中至关重要，而有些可以观察到的、现场存在的模态并没有对行动有任何贡献。

四、结束语

多模态即席话语是人类活动和实践的表现形式。研究多模态即席话语让我们有机会重新审视习以为常的日常生活和职业生活，从而获得新的体会和感悟。新兴的多模态语料采集和处理工具为我们提供了技术手段。现有多模态话语分析的理论方法，如系统功能多模态话语分析、多模态互动分析、语料库语言学多模态话语分析，也为我们研究的开展提供了便利。

现代交通工具和通讯技术的发展，如超音速客机、卫星定位系统、互联网的普及等，极大地增加了人类互动的频率和密度，同时使得即席话语概念的界定也益发困难。全球性事件可以在地方性社区传播，而地方性事件也可以瞬间传遍全球，如2011年初美国小镇大量飞鸟死亡事件。社会互动的国际化和跨文化趋势的日益深化，牵涉到更多来自各种语言社区和社会制度的群体和个人，进一步扩展了人类互动的范围和分类。各种专业团体的繁荣，比如国际企业、组织以及学术机构等，进一步模糊了即席话语的界限，同时要求寻找和创造更合适的分析工具、手段和框架。

从多模态角度看待即席话语，既考虑了人类互动的语言和非语言特征，也考虑到了其他辅助因素（如录音手段、储存工具、分析设备和技术以及其他附加层次，包括使用电脑、互联网、互动白板、手机和其他电子设备），从而为研究人类互动的多维性提供了新的研究途径和视角。

第四章 语境与多模态话语分析

一、引言

语境在话语分析中一直是一个关键问题，对话语的解读具有不可否认的重要作用，一向受语义学家、语用学家、人类学家、哲学家和认知学家等的关注。20世纪90年代以来兴起的多模态话语分析，从某种意义上说使话语分析出现了一个多模态转向（Jewitt 2009）。显而易见的是，人们在日常交际和信息传播中使用的交际模态和交际媒体发生了很大的变化，除语言外的多种社会符号，如手势、视觉图像、音乐、动画、身体姿势等越来越多地参与到意义构建的社会实践中并受到研究者的重视。多模态话语分析冲击了传统上语言在交际领域中的中心地位，语言只是模态的一种形式，在人类互动中并非总是起中心作用（Kress ＆ van Leeuwen 2001）。不同的模态各自是一套符号系统，它们在合适的、特定的语境中表达意义，实现交际目的，共同完成交际任务。在多模态话语分析视角下如何认识与处理语境因素，尤其是如何处理多模态即席话语分析过程中的语境问题是本章着重探讨的问题。

二、传统话语研究中的语境问题

把语境作为语言科学的一个概念而进行的系统研究，其历史时间并不长。形式主义认为话语是超出句子的语言单位，与词素、小句一样同属于语言的等级系统中（Schiffrin 1994:24）。因此其话语分析仅限于话语的内部结构，把话语的理想化形式作为研究对象，把语言当作孤立、静止的抽象系统进行研究，而不考虑语境因素的作用。

自20世纪20年代Malinowski首次提出语境概念并区分“文化语境”与“情景语境”后，众多语言学家，包括Firth、Goffman、Hymes、Halliday、Lyons、Fishman、van Dijk等，相继从不同角度对语境进行了阐述，对语境变量的分类以及语境与语篇之间的相互关系做了深入的研究。以Halliday为代表的功能派语言学把话语与社会符号学性质的意义联系起来，认为语境是交际发生的符号结构或符号环境（Halliday 1978），话语分析是研究人们在语境中“如何通过‘使用语言’，即真实的话语活动交换意义的学问”（Halliday 1978:135）。Halliday更侧重于情景语境的研究，还根据情景语境的三要素——话语范围、话语基调和话语方式——建立了语域理论。功能主义把语境看作意义，语言体现并构建社会系统的同时被社会系统所构建。

除了从社会文化角度出发进行的语境研究外，从心理认知角度出发的研究也加深了人们对语境问题的认识。如Sperber和Wilson（1986）在其关联理论中提出了认知语境思想，认为语境是一个“心理建构”（psychological construct），它是动态的、不断变化的。Verschueren（2000）提出了语境关系顺应的概念，认为语境是在听话者与说话者之间的动态交际过程中被创造的，并且随着交际过程的发展而变化。Fillmore的框架理论、Lakoff和Johnson的隐喻理论、Fauconnier的心理空间理论等都强调语言使用与社会心理过程是紧密地联系在一起的，研究语境必须考虑主体的个性特征，从人的心理认知过程来研究语言的生成、交换和理解。

总而言之，传统的语境研究认识到语境对语言使用的重要性，并试图归纳语境变量，探讨这些变量与语言结构或语言功能之间的对应关系。但其缺陷也非常明显，尤其难以适应现代社会的多模态话语的语境分析。

从社会学的角度看，话语是社会实践的形式，是居于社会之中的关于客体的知识形式（Kress ＆ Leeuwen 2001），包含了社会实践活动中的所有符号成分，言语的和非言语的。而传统语境研究对书面语关注较多，对口头交际尤其是即席口语交际很少关注，因此研究时通常把重点放在文本上、放在语言模态上，而忽略了其他交际形式和符号模态。Scollon曾一针见血地指出：“许多语言理论和话语理论，如言语行为理论语言学、互动社会语言学、批评话语分析等，虽然其出发点是把重点放在‘社会行为’，但在实践中仍倾向于把分析重点放在文本上。社会行为的其他方面，以及除语言之外的中介工具都被背景化成为‘语境’。”（2001:4）

其次，传统话语分析普遍采用文本和语境二分的方法，存在着以语言为主、语境为辅的观念和认识，通常把语境作为言语发生的背景，语境似乎只是起补充和辅助作用。而在多模态话语中语言与其他符号资源处于互动中，共同构建意义，因此传统的语境认识无疑在分析多模态话语时会产生重大缺陷。

此外，传统语境研究把交际双方置于被动位置，认为语境先于交际过程而存在，交际受控于语境。但事实上，语境是动态因素，语言交际是动态过程，交际者是具有主观能动性的个体，交际者一方面受到语境要素的制约，另一方面又能够借助各种符号资源来“操纵”语境要素，以达到自己的交际目的。

因此，从多模态的角度审视语境问题，有助于人们更深入、更全面地认识语境，同时认识语境在多模态话语意义构建中所起的重要作用。

三、多模态话语研究的语境观

多模态话语分析作为一个新的分析视角是如何看待语境问题的呢？首先我们从当今主要的多模态话语分析理论方法着手，看它们如何具体看待语境以及语境在话语中的作用。根据Jewitt（2009）的总结，目前多模态话语分析方法主要可以分为三大类：①以Gunther Kress、Carey Jewitt、Theo van Leeuwen等为代表的社会符号学多模态分析法（Social Semiotic Multimodal Analysis）；②以Kay O'Halloran为代表的系统功能语法多模态分析法（Multimodal Discourse Analysis）；③以Sigrid Norris、Ron Scollon为代表的多模态互动分析法（Multimodal Interactional Analysis）。

事实上，前两种分析方法都扎根于社会符号学和系统功能语法，其实质区别不大，只是前者更侧重“符号制造者”（sign-maker），而后者则侧重多模态现象和微观语篇层面（参见Carey 2009）。因此本书张佐成、陈瑜敏（参见第二章）在讨论多模态话语分析的理论方法时把这两种分析方法都归为“系统功能多模态话语分析”，同时加入由Gu（2006）提出的基于社会行为心理学、行为生态学和感知生态学的“语料库语言学多模态话语分析”方法。这三种理论方法由于受不同理论来源与历史的影响，对语境的认识和强调程度也不同。本章从张佐成、陈瑜敏所归纳的三种多模态话语分析理论方法出发，具体探讨它们各自的语境观。（一）系统功能多模态话语分析的语境观

系统功能多模态话语分析的理论框架是社会符号学和系统功能语言学。社会符号学认为语言是典型的符号系统，同时语言之外的图像、音乐、动作等也是符号系统，符号模态具有社会符号性等。此外系统功能语法的诸多思想也被吸收利用，包括多模态是意义潜势；多模态具有系统性，可以用系统网络的方法来表现模态选择的意义潜势；语言之外的其他符号模态也具有概念意义、人际意义和语篇意义三大元功能等等（Kress et al. 1997；van Leeuwen 1999；Martinec 2000；Baldry ＆ Thibault 2006；Kress ＆ van Leeuwen 2006；Matthiessen 2007；Royce 2007）。自然，系统功能多模态话语分析也汲取了系统功能符号学的语境思想，认为语言之外的其他符号系统与社会语境之间的关系，与语言和社会语境之间的关系类似，二者呈现“体现”和相互构建的关系。语境概念在系统功能多模态话语分析中受到相当重视。

1. 符号资源的选择和使用受语境影响

系统功能多模态分析的一个焦点就是研究人们如何在特定社会语境下从可用的模态资源中进行选择、设计，以构建并实现特定的社会意义。此外，系统功能多模态分析对“意义”的生成进行了重新思考，认为符号的“能指”和“所指”之间的关系不是“任意的”（arbitrary），而是“有目标性的”（motivated），即符号和社会语境之间的关系存在非任意性和目标性。也就是说，语境决定意义构建可以使用的资源以及这些资源被选择和设计的方式（Jewitt 2009）。

2. 多模态分析汲取了语域理论的思想

多模态话语的分析和描写与语域有着密切的关系。张德禄（2009b，2010）在讨论多模态话语理论在外语教学中的应用时强调教学设计中模态的选择和调用必须根据教学语境的三个变项进行，即代表话语范围的教学内容、代表话语基调的师生特点和关系以及代表话语方式的教学条件。同时，多模态的使用会引起语域变化。Baldry和Thibault（2006）考察了多模态教材，发现多模态教材中很少出现表示来源（如说话者、感知者、分配者和归属者）的词汇语法手段，而是更多地使用无来源的关系小句。此外，语域不同，各个符号系统的作用也不同，例如数学语篇混合利用语言、图像和数学符号，而这些不同模态在构建数学现实时有着不同的作用和分工（O'Halloran 2005，2007，2008）。

3. 语境被作为多模态话语分析的一个单独的分析层次

系统功能多模态话语分析借鉴了系统功能语法中语言是有层次的、各个层次之间存在着“体现”（realize）关系的“层次”（stratification）思想，认为多模态特征可以通过表达层、内容层和语境层三个视角来审视（Matthiessen 2007）。表达层包括音韵、笔迹、字体等，内容层包括语法和语篇语义，语境层则包括情景语境（即语域）以及文化语境（即语类／话语体裁和意识形态）。语境层通过内容层的语法和语篇系统的选择得以“体现”，通过表达层的系统选择得以具体实例化。此外，多种符号模态的使用必然使表达层产生变化，符号在使用过程中同时产生概念意义、人际意义和语篇意义，符号的三大元功能可以延伸到语境层，分别对应语境中的话语范围、话语基调和话语方式。由此，元功能通过意义系统得以体现。（二）多模态互动分析的语境观

交互社会语言学理论，尤其是Scollon（1998，2001）的“中介话语”（mediated discourse）分析理论是“多模态互动分析”（multimodal interactional analysis）的主要理论依据之一（Norris 2002，2004，2007；Norris ＆ Jones，2005）。多模态互动分析的出发点不是语篇而是人们的行为，其重心从表征和交际转到互动，且互动不限于语言模态，其研究的焦点是社会行为者通过多模态中介工具所采取的行动，强调的是理解行动中的模态。采用这种理论方法的研究者主要研究即席话语和公共场所中的多模态使用，关注人们如何在交际时利用不同模态构建他们所处的情景和身份。

多模态互动分析也重视语境的作用。Norris（2009）指出，社会行为者总是由环境和／或其他社会行为者来共建他们的行动，因此一个社会行为者的行动就无法同环境或／和相关的社会行动者剥离开来。

但多模态互动分析对语境的认识与处理和系统功能多模态话语分析的做法有较大区别：

1. 语境没有被单独列为一个分析层次

这种分析法打破了传统的文本与语境的二分方式，语言之外的其他模态没有被简单地归作语境处理，而是和语言模态并列，作为分析单位和意义资源，共同构建话语的意义。在很长的时间里，语言被视为起中心作用的交际模态，如果不是唯一的交际模态，任何语言之外的东西都归入“环境的”或背景因素，成为话语背景，不是以语言为主导的互动也被归入语境的范畴。在多模态互动分析法中，语言只是一个中介工具，其他符号资源，如物体或非言语模态也是中介工具，而且非语言主导的互动也参与意义的构建，它们对人们理解人类行动如何在社会中得以实施起重要作用，因此都应该得到考虑。Norris（2004）对Sandra行动的多模态分析，就很好地说明了这一点。Sandra使用各种模态同时进行六个高层级行动，若分析时只注重她所采用的以语言模态为主导的行动，就会忽略了她用非语言模态所进行的互动（如照看小孩）；如果分析时只注重她所聚焦的两个核心或前景化行动（即写购物单、与朋友电话聊天），就会无视其他四个非前景化的高层级行动，这些都将使人无法全面、真实地了解和描述Sandra当时的行为和所传达的意义。对该理论方法而言，模态系统已不再是关注的焦点。模态被视为由交互和行动而产生和形成，因此模态、符号制造者和语境密切相关，无法分开。

2. 注重语境的动态构建

Norris（2004）提出的“模态密度前景——背景连续统一体”（modal density foreground-background continuum）的分析框架，体现了语境构建的动态性。交际者可能同时进行几个行动，根据模态使用的强度和密度，交际者对不同行动的注意或感知程度是不一样的。使用模态强度大、密度大，交际者对行动的注意程度高，这个行动就成为前景化的高层级行动，而其他背景化的高层级行动实际上就成为前景化的行动的语境。随着行动的推进，交际的内容、方式等的变化，原先前景化的行动也会演变成中景化的或背景化的行动，构成新的前景化行动的即刻语境（the immediately given context）。由此可见，模态在意义的动态生成过程中不断构建着新的语境。

3. 重视被社会行为者所感知到的和所利用的模态

在分析人类互动时，从分析者的角度可以观察到众多模态的存在，其中有些模态对行动意义的构建至关重要，有些则无关紧要。如何进行取舍？Norris指出“所有的移动、噪音或物体，只要它们被人们所感知，就带有互动意义”（2004：2）。因此多模态互动分析法通过仔细观察社会行为者的行动来判断行为者所意识到的模态，再把它们纳入意义考察的范围。

多模态互动分析法适合用于即席话语的分析。例如，Filliettaz（2005）揭示了中介行动、社会实践和语境化在服务场所人际互动中的关系和作用。但不是所有的语境因素都可以用模态标注并进行分析。例如在分析学术会议主旨演讲者如何构建职业身份时（见本书第八章），就要考虑到西方学术话语的实践和惯例，而这些因素无法用Norris的方法，把它变成一个与语言或手势并行的模态进行分析，因此多模态互动分析的语境处理也存在一定的缺陷。（三）语料库语言学多模态话语分析的语境观

Gu（2006）的语料库语言学多模态话语分析基于社会行为心理学、行为生态学和感知生态学。它从整体上把握人类互动，把人类互动看作是“在一定时空中发生的社会行动”（social action over space and time）（Gu 2006:133），是一套“社会情景”（social situation）和“社会行动者”（social actor）在社会情景下的各种说话、做事和／或说话兼做事行动（2006：138）。

与多模态互动分析法类似，Gu的理论方法也对人类互动划分层级，但他采用自上而下的方法，把人类互动划分为两个层面：①“社会心理层面”（socio-psychological layer）；②“个体行动层”（individual behaviour layer）。社会心理层面包括“社会情景”（social situation）、“活动类型”（activity type）、“任务”（task）／“花絮”（episode）三个层级，这三个层级构成社会现实，并呈逐级体现关系。个体行动层也包含三个层级，分为“说话／做事”（talking/doing）、“行为”（act）和“言外之力的韵律单元”（prosodic unit of illocutionary force）。

从Gu的理论看，语境也没有被单独划分为一个分析层次。Gu指出，“一个特定言语社区的日常生活包含一套社会情景”（2006：137），“社会情景是连接社会与个体的桥梁，社会情景在参与者的行为中得到具体化”（2006：138）。表面上看，社会情景与传统的语境概念比较接近，但Gu明确指出，“社会情景不被视为个体参与者行动的语境。相反，社会情景本身构成第一个分析单位”（2006：131），因为社会心理学家注重的是个体如何在社会情境中表现自己，而话语分析者关注的是“真实生活话语在真实生活社会情景中所处的位置”（2006：138）。

Gu的多模态分析理论把对语境因素的考虑融入到各个分析单位中。以他所考察的北京外国语大学成立60周年庆祝会开始阶段的两个行动为例：会议主席介绍主席台上的嘉宾这个行动体现了活动类型的核心目的，被称为“任务”，而期间两个礼仪小姐给嘉宾倒茶续水，则属实现活动类型边缘目的的行动，被称为“花絮”。若从传统语境观点看，礼仪小姐倒茶续水这个行动，与主要活动无关，是背景性活动，应属于语境范畴，但在Gu的理论中它们没有被看作是外在的语境因素，而是这个整体事件中的一部分。

四、多模态即席话语分析中语境的处理

本课题研究的重点是多模态即席话语，主要针对的是多模态学术话语和商务话语。因此在多模态即席话语中如何处理语境问题也是本章重点探讨的问题。

从上述多模态话语分析主要理论方法的语境观来看，多模态互动分析和多模态语料库语言学分析更适合于多模态即席话语的分析。因此可以综合利用这两种理论，采取自上而下和自下而上两者相结合的方法，来把握即席话语中的语境因素的处理。

首先，我们把多模态即席话语看作是一个完整的人类互动事件，并辨认它的话语类型，如它是否属于商务话语或学术话语。然后根据其话语类型，考察专业实践活动的时间、地点、谈论话题／任务、活动类型、交际渠道、参与者及参与者的相互关系、实践规范、互动发生时的社会情景等情境因素，因为这些因素会制约专业实践活动，同时又受实践活动的影响。

为了便于把握整个互动的本质，可以把完整的互动进行切分，选择互动的关键片段（例如商务谈判的开始阶段、僵持阶段、妥协阶段等等）进行分析。每个互动片段都表达完整的意义，包含个体的说话、做事、说话兼做事，相当于Gu的理论中的个体行为层。因为人类互动具有目的性，而目标的实现存在阶段性，所以可以根据目的的阶段性来指导切分话语片段。根据语用学的目的原则，目的是语境的组成部分，而且是核心部分。人的行动的目的性总是从分目的开始直至总目的的实现一步步进行的。在这一过程中，目的选择是动态进行的，同时目的选择过程中又存在可预测性和不可预测性，这些都构成了即席话语的语境动态性（廖美珍2010）。

每个关键片段都是“使用中介进行的行动”（mediated action）。中介工具除语言外，还包括手势、身体姿势、面部表情、音韵、音响、视觉模态等；物质工具如衣着、印刷物、照片、场景布局等也与其他模态一道，成为意义资源，而不是被背景化的语境成分。但是从研究者的角度看，可以观察到的模态可能有很多，如何确认哪些模态可以进入分析范围呢？ 这时就可以利用Norris的多模态互动分析框架来辨认哪些是相关的、重要的模态，哪些是不相关的没有价值的模态，其辨认的依据就是模态使用的强度和密度，以及交际主体对模态的意识程度。从这一角度看，传统话语分析中的大部分外在的语境因素如非言语特征、场景环境等都变成了与语言模态相提并论的分析成分。

此外，每个关键片段都可能包含多个高层级行动。按照Norris的“模态密度前景—背景连续统一体”的分析框架，可以把背景化的高层级行动视为前景化的行动的即刻语境，这样语境随行动的推进而动态变化。

从人类互动整体事件着手一直到底层的具体行动，这是用自上而下的方法看多模态即席话语语境的构成。为了更深刻地认识多模态即席话语中的语境，我们也可以用自下而上的方法来审视语境。首先，我们从模态使用着手，把行动看成是各种模态中介实现的整体，这时看到的是微观的话语语境，包括语言模态所展示的上下文语境，其他符号模态如语调模式、节奏、音量、笑声、手势、注视、身体姿势、图像、动画等等。这些行动组成互动关键片段，关键片段连接起来成为完整的人类互动，在这个层面上可以考察中观的语境，包括每个片段以及片段联合的任务目的、活动类型、交际方式、场景因素、交际主体角色及关系等等。最后从完整的人际互动出发，看互动发生时的社会环境和文化语境在话语建构和理解中的作用，因为人们说话和做事总是遵循既定的文化的传统、价值观和社会实践。中观的情景语境是连接宏观文化语境和微观话语语境的一个接面，上受宏观语境的制约，下又调节和影响微观语境层面。由此，微观的模态使用和宏观行动的社会文化价值统一在一起，把个体行动和社会结构连接起来。

在处理语境问题时，我们还应该注意语境因素的选择性问题。按照活动理论，行动是通过工具的中介作用而进行的（Engeström 1999）。从广义上讲，世上的万事万物都可能成为中介工具，从而成为语境研究的对象。但如果这样的话，那我们就会因面对无穷无尽的因素而束手无策。因此判断语境的构成因素必须遵循相关性原则（Sperber ＆ Wilson 1986），即该语境因素应该对行动本身有影响，与意义构建有联系。另外，互动中的语境因素应该是可以观察到的、互动参与人所运用的因素。

五、结语

多模态话语的研究打破了传统上对话语的理解，要求研究者从新的视角来审视多模态话语中语境的构成和作用。多模态话语分析目前仍处于起步阶段，对多模态话语中关于语境的认识和处理的许多问题尚待探讨，但是我们相信对多模态语境的探讨会促进语境学研究和话语分析研究。

第五章 多模态即席话语中模态的互补机制研究

一、引言

Kress认为“模态是社会形成的、文化赋予的表达意义的资源。图像、书面写作、场景布局、音乐、身体姿势、语言、动态图像、插曲等，都是用来表达和交流的模态”（Kress 2009：54）。这些模态和语言一样，都是独立的交流形式，能够表达不同的信息。在实际交流过程中，我们经常同时使用多种模态；这些模态之间是如何互动的？多个模态之间究竟是什么关系？是“说明”，是“修饰”，还是它们本身表达不同的、“完整”的意义（Kress 2009:54）？本章旨在探讨多模态即席话语中模态的互补机制。

二、多模态理论中的模态互动

在系统功能多模态话语研究中，多模态涉及多种符号资源，例如语言、眼神（目光）、肢体语言、声音特点、空间距离、绘图、电影摄影、页面布局等，这些都被看作是各自独立而又互相作用的符号资源。揭示不同的符号资源如何协作、在社会语境中产生复杂但连贯的话语（Smith，Tan，Podlasov，＆ O'Halloran 2009:1-2）是多模态研究的一个重要方面。Kress和van Leeuwen在研究各个独立的“元素”（elements）的同时，也注重这些元素的合成，即“整体的构成，各种表意性与互动性元素相互关联的方式，它们如何融合成为一个有意义的整体”（Kress ＆ van Leeuwen 1996:181）。应该说，系统功能符号学或系统功能多模态话语分析主要集中探讨如何使用多个模态构建整体的意义，研究视图—文本（或语言）之间的关系，即研究“视图模态与语言模态如何互动构建多模态文本的整体意义”（Unsworth ＆ Cleirigh 2009:151）。

与Kress和van Leeuwen的研究不同，Norris的多模态互动分析框架明显侧重于动态的多模态话语，因而更接近多模态即席话语。关于模态间的互动，Norris提出了“模态密度”（modal density）和“模态结构”（modal configuration）两个重要的概念（Norris 2007，2009）。模态密度指高一层级行为构建时的模态强度或模态复杂性。模态密度可以通过模态强度或模态复杂性得以实现。模态强度指的是通过高强度地使用某个或某些模态来构建一个行为，例如打电话时，交流双方高强度地使用语言模态，其他模态处于次要地位。模态复杂性是指“社会行为者”（social actor）构建行为时所使用的模态的数量，模态数量越多，模态复杂性越强。以两个朋友在餐厅里交谈为例，在这种场合，语言、“肢体动作”（gesture）、距离、选择的食物等都能用于表达意义（Norris 2007:661）。

Norris提出的另外一个概念是模态结构（Norris 2007）。模态结构指的是在构建高一层级行为的某个时刻共同起作用的各个模态间的上下级、平等或者相互关联的关系。例如，父亲照看小孩的过程中，目光的地位就高于语言；而当父亲表达限制小孩做某个事情的时候，语言的地位就高于目光（Norris 2009:78）。

在即席话语多模态研究中，交流者如何使用各个模态构建信息、各个模态在信息构建过程中的作用以及如何互动等方面的研究尚不丰富。

三、即席话语中的模态间关系及互动的研究

传统语言学与人类文化学为研究语言与非语言模态的关系提供了重要的视角。传统的语言学涉及了语言交流与非语言交流两部分。非语言交流包括以下方面：“身体姿势”（Posture）、“肢体动作”（Gestures与Posture合并称为Kinesics）、“面部表情”（Facial Expressions）、“目光接触与凝视”（Eye Contact and Gaze，亦称为Occulesics或Eye Behavior）、“触摸”（Touch或Haptics）、“气味”（Smell）、“副语言”（Paralanguage）、“空间与距离”（Space and Distance或Proxemics）、“时间”（Time或Chronemics）、“沉默”（Silence）。

传统语言学强调非语言交流的重要性。许多语言学家、人类学家认为非语言在交流中起着重要的作用，例如社会人类学家Edward T. Hall（1959）认为，在我们的交流中非语言占60％的比例。Birdwhistell（1970）认为，高达65％ 的信息意义是通过非语言来表达的。Fromkin和Rodman（1983）甚至认为高达90％的信息意义是通过非语言来表达的。

Barnlund（转引自Samovar ＆ Porter 2004:167）认为，“人类交往过程中所产生的关键意义，其中许多，有时候大部分是通过触觉、眼神、声音的细微差别、肢体动作或面部表情表达出来的，有时候在语言的辅助之下，有时候没有语言辅助来表达。从认出对方的那一刻起，直到双方分手，人们使用各种感官观察对方，除了注意到对方选用的词语和句法之外，我们还能够听到停顿和语调，注意对方的着装和仪态，观察眼神和面部表情等。每一个和谐及不和谐的信号都引导我们去解读对方瞬间的情绪或持久的特征。我们是争论还是表示同意，是大笑还是脸红，是放松还是抵制，是继续交流还是停止交流，做出这些决定都是基于我们对肢体动作、声音及语言线索所做出的评估”（1968:536-537）。

非言语交流被普遍认为有五大功能，即“重复”（Repeating）、“补充”（Complementing）、“替代”（Substituting）、“协调交流过程”（Regulating）、“传递相反的信息”（contradicting）（DeVito 1995；Knapp ＆ Hall 2002；Samovar ＆ Porter 2004）。Samovar和Porter（2004：170-171）对这五大功能有如下解释：重复指我们使用非言语行为“重复我们要表达的观点”。此时，肢体语言与语言表达的意义相同或相似，双方互相强化。例如，如果你想让对方知道你认为他提的建议不好，你在说出“不好”的同时做出摇头的动作。补充通常对语言表达的信息有补充的作用，可以强化你要表达的信息。例如，你可以用语言告诉对方你对他的表现很满意，但是，如果你在口头语言表达的同时轻拍对方的肩膀，“对他的表现很满意”这一信息就有了额外的意义。替代是指单纯使用肢体语言而不使用语言来表达意义的情况。例如，见到一位特别好的朋友时，你脸上的笑容幅度很大，你会张开双臂迎上前去，这些肢体动作充分表达了你的情感，无需使用语言。协调交流过程：我们会使用某种形式的非言语行为来管理我们的交流过程。例如，在交流过程中我们会点头，表示我们同意对方所说的话，示意对方继续讲。有时候我们在讲话的过程中停下来，沉默片刻，表示该轮到对方接过话题。传递相反的信息指有时候非言语行为传递的信息与语言所传递的信息相反。例如，我们会说我们一点都不紧张，我们很平静，但我们的声音和手可能会颤抖，表明我们实际上很紧张。

邓达山（2010）从非言语交流行为的五大功能，即重复、补充、替代、协调交流过程、传递相反的信息（DeVito 1995；Knapp ＆ Hall 2002；Samovar ＆ Porter 2004），以Norris提出的多模态互动分析为理论框架，探讨了商务会议中主要与会者通过语言、姿态、手势、头部运动、面部表情、眼神六个交流模态所建构的多模态信息的互补机制。邓达山的研究发现，在补充、替代、协调交流过程、传递相反的信息这四个方面，主要与会者使用了语言及非语言中的姿态、手势、头部运动、面部表情、眼神等交流模态构建信息。（二）从多模态即席话语的角度研究语言与非语言模态间的互动关系

多模态即席话语交际场景的研究重点主要集中在非语言模态（如肢体动作等）所表达的意义上，或者是语言模态和非语言模态的使用及互补方面。Xiong和Quek（2006）认为，语言与肢体语言同为人类语言体系的一部分；语言与肢体语言在交际中共同表意，互相补充、补偿，两者构成一个有机整体（Xiong ＆ Quek 2006）。Quek，McNeill，Bryll，Duncan，Ma，Kirbas，McCullough及Ansari等人（2001）通过对视频与音频语料的分析研究肢体动作和语言之间的互动。他们通过“追踪”（tracking）手势探讨肢体动作与话语之间的关联、言语与非言语之间的互补关系。他们认为，肢体动作和语言之间并非从属关系，不是肢体动作为了丰富或扩展语言、或语言为了丰富或扩展肢体动作而产生的事后的行为，实际上它们共同始自于相同的“思想单元”，到达某一个点后形成分叉，成为控制行动和语言的不同的动力系统（Quek et al. 2001:10）。肢体动作和语言属于不同的表达模态，但这两者在多个层面上产生关联，并共同表达相同的语义思想单元。这两种模态不是多余的，而是“共同表意”，即它们源于相同的语义源，但又能够表达不同的信息，用它们独特的方式在这个语义源上产生重叠（Quek et al. 2001:11-12 ）。Quek等人的研究结果表明，肢体动作特征并非任意生成的，而是作为在固定结构之内多层面的话语构建过程中的一部分而出现的（Quek et al. 2001:19 ）。

Kendon（2004）认为语言与“肢体语言”（gesture）共同构建一个“整体话语单位”（utterance unit，ensemble），当使用两种模态，即语言成分与肢体成分（spoken component and gestural component）创建话语时，说话人创建了一个整体，同时使用肢体语言和语言，将其作为一个修辞手段的“共同合伙人”（2004：127）。Kendon把这种情况称为“语意一致”（semantic coherence）（2004：127），McNeill称为“协同表达”（co-expressiveness）（1992：23）。Kendon举了两个例子说明肢体—语言统一体的完整性，这两个例子同时也进一步表明肢体部分与语言部分一样，都是说话人构建的话语单位的一部分。在第一个例子中，说话人在描述一个香肠糕点厂被收购前的状况，使用了“they made everything greasy”这样的描述。对方没有听明白他说的是什么，追问道：“they made what？”在重复“they made everything greasy”的同时，他也重复了第一次说这句话时所做的肢体动作（2004：129）。在第二个例子中，说话人意识到他说错了，对他第一次说的话进行了修正。在更正这个错误的时候，他同时更正了肢体动作（2004：133）。在这两个例子中，说话人都是对肢体－语言统一体做出重复或修正，而不是仅仅重复或修正语言部分。这意味着，从说话人的角度来说，他所构建的话语单位是由口语行为和肢体行为共同构成的，而且，在整体表意方面，二者所起的作用是同等重要的。在这两个例子中，如果说话人不是把肢体行为作为话语单位的一部分，那么在重新构建话语单位时他就不会重复肢体行为部分（Kendon 2004）。

尽管多模态研究一直强调各个模态在构建行为和意义方面的平等地位，在探讨语言与非语言交流之间的关系时，大部分的研究还是以语言交流作为出发点，即不言而喻地认为语言是主要的交流模式，信息主要是通过语言传递的，非语言交流扮演次要的角色。

四、即席话语模态间的互补机制研究

在模态间关系研究中，最常出现的术语是“互动”（interaction或interplay）、“协调”（coordination）、“一致”（coherence）、“补充或补偿”（complementality），关于模态间互补关系的定义及研究相对较少。邓达山（2010）在其硕士学位论文中探讨了商务会议中多模态信息构建的互补机制，其侧重点是肢体动作模态在意义表达方面对语言模态的补充。

邓达山主要从非语言交流行为的五大功能进行分析，即重复、补充、替代、协调交流过程、传递相反的信息（DeVito 1995；Knapp ＆ Hall 2002；Samovar ＆ Porter 2004）方面。邓达山对互补的定义包括肢体行为的这五个方面，即在交际过程中，如果某一肢体行为体现出这五个方面的一个或多个，即被认为是有互补功能。邓达山的这一定义显然是值得商榷的。首先，在“替代”功能条件下，只有肢体语言模态而没有语言模态出现。“协调交流过程”基本上也是这种情况。按此逻辑，这五个功能中，“重复”（重复指我们使用非言语行为“重复我们要表达的观点”，此时肢体语言与语言表达的意义相同或相似，双方互相强化）、“补充”（对语言表达的信息有补充作用，可以强化你要表达的信息）应该可以归于“互补”的范畴。而“传递相反的信息”表示语言模态和肢体语言模态表达的信息完全不同，我们也可以说肢体语言模态独立构建了一个信息。在这种情景中，传递的这些矛盾信息有时候可以构建一个“折衷的”信息（“compromised”或“neutralized”信息）。

张德禄在探讨多模态话语形式之间的关系时，主要是从“运用多模态的理由”这一角度出发（2009a：26）。他认为，人类在交际中使用多模态可能是“为了有趣，是随意的，是生理和心理的自然表现的结果”（2009a：26），也可能是“一种模态不足以表达清楚交际者的意义，从而利用另一种来强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的”（2009a：26）。张德禄认为，典型的多模态话语模式指一种模态的话语不能重复表达其意义，或者无法表达其全部意义，需要借助另一种模态来补充。他把这种模态之间的关系定义为“互补关系”，把其他的关系称为“非互补关系”（2009a：26）。

互补关系被张德禄（2009a：26）进一步细分为强化（突出、主次、扩充）互补关系与非强化（交叉、联合、协调）互补关系。强化互补关系指以一种模态为主要的交际形式，其他一种或多种模态对其起强化的作用。例如，如果语言是主要的交际形式，那么手势、身体姿势等模态就只起强化作用。相反，如果以图画、舞蹈等作为主要交流模态，语言只能是辅助的、起强化作用的模态。非强化互补关系表示两种交流模态缺一不可、互为补充的关系。非强化互补关系可以分为协调、联合和交叉等形式。在协调关系中，一种模态不能独自完成的交际任务，由其他模态来补充，不同的模态共同表达交际者的整体意义，缺少任何一种模态都会不完整。例如在播放录像画面时同时播放声音，图像和声音都是必需的，否则交际难以理解。在协调模式中，不同类型的模态可以形成联合关系，来共同体现意义。例如在录像这种多模态话语形式中，与动画相匹配的声音与解说的声音联合体现听觉所实现的意义。在交叉关系中，两种模态交叉体现整体意义。例如，交际者可以在边工作、边做事的同时，讲解所做事情的经过和原理、原因等，从而形成两种模态交叉体现整体意义的现象。

在张德禄看来，非互补关系指在交际中“第二种模态对第一种模态在意义体现上并没有大的贡献，但仍然作为一种模态出现”（2009a：26－27）。非互补关系分为交叠（冗余、排斥、抵消）、内包（部分、具体）、语境交互（独立与依赖）。张德禄（2009a：27）的非互补关系中的交叠—冗余是指两种或多种模态同时出现，但它们之间并没有相互强化的关系。张德禄以PPT为例加以说明：PPT画面上出现的是讲话者要讲的内容，没有附加，也没有缩减，所以是交叠现象。在这种交叠现象中，第二种模态对第一种模态没有做出较大的补充或强化，因此这是冗余。在交叠情景下，有时候模态之间也可以形成相互排斥和相互抵消的关系。这种交叠常常不是有意的、积极的，而是被动的或者是不可抗拒的。例如阅读时，周围出现的噪音、歌声。这样一种模态对另一种模态起到抵消作用。还有一种情况是两种模态水火不相容。例如，当你思考问题时，其他人找你说话；当你写作时，有人给你打电话等。感觉与听觉，视觉与听觉形成矛盾模态，从而形成相互排斥的关系。

内包则是第二种模态（或者多种不同模态或者同种模态）对整体意义的表达没有新的贡献，而只是给予更加具体的信息。内包可以分为整体与部分和抽象与具体两种关系。在整体与部分的关系中，第二种模态提供的是部分信息，而不是附加另外的信息。例如，在讲蜜蜂时，画面出现具体的蜜蜂飞翔和采蜜的画面；在谈论身体时，出现人的面部、四肢、躯干等画面。在抽象与具体的关系中，在谈论动物时，出现狗、鸡鸭、鱼虾等动物的画面等。虽然第二种模态没有提供不同的信息，但可以使第一种模态提供的信息更加具体和形象。

张德禄多模态话语形式及关系（2009a：27）如图5-1所示。张德禄的模态互补框架包括了模态的主从关系，实际上融入了Norris的“模态密度”（modal density）和“模态结构”（modal configuration）等概念（参见Norris 2007）。张德禄的研究同时包括了间接参与或不参与交流的因素，如阅读时周围出现的噪音、歌声（张德禄称其为“交叠－抵消）”，你思考问题时有人找你说话（张德禄称其为“交叠－排斥”），不同于Norris的“前景化”、“背景化”或“中景化”（参见Norris 2004）。图5-1　多模态话语形式及关系（张德禄2009a：27）

但是，张德禄的模态互补框架还有一些值得磋商的地方，例如其“非互补－内包”中的“整体部分”与“抽象具体”。第二种模态（或者多种不同模态或者同种模态）“给予更加具体的信息”实际上是起到了互补作用。再比如，张德禄的交叠－排斥实际上涉及两个不同的行为，而不是同一个行为中的不同模态。

五、多模态即席话语模态间互补机制的思考

基于以上的讨论，我们认为，探讨多模态即席话语模态间互补关系时需要考虑以下因素：语言与非语言模态间的关系、非语言模态间的关系、模态所起的作用及不同交流场景。（一）语言与非语言模态间的关系

系统功能语言学认为，语言（口头话语及书面语）是人们交际的主要手段，我们使用语言这个符号系统来实现社会行为。而多模态研究提出的观点是，语言不总起主导的、核心的作用。例如，Kress提出，如果所有模态都可以用来表达意义，那么，这些模态只是简单地复制了语言或书面语言已经表达了的意义——也许是作为“说明”或者是作为“修饰”，还是它们本身就是不同的、“完整”的意义。如果是后一种情况，那么我们就必须从一个全新的角度来看语言，即语言不再起主导的、核心的作用，或完全有能力表达所有意义，而是表达意义的众多手段中的一种，而每一种手段都是独特的（Kress 2009:54）。

因此，我们认为，在研究语言与非语言模态间的互补关系时应该考虑以下三种关系：

1）非语言模态对语言模态的补充：语言模态表达主信息，其他模态起补充作用（主次关系）。

2）语言模态与非语言模态互补：语言模态与其他模态互补，共同构建信息（平等关系）。

3）语言模态对非语言模态的补充：非语言模态表达主信息，语言模态起补充作用（主次关系）。

以3）为例，在探讨多模态即席话语模态间互补关系时我们无法忽略语言模态对非语言模态的补充。例如，就购物、售货场景来说，在顾客与商店服务员交流的过程中，很多的互动都是通过非语言来实现的，语言经常是从属性的，起到补充、确认等作用。（二）非语言模态间的关系

目前主流研究关注的是语言与非语言模态之间的关系，而且把非语言模态作为一个整体，主要以“肢体语言”来包括身体姿势、手部动作、头部动作、眼部动作等。非语言模态之间的关系、各个独立的模态在交流中的独特作用被广泛忽略。邢建玉、邓达山（参见第七章）研究中方对英方的安排、接待表达不满的例子中，中方代表团团长使用了语言模态表达不满，但在此例中，可辨认的多种非语言模态共同合作，如身体姿势变化（双肘撑桌，身体从座位上抬起，然后又坐回椅子上）、尴尬的微笑等，还表达了“提出这个问题我感觉很不舒服、不情愿、难为情、尴尬”这样一个不同的信息，如表5-1中的分析。表5-1　非语言模态间互动与信息构建（三）模态所起的作用

模态间的互动关系可能会有积极和中性的作用，例如补充、强化、突出、解释、重复、增加与扩展、调节、协同、平衡与中和等作用，严格来说这些都是模态间的互补。而有时模态间没有互动，或是反向互动。因此，我们把模态间的关系分为互补（补充、强化、突出、解释、重复、增加与扩展、调节、协同等）、反向互补（传递相反的信息、抵消、平衡与中和等）与非互补（模态间无互动、替代、单一模态构建独立信息或单一模态对整体意义构建无贡献等）三类，如图5-2所示。图5-2　多模态即席话语模态关系（四）不同交流场景

多模态即席话语中模态的互补机制应该与静态平面媒体甚至影视中的模态互补机制不同。从艺术及构图角度看，静态平面媒体使用的多个模态（例如使用声音、图像、音乐、空间距离、场景布局等）总是互补的。静态平面媒体经过精心设计、构图，各个模态（语言与非语言模态之间以及各个非语言模态之间）互相合作、补充，共同构建意象，传递一个信息。而影视也是经过精心设计、策划、编导的，各个模态表达编剧或导演要表达的信息。这是由这种社会文化产品的性质决定的。各种社会文化产品作为中介发挥着制约作用（Vygotsky 1978）。在多模态即席话语中，当然交际人员也可能经过精心设计、布置、策划，例如使用语言、声音、图像、音乐、空间距离、场景布局、肢体语言等，各个模态（语言与非语言模态之间以及各个非语言模态之间）互相合作、补充，共同构建意象，传递一个信息，例如产品发布会等场景。但是，多模态即席话语的“即席性”特征意味着话语的不确定性成分，从而使模态的使用和模态关系显得更为复杂。

六、结束语

多模态即席话语涉及多种模态，模态间的关系非常复杂。在本章中，我们把模态间的互补机制分为互补、反向互补与非互补三种情况。同时，由于大部分的研究侧重于语言模态与非语言模态间的互动，我们特别强调了语言模态对非语言模态的补充以及非语言模态之间的互补。Muntigl（2004:47）指出，“多模态分析需要解释模态在意义构建中的作用——有多少渠道，每一个符号系统的作用等——以及符号系统之间的组合在不同的场景中如何在功能上关联。这意味着我们应该扩展我们的分析视角，不仅仅包括口头语言及书面语言，还应该包括其他的表意体系”。由于多模态即席话语的复杂性，我们需要进行大量的即席话语语料分析，以更好地揭示和描述各个模态之间的互动及互补机制。

第六章 多模态即席话语语料库的构建

本章旨在探讨多模态即席话语语料库的构建思路，以学术话语和商务话语对比语料库为例，讨论语料库取样原则、语料选择标准、语料标注维度、多模态分析视角等问题。即席话语是一种以目的为导向的动态的社会过程（Gu 2002），而即席话语语料库的内容和结构也与文化的社会学密切相关（Sinclair 1991），因此，在构建多模态即席话语语料库时，必须考虑将社会学和语言学的视角结合起来，制定一个可行性方案。同时，由于加入了多模态特征，在语料标注和功能分析时还要考虑人际互动中各种模态所起的作用、对意义构建所产生的影响。

基于Giddons（1984）的“结构学理论”（structuration theory）、Levinson（1992）的“活动类型理论”（the theory of activity type）、Halliday（1978）的“社会符号学理论”（the theory of social semiotics），以及各种关于语类／体裁的理论，如Bhatia（1993）和Martin（1992）。本研究尝试一种建设综合性、系统性即席话语语料库的方法，在话语发生的社会情境下讨论此类语料库的结构，并通过一个基于语料库的实验性研究来探讨多模态即席话语语料库的语料收集、处理、标注、结果输出、数据统计和解读等一系列问题。

一、语料库研究现状

语料库不同于文本档案库或数据库，它不仅仅是规模巨大的文本储藏库，而且还对文本进行有系统、有计划、有结构的编辑。关于电子语料库的种类，可以根据编辑语料库的目的及其代表性、组织结构和格式来划分（Kennedy 1998：19），有“一般性语料库”（general corpora）和“专业性语料库”（specialized corpora）两种。一般性语料库设计时要做到语料的均衡，从不同文体和领域中选择材料，有时也叫作“核心语料库”（core corpora），可以用作对比性研究的基础。专业性语料库是以特定的研究目的为前提而设计的。这类语料库包括用于编纂词典的语料库，用于社会语言学研究的方言语料库、地区性语料库、非标准语语料库及学习者语料库、书面语和口语语料库等。根据其代表性，语料库又可分为“样本语料库”（sample-text corpora）和“全文语料库”（full-text corpora）。原始语料库经过标注和解析，可以用来进行多方面、多角度的分析。这些语料库中的语料一般是有限的；而“动态语料库”（dynamic corpora）或“监控语料库”（monitor corpora）则可以随时加入新的语料，是一种开放式的语料库。另外，根据所收语料的时间跨度，有“共时语料库”（synchronic corpora）和“历时语料库”（diachronic corpora）之分，分别代表一个特定时期的语言和语言在一段时期内的变化情况（Kennedy 1998）。（一）语料库建设综述

语料库语言学的发展紧跟计算机技术和语言学理论发展的脚步。一般认为，以语料库为基础的研究始于机器可读的电子语料库，出现于20世纪60年代初（Kennedy 1998：13）。当然在此之前以书面文本作为语料库所做的研究也有不少，如对《圣经》及莎士比亚著作等文学作品的分析、研究词汇的词典编辑以及对英语语法的研究。后者的一个典型例子是始于1959年的Survey of English Usage Corpus（SEU）前电子时代语料库。在目前众多的语料库建设项目中，我们来考察几个具有代表性的语料库。

第一代语料库以Brown Corpus（Brown University Standard Corpus of Present-Day American English）为代表，这是第一个用于语言学研究的计算机语料库。它的语料是500篇各2 000词左右的书面英语文本，词数共约1 014 300。样本的选取方法是“使其合理地代表目前书面美国英语的特点”（Kennedy 1998：26）。LOB（Lancaster-Oslo/Bergen Corpus）是与Brown Corpus相当的一个英国英语语料库。这两个语料库中样本的多少、大小、选取时间、分类以及分层随机抽样的方法都是相同的。许多以Brown Corpus为模型的第一代语料库也纷纷建立起来。

London-Lund Corpus（LLC）是基于Survey of Spoken English建立的含有100篇各5 000词讲话的转写文本的英语口语语料库，这是到目前为止应用最广的口语语料库，用于词汇、语法、话语结构和功能的分析以及音韵的研究。该语料库采用人口取样，现场录音。但所录制的口语语料均出自受过高等教育的成年人之口，许多是学术界人士，所覆盖的话题类型也较狭窄。

用于英语口语研究的语料库除了London-Lund Corpus外，还有Lancaster/IBM Spoken English Corpus（SEC）（Knowles et al. 1992），主要用于音韵研究。它的特点是有很多版本，带标点或不带标点的拼写文本，有语法标注、句法分析的文本，有音韵转写符号的文本，表示重音、语调和停顿等，有语音转写及数字化的有声版本。其他的口语语料库还有Corpus of Spoken American English（CSAE）（Chafe et al. 1991），Map Task Corpus（Anderson et al. 1991），Wellington Corpus of Spoken New Zealand English（Holmes 1995）等。

随着文本的获取和储存技术的进一步发展，20世纪90年代出现了超过10亿词的超大型语料库。以编辑新词典为目的的Cobuild（Collins Birmingham University International Language Database）语料库不仅规模巨大，而且语料库建设与商业化研究和发展项目相结合，从而生成以语料库为基础的词典、语法书和语言教学课程。Cobuild后来扩展为词数上亿的Bank of English，这一“监控语料库”的字数仍在继续增长。

1991—1995年建立的British National Corpus（BNC）旨在建立一个有1亿词的当代英国英语口语和书面语语料库。它的结构已成为第二代语料库建设中收集口语／书面语文本所依据的原则。BNC是一个均衡的语料库，涵盖了英语书面语、口语中的许多文体类型，可用作教学、学术和商业性研究。BNC中4 124篇文本中有90％是书面语，10％为口语。这个有1 000万词的口语语料库部分是现有口语语料库中最大的一个，其中语料有两个主要来源（Crowdy 1993）。第一类覆盖各种文本类型，包括教育和信息活动，如讲座、辅导和授课；新闻报道、商业活动，如演示、协商和访谈；官方和公众活动，如宗教布道、政治演讲、广播电话热线和谈话节目。这些语料是在遍布英国的12个取样地区分类收集的。第二类口语语料包括来自各行业的124位调查员及其谈话对象的2 000小时的谈话录音的转写文本。

国内目前在语料库建设中卓有成效的是国家语委十五科研重大项目《现代汉语语料库建设及深加工》。“国家语委现代汉语语料库”是一个大型的通用书面语语料库，以语言文字的信息处理、语言文字规范和标准的制定、语言文字的学术研究、语文教育和语言文字的社会应用为主要服务对象，试图比较科学地反映现代汉语全貌。该语料库由人文与社会科学、自然科学及综合三个大类约40个小类组成，其数据量已经达到了1亿字，完成了词语切分和标注加工7 000万字的语料，开发了一系列校对加工、检索统计、句法分析等软件，并创制了一套工程化方法（靳光瑾等2005）。

口语语料库建设进展相对较慢。北京语言文化大学的“当代北京口语语料”（录音文本）（1993），试图通过大规模的实际调查，记录在居住地区、性别、年龄、职业、文化程度和民族等方面具有不同属性的北京人日常生活中的自然话语。但它所采取的抽样调查方法是，通过控制调查对象的数量、属性分布、基本条件及话题的数量和内容分布，对调查对象进行当面采访、现场录音。这样所录制的语料不能完全达到该语料库试图全面反映北京话的实际状况、对自然语言不加任何主观干预的预期目标。“北京地区现场即席话语语料库”（Gu 2002）是中国社会科学院的重大研究课题之一，建库的主要目的是通过收集大量的现场语料，研究现场即席话语的各种动态机制，以揭示现场即席话语的使用规律。它的设计要求是，其中语料必须具有“代表性、真实性、机器可读性、兼容性、资源的再利用性和开放性”的特点。语料库按行业分类的方法，在各行各业的工作场景中选取典型性语料进行采录作为原始数据。语料主要是口语录音及其转写文本，以及经过标注的加工语料。话语的即席特征包括语音，语调的音韵特征，讲话人的语气、表情、身体语言等，主要靠录音人员的现场记录和转写人员的标注来确定。由于缺少视频资料，不能直观地看到多模态特征，分析人员无法直接获取一手信息，不能全面描述现场即席特征。

随着多模态话语分析的兴起，建设多模态语料库的任务也迫在眉睫。但由于多模态话语本身的特点，当事人的隐私权，会谈内容的保密性，拍摄技术和角度，以及语料处理软件的局限性等问题，这方面的研究工作进展仍很缓慢。（二）取样原则

建立语料库首先要解决的问题是取样。取样标准的制定直接关系到选取的语料是否具有代表性，而代表性是衡量一个语料库成败的重要参数之一。

关于取样原则，最基本的方法是分层随机抽样，即首先按照语料分布确定抽样的范围，然后再从每个范围里随机抽取样本。书面语语料库的建库标准往往是按照文体类型划分的。比如Brown和LOB两个语料库，其抽样范围包括各种新闻体裁、小说、学术性文章、传记、杂项等，各种文体限制一定的字数（桂诗春、宁春岩1997：139—140）。而口语语料的体裁不像书面语那样可以穷尽，所以很难按照口语类型来取样。Quirk主持的London-Lund Corpus是按人口取样的，以随机抽样的原则，每个人获得均等的取样概率。但用这种方法取得的语料，代表性不强，无法反映出一个地区的口语全貌。BNC使用新的标准，采取了人口取样为主、情景取样为辅的策略，确定了四大情景范畴：教育、商务、公众／机构和休闲。在大范畴下再定义一些次范畴，然后按照这些次范畴去收集语料，具体的取样方法因范畴不同而变化。BNC用这种分层抽样的方法，从四个方面考虑选择语料：领域、时间、媒介和水平，以确保语料库具有广泛的代表性，包括各种英语文体（Kennedy 1998:52-53）。

Fairclough（1995a：49）从意识形态的角度提出了取样最基本的原则：“（1）对所研究机构进行社会学描述，表明其内部各种势力之间的关系；（2）从意识形态的角度对话语形态及话语秩序进行描述，阐释其中起主导作用的关系及其内在关联；（3）从人类文化学角度对话语形成的意识形态特征进行描述。”

在取样时，既不能假定一个标准，然后到实际生活中去找例证，也不能用语言的标准取样，因为这样会造成理论上的“循环”。应用超越语言的标准去取样，从语言事实出发，从使用者的话语本身出发，充分认识到语言在使用者实际使用的过程中得以实现和发展，与社会活动同生同长。因此要制定取样标准，必须首先了解语言的社会结构。“北京地区现场即席话语语料库”以与社会生活结构相适应的典型话语活动为取样主线，人口和地区取样作为必要补充；其取样原则是按行业分类的方法，在各行各业的工作场景中选取典型性语料进行采录作为原始数据（王彦2007：31）。采用一种层次范畴化取样方法：先定取样域，再定取样范畴，然后根据取样范畴聘用录音人去录现场典型材料。虽然这“不是严格意义上的随机取样法，但是它有两个优势：一是可操作性好，二是可以避免取样不足和取样过剩的情况”（顾曰国2002：10）。

二、多模态即席话语语料库的构建思路

我们建设多模态即席话语语料库，吸取了以往各种语料库尤其是口语语料库建设的经验，加上对多模态特征的考虑，同时根据研究的目的对相关语料进行有选择的录制，根据语料内容和质量进行筛选。（一）原始语料

我们在建设即席话语语料库时，基于结构化理论和活动类型理论设计了语料库的结构。根据Giddons（1984）的结构化理论，所有社会互动都是发生在具体时空情景中的，都是情境定位的互动；而社会系统的所有结构化特征都同时是定位在情境之中的行动者权宜性完成的活动的中介和后果。具有“现场即席特征”（situatedness）（Gu 2002）的现场即席话语是一个动态的社会过程，可以看作是正在进行中的一种类型的活动。所谓“活动类型”，即“任何从文化上可识别出的活动”，这是“一种模糊的类别，主要由一些目的明确的、通过社会的方式构建起来并受社会因素制约的事件组成，参与人、场景、可以做的事情等都受到限制”Levinson（1992［1979］：69）。我们采集语料时，充分考虑了互动的社会情境、动态过程、活动类型等因素，根据互动目的、话语内容、语言种类、互动参与人、互动场景、互动结果等参数对语料进行分类。

我们构建多模态语料库的目的是研究学术话语与商务话语的对比与结合，除了学术话语和商务话语两个大的类型外，还有一类商务语言教学与培训的语料，介于商务话语和学术话语之间，或可认为是二者相融合的领域。这三个分语料库的构成情况为：学术话语语料库包括学术讲座、学术研讨等话语，商务话语语料库包括商务会议、产品发布主旨演讲等话语，商务教学与培训的语料库包括模拟商务谈判、学生辩论等语料。各类语料的数量分布见表6-1。表6-1　多模态语料库原始语料数量分布（二）语料选取标准

各分语料库的语料数量和时长不等，为了对比研究的需要，同时根据语料的内容和质量，我们对原始语料进行了筛选，建成了可以进一步细加工和标注的语料库。筛选的原则大致有以下四个标准：①语料内容的相关性；②各类语料的均衡性；③语料长度的对比性；④语料的音像质量。

根据上述原则，从原始语料中筛选出可以进一步细加工和进行对比研究的语料，各类语料的分布情况如表6-2所示。表6-2　商务学术多模态语料库构成（三）多模态语料分析范畴

对语料库中收录的多模态语料进行分析，首先按照社会情境、互动的目的和任务、互动参与人等参数，把语料划分为不同的类别，然后按比例从各类语料中选取可对比的语料进行多模态分析，对互动中的多模态行为进行具体描述、分析，观察意义表达采用的各种模态之间的关系。

根据Norris（2004）的多模态互动分析方法，各种情境中人际互动有九种沟通模态：空间距离、身体姿势、头部运动、手势、眼神、言语、场景布局、印刷物、音乐。我们进行多模态话语分析所关注的多模态行为主要包括讲话人的言语、音韵特征、头部动作、手部动作、身体姿势、面部表情、眼睛运动、距离、场景布局等。（四）语料的计算机处理

1. 语料的话语活动信息

语料的话语活动信息包括录音时间、时长、地点、场景、互动事由以及参与人的社会属性及人际关系等内容。这些内容在录制收集语料的同时由收录人记录整理，然后由语料库建设人员整理归档，作为研究者进行话语分析的重要参数。

2. 视频文件的制作

收集和录制视频文件时可能会用不同的设备，因此视频文件的格式也不统一。为了使用特定的语料标注和分析软件，所有的视频文件必须转换成MPG格式的文件。由于录制手段的局限，有时一个互动事件被分割成几个视频文件，需要把相关的文件拼接成一个完整的视频，成为一个事件或活动。这是按照活动的边界切分的，一个活动就是一个相对完整的意义单位。

3. 语料的转写、标注及数据统计

语料的转写是把语音转换成文字，把语音和视频文件转换成书面的文本文件。对转写文本的分析是话语分析中广泛采用的一种方法，尤其是在人类文化方法论的会话分析中是一个必不可少的工具（如Atkinson ＆ Heritage 1984；Drew ＆ Heritage 1992）。基于转写文本的语料分析比较具有说服力，因为转写文本可以随时用于评估或重新审核分析的过程和结果。在转写多模态语料时，注意保存其现场即席性是非常重要的，不仅要记录说话的内容，说话过程中的停顿、拉长音、笑声等伴随情况都应如实记下，讲话人的表情、动作等也应在转写文本中体现出来，尽可能地减少信息的丢失。

为进行数据统计，我们采用多模态语料标注软件ELAN进行语料的标注，把语言、表情、动作、情境等多模态特征标注出来。这比转写文本提供的信息更加直观。语料标注信息可通过ELAN的输出（Export）功能输出，在数据表中进行各项数据的统计，进行定性分析和定量分析，从而总结归纳出话语的多模态特征。ELAN软件的分析界面如图6-1所示。图6-1　ELAN分析界面

经过详细标注之后可根据研究需要以不同格式输出标注结果，如比较常用的标签格式的输出文本一般包括标注开始时间、结束时间、持续时长、标注内容和层级名称等内容，可根据研究需要对标注结果进行复制粘贴等编辑处理，用Excel进行数据统计，如图6-2所示。图6-2　语料标注输出结果

为了便于进行大规模的数据统计，我们将上述标注过程符号化，这就要制定一个“编码表”（Coding Scheme），根据分析范畴设定赋码方案。本研究所依据的编码方案参照王立非、文艳（2008）的附码体系和本书第七章邢建玉和邓达山的附码表，具体见表6-3。例如，用简单的代码表示特定的模态特征。比如用F表示面部表情，具体的表情再加字目，关于嘴的动作，用“FM”表示，如果表示“嘴张开”这个表情，可用“FMO”表示。在对语料进行了模态类型和层级的定义之后，输入标注代码，进行各个层级的详细标注。表6-3　附码表

三、多模态特征解读

对多模态语料的分析和对语料标注结果的解读有一定的研究者主观判断的成分，但具有数据意义的统计结果可以从一定程度上加强分析的客观性。

如对图6-1和图6-2中所记录的这个片段的标注分析可以把讲话人的话语内容、手势、头部运动、眼神等各方面结合讲话的背景、讲话人的心理、讲话人的目的等来解读讲话人是如何运用各种模态手段来传达意义，或者说明各种模态手段在讲话中所起到的作用。这是一个商务谈判比赛中谈判者报价的片段，而一般来说，这往往是谈判的关键时刻，所以讲话人会比较重视这一刻，会表现得比较谨慎，心里也许会紧张。从标注的情况来看，话语中包含了所开价格的重要信息。同时，我们也看到，讲话人在说出最后价格之前有两次犹豫（“嗯……，嗯……”）。这一方面说明讲话人试图强调价格本身，告诉对方这个价格是经过考虑研究后提出的；另一方面也可以看到讲话人可能有点紧张。她的十指一直交叉着放在胸前，也反映出一种紧张的心情；而眼神的飘忽不定进一步说明了她的紧张，有意无意地回避对方眼神说明她可能已经预见到对方会反对这个提议；在说出价格的同时伴随着点头的动作，向对方传达一种比较坚决的态度，同时也掩饰一下自己紧张的心情。

表6-4是对该场谈判比赛中同一谈判手使用的所有多模态手段的统计结果。从表6-4中可以看出，该选手在谈判过程中的多模态特征比较突出。她的言语行为和音韵特征充分体现了谈判话语的特点。在谈判过程中，她运用各种模态手段增强表达效果，比如点头、微笑、身体前倾、提高声音、扫视对方等等。在所记录的各种模态手段中，还有一些是下意识的动作，如转笔、张嘴、咬唇等。这反映了选手的心理状态，给对方提供了一定的信息。在分析不同的模态特征及其频率的时候，一方面要明确谈判选手使用这些手段的目的并解读这些特征所传达出来的信息；另一方面还要考虑话语发生的情境和讲话人的身份及彼此之间的关系。在模拟商务谈判比赛这种特定场景下，谈判双方在某种程度上是在扮演特定的角色，场景、人物关系、话题都是虚拟的，而对此类话语进行分析的目的既要对话语特征进行描述，找出模拟谈判与真实谈判的差异，又要为这方面的培训和教学提供建设性改进方案。表6-4　谈判比赛某选手使用的多模态手段汇总表

四、结语

多模态话语语料库的构建应在结构化理论和活动类型理论指导下选取具有代表性的语料，这个理论框架在社会大背景之下是比较完善的、理想的取样原则，但实际收集语料时却很困难，无法完全按照这个框架来采录，往往只能按照方便的原则，就近取材，以某一特定主体的日常活动素材为主要语料来源。这是以某个言语社团（或小社会）为背景的语料，内容必然带有局限性和片面性。但在各种客观条件不具备的情况下，这种语料收集方法也可以反映社会生活的某一个方面或角度，为更大、更完善的语料库的建设工作提供借鉴。

多模态话语语料的收集难度非常大，各种可用的录像材料由于拍摄角度的局限也不能完全满足话语分析的需要。把这些语料再进一步整理建成语料库，任务更加艰巨。运用一些现有的语料分析软件可以对多模态语料进行不同程度的分析。但由于语料本身多模态特征的不完整、背景信息的缺失、分析软件的不完善、分析者个人的主观性及对情境因素的缺乏了解等等，基于语料库的多模态话语分析仍有很大的局限性。多模态话语语料库在构建过程中要充分考虑这些因素，尽量提供全面、客观的信息，提高分析结果的可信度。

我们所构建的多模态语料库在对语料进行分类时所依据的是互动的社会情境、动态过程、活动类型等因素，根据互动目的、话语内容、语言种类、互动参与人、互动场景、互动结果等参数进行语料分类。语料库的构成基于对学术话语与商务话语的对比与结合这一研究目的，包括学术话语、商务话语和培训话语三类。对语料库中收录的多模态语料进行分析，首先按照社会情境、互动的目的和任务、互动参与人等参数，把语料划分为不同的类别，然后按比例从各类语料中选取可对比的语料进行多模态分析，对互动中的多模态行为进行具体描述、分析，观察意义表达采用的各种模态之间的关系。

本章所研究的多模态学术话语、商务话语和培训话语在选材、录制和标注过程中受到各种条件的限制，有很多不完善之处。但在商务语言教学背景下，多模态即席话语语料库的建设有助于发现学术话语与商务话语的结合点，并从中得到教学与培训方面的启示。基于语料库的多模态即席特征描述对基于文本的研究和教学是非常有利的佐证和有益的补充。

第七章 从多模态的角度分析商务会议中的尴尬场面中的信息构建

一、引言

多模态话语涉及多种交流模态，这些模态在信息构建中的作用一直是多模态研究的一个重要部分。本章通过对实际语料的分析，探讨商务会议中语言、身体姿态、肢体动作、头部活动、面部表情、眼神等交流模态对构建信息的作用及这些模态之间的互动机制。

二、多模态理论与模态

多模态研究的一个重要理论方法是“系统功能多模态话语分析”（systemic functional-multimodal discourse analysis）（详见第二章）。该方法秉承了社会符号学（Halliday 1978；Hodge ＆ Kress 1988；van Leeuwen 2005a）中的语言作为社会符号的概念。在《语言作为社会符号》一书中，Halliday提出了语言作为社会符号的概念：“将语言视为社会符号……就是要在社会文化语境中解读语言，从符号的角度将文化本身解读为信息系统。”（1978：2）Gunther Kress和Theo van Leeuwen（1996）将Halliday提出的语言作为社会符号的概念扩展到语言以外的其他符号资源，把包括语言在内的各种符号看作是各自独立而又互相作用的符号资源。作为社会符号学派的重要代表人物，Kress认为“模态是社会形成的、文化赋予的表达意义的资源。图像、书面写作、场景布局、音乐、身体姿势、语言、动态图像、插曲等，都是用来表达和交流的模态”（Kress 2009：54）。这些模态和语言一样，都是独立的交流形式，能够表达不同的信息。在系统功能多模态话语分析中，模态指的是“符号模态”（semiotic mode）（Kress ＆ van Leeuwen 2001：20）。

多模态研究的另外一个重要理论方法是多模态互动分析方法。Norris的多模态互动分析把人类互动看作人类行为，以各种不同的符号（模态）作为中介。她认为，互动是通过各种不同的模态——例如语言、距离、肢体动作、头部动作、身体姿势、手部动作、场景布局、音乐等——之间的协调进行的（Norris 2004）。

Norris提出了“交流模态”（communicative modes/modes of communication）这一术语。根据Norris的定义，交流模态是“带有规律和规则的意义表达体系或符号体系”（Norris 2009:79）。在多模态互动分析框架中，Norris（2004）共提出了九种交流模态，即语言、空间距离、身体姿势、手部动作、头部动作、目光交流、音乐、印刷物、场景布局。这九种交流模态简述如下：

语言交流模态：Norris提出的“语言交流模态”（the communicative mode of spoken language）是指交流者在交流过程中使用的词语、短语、句子等。这一交流模态强调的是语言的内容和语调等。在交流过程中，语言交流模态传统上认为是交流者表达思想、传递信息的最为有效的手段。

空间距离交流模态：Norris将距离定义为“在交际过程中个人与其他人或相关物体之间的空间距离”（Norris 2004:19）。Norris认为，在交流过程中，随着会话或交际的进行，参与人之间的距离会发生变化，有时候会近一些，有时候又会远一些。

身体姿势交流模态：该交流模态指“在特定的交际过程中参与者保持的身体姿势”（Norris 2004:24）。身体姿势有两个重要方面：①身体位置；②身体朝向其他交流者的方向。身体位置可以分为开放式和封闭式两种，各自表达不同的信息和意义。身体朝向在交际过程中也有重要意义。

手部动作交流模态：Norris把手势分为四种类型：①图画型手势，指“模仿口头表达的内容或描述的物体，使其更加生动”（2004:28）；②隐喻型手势，这种手势可以体现那些“看不见”的东西，如一个抽象的观点或抽象的范畴，“手势运动和空间中所刻画的形象赋予了这些抽象概念形态和形状”（2004:28）；③指示性手势，“指向物质世界中的物体或人物，或者指向抽象的概念和观点，似乎它们像物体一样真实存在”（2004:28）；④节奏型手势，类似于打节拍。

头部动作交流模态：该模态指在交流中头部的移动。最典型的头部动作是当我们说“行”、“好”、“对”的时候点头，说“不行”、“不好”、“不对”的时候摇头。根据在交际中的不同意义，Norris（2004）把头部动作分为四个类型，即：“方向转变”（directional shifts）、“有节奏的点头”（head beats）、“姿势移动”（postural shifts）、“目光移动”（gaze shifts）。

目光交流模态：该模态包括目光的组织、方向、强度。在交际过程中，参与者组织目光的方式、注视的方向和强度可以传递重要信息。

音乐交流模态：作为一种听觉模态，音乐可以用来表达感情、思想、看法（体现模态），我们对演奏或播放的音乐也会有所感应（非体现模态）。

印刷物交流模态：指书面文本，包括文字、媒介、视图等。文字、绘画、视图等用来表达意义，是物化的人类行为。

场景布局交流模态：指交流背景及过程中的物体摆放。几乎所有交流场景中，交流者都会利用物理环境。对场景布局交流模态的研究主要集中在交流发生的环境对参与交流的人员所产生的影响上。

Norris（2004）认为，上述九个模态并非是各自独立的，而是在很多方面相互依存。Norris把这九种模态分为两个类型：“体现模态”（embodied modes）与“非体现模态”（disembodied modes）。体现模态是交流者在交流过程中表现出的模态，如使用的语言、呈现的身体姿态、做出的肢体动作等。非体现模态不是交流者在交流过程中表现出的模态，如物质环境、背景音乐等。

三、模态互动与信息构建

模态互动是多模态研究的一个重点。Smith等人（2009）认为，多模态符号现象涉及多种符号资源，例如语言、眼神（目光）、肢体语言、声音特点、空间距离、绘图、“电影摄像”（cinematography）、页面布局等。对于多模态符号现象的研究人员来说，不仅要描述多模态文本中可辨的符号现象的范畴及其意义潜能，而且一个主要的挑战是“揭示这些现象如何（能够并实际）在各个符号之间共同起作用在文本中生成意义”（Smith et al. 2009:1-2）；或者说，揭示不同的符号资源如何协作，在社会语境中产生复杂但连贯的话语。

Gunther Kress和Theo van Leeuwen（1996）研究的侧重点是静态平面媒体，例如视图的内容、视图的色彩、视图的构成、视图的结构等等。在研究各个独立的“元素”（elements）——符号体系或模态——的同时，他们也注重这些元素的合成，即“整体的构成，各种表意性与互动性元素相互关联的方式，它们如何融合成为一个有意义的整体”（Kress ＆ van Leeuwen 1996:181）。

Kress认为，提出模态和多模态的概念对迄今为止广为接受的语言的概念形成了挑战。因为，如果所有模态都被用来表达意义，这就提出了一个问题，即：这些模态只是简单地复制了语言或书面语言已经表达了的意义——也许是作为“说明”或者是作为“修饰”，还是它们本身就是不同的“完整”的意义。如果是后一种情况，那么我们就必须从一个全新的角度来看语言：语言不再起主导的、核心的作用，或完全有能力表达所有意义，而是表达意义的众多手段中的一种，而每一种手段都是独特的（Kress 2009:54）。

在意义构建方面，系统功能符号学或系统功能多模态话语分析主要集中在以下两个方面：①视图如何构建意义；②从“创作者”（designer/sign-maker）或从“解读者”（reader）的角度探讨如何使用多个模态构建整体的意义，研究视图－文本（或语言）之间的关系，通过视图－文本之间的互动构建意义。用Unsworth和Cleirigh的话说，就是“视图模态与语言模态如何互动构建多模态文本的整体意义”（Unsworth ＆ Cleirigh 2009:151）。

国内许多学者也从此角度进行多模态研究。例如，雷蕾（2009）、田璐和刘泽权（2008）从系统功能符号学角度分别分析了北京奥运会会徽、上海世博会会徽中的意象、文字、数字，分析了会徽整体构图以及图像表达的再现意义、互动意义、构图意义。（二）多模态互动分析的角度

关于模态之间的互动，Norris（2004）在其模态互动分析框架中提出了两个重要的概念：“模态密度”（modal density）和“模态结构”（modal configuration）。模态密度指高一层级行为构建时的模态强度或模态复杂性。模态密度可以通过模态复杂性得以实现，例如，“社会行为者”（social actor）使用多种不同的交流模态构建一个行为。以两个朋友在餐厅里交谈为例，Norris认为，在这种场合，语言、“肢体动作”（gesture）、距离、选择的食物等都参与了交谈这个行为的实现（2007:661）。而模态强度指的是通过高强度的使用某个或某些模态来构建一个行为，例如打电话时，交流双方高强度地使用语言模态。

Norris（2004）提出的另外一个概念是模态结构。模态结构指的是在构建高一层级行为的某个时刻共同起作用的各个模态间的上下级、平等的或者是相互关联的关系。例如，父亲在照看小孩的过程中，目光的地位就高于语言；而当父亲表达限制小孩做某个事情的时候，语言的地位就高于目光（2009:78）。

在实际的多模态交际场景的研究中，重点主要集中在非语言模态（如肢体动作等）所表达的意义上，或者是语言模态和非语言模态的使用及互补方面。例如，Quek等人（2001）通过对视频与音频语料的分析研究肢体动作和语言之间的互动。

从以上讨论中我们可以看出，关于多模态互动及信息构建方面的理论与研究主要有以下特点：

1）从社会符号学多模态分析的角度来看，这些研究主要是从静态、平面媒体的角度进行的；此类研究大部分关注的是静态、平面媒体的整体构图、结构；关注的重点是视图如何构建意义；从“创作者”（sign-maker）或从“解读者”（reader）的角度探讨如何使用多个模态构建整体的意义；研究视图－文本（或语言）之间的关系，通过视图－文本之间的互动构建意义。

2）从多模态互动分析角度来看，这些研究主要关注各个模态之间的互动，或多模态文本及多模态话语中如何使用多个模态“构建‘行为’或意义”（meaning making）。

由此，我们可以看出以下三点：①尽管多模态研究关注多个模态之间的互动、合成、融合，但其侧重点仍然是从创作者或者从解读者的角度探讨如何使用多个模态构建行为或意义。我们同时也注意到，这些文献中所提到的“meaning”、“meaning making”基本上是指多模态文本整体的意义，而非单一、独立模态所构建的意义；②多模态研究尽管包括模态间互动、合成、融合和意义构建两个方面，其重点仍然是前者，而意义构建没有受到足够的重视（但参见Norris 2007）；③在多模态交际中，交流者如何使用各个模态构建信息、各个模态在信息构建过程中的作用以及如何互动等方面的研究尚不丰富。

有鉴于此，本研究的重点是探讨不同模态在信息构建方面的作用以及不同模态之间在信息构建方面的互动、互补关系。本章假设以下几种情况：

1）不同的模态合力构建信息，即在交流过程中交流者调动不同的模态合力构建一个清晰的信息；

2）在交流过程中交流者有意识或无意识地使用不同的模态构建一个“折衷的”信息；

3）在交流过程中交流者有意识或无意识地使用不同的模态构建不同的信息；

4）在交流过程中单一模态单独构建信息。

试读结束[说明：试读内容隐藏了图片]

下载完整电子书