作者：张丽萍
出版社：上海交通大学出版社
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
多模态警示语的整体意义建构试读：
前言
防微杜渐，警戒未然，警示（告）在人类的精神生活与物质生活中举足轻重。“君子之守，修其身而天下平”，居安而思危，对危险行为的防范一向是我们中国人的修身立命之道。宗教信条中流传已久的清规戒律，比如圣经的“摩西十诫”与佛教的“戒律”，都体现了告知并规避风险行为在个人修为中的作用，尽管这些宗教意义上的“戒”只是警示的一种特殊例证，但也从一方面反映了“警示”于人之存在的重要性。语言是存在之居所（海德格尔语）。中国传统文化中非常强调道德修养，专门规谏统治者修身治国的警示语甚至发展成专业的文体——“箴”，且盛行三世而衰（见《文心雕龙》之“箴铭篇”）。警示言语行为存在的前提是人具有理性，能自主选择并趋利避害。随着社会的发展，在现代经济生活中，警示更多地与保护公民的个人权利，界定人与人之间、人与社会之间的行为规范、权利与义务相联系，成为商业社会中的一种免责手段。
虽然警示之于人，犹水之于鱼，但促使本书研究警示语的并非这些形而上的原因，更多缘于现实生活中使用警示语时所遇到的问题。在高度发达的电子化时代，新领域、新事物不断出现，人们的自主性与权利意识不断增强，交际的手段日益多模态化，新语境下人们如何警戒未然，警示语有何语言与符号特征，这些都是本书重点考虑的问题。
警示语关乎人之生存，建构警示语就是人们如何在丰富多彩的符号世界中建构人际关系的议题。诸多哲学观点，比如道家的“道法自然”“天人合一”，儒家的“仁爱”，法家的“规则”等，都能为此建构提供哲学关照与指引，但秉承中国哲学之精神——以出世的态度过入世的生活，对警示语建构的研究需着眼于电子化、多模态化的交际语境，既要有宏观的哲学视野，又要关注现实问题，既要使警示语建构与人的俗世生活保持一定的距离感，又不使其脱离现实而成为空中楼阁，力图综合体现理论的前瞻性与现实的可操作性。鉴于巴赫金的对话性理论将生活中的话语与人之社会存在联系在一起，藉此，本书以对话性理论为指导，对警示语的语言结构与功能进行较翔实的话语分析。当然，要做到这一点，不仅需要研究者具有深厚的文化底蕴、精湛的理论研究能力，还要有广阔的研究视野。虽拙于此三者，本着“在游泳中学会游泳”的实践精神，本人鼓勇而为之。
本研究中的多模态警示语指的是采用图、文、音、像等不同表意符号系统建构的文本或语篇，旨在“提示受众注意某些可能出现的不良信息，以便对其进行预防或降低相应的风险”。这里的警示主要限于人为可控的行为风险。通过分析与考察图文型、口语交际型、动态图像型三类多模态警示文本在商品包装、纠纷调解、公益广告、行政交际与司法领域中的交际与沟通，对多模态警示语的建构规律进行理论与实践探讨。
按照巴赫金的对话性理论，多模态警示语的意义建构不仅仅是图形、色彩、文字等不同符号系统之间在形式布局上的结构重组，更是一个复杂的人文艺术建构过程。本研究从两个方面讨论了多模态警示语的意义建构。第一，运用巴赫金的对话理论，从较宏观的哲理视角，讨论多模态警示语的整体意义建构中的开放性与对话性原则。这主要指的是：警示语在价值意义上的多元性与开放性特点；在警示沟通与表达过程中警示说话人主体与思维、说话人与听话人之间的平等互动关系；警示沟通所涉及的不同社会群体之间的平等性与互动性。为此，首先探讨警示语的语义与语用内涵并对其进行形式化描写，然后在对话性理论的指引下，讨论了多模态警示语意义建构的对话性与开放性，运用功能语言学的元功能理论论证了其分析框架。第二，从较为微观的视角，选择商品包装、纠纷调解、公益广告、行政交际与司法交流等不同领域，从语篇结构、言语交际、认知思维、跨文化等多方面多层次探讨多模态警示语意义的对话性，分析警示说话人在具体语境中表达警示意义时，如何充分利用图、文、音乐、空间等模态实现一定的开放性与对话性，取得相应的交际效果，并对现有多模态警示语文本进行了批评分析。
经过实证研究发现：建构多模态警示语意义的对话性具有理论与实践上的可行性；利用图、文、色、空间等符号之间的意义照应与互动，多模态警示语比单一语言符号构成的传统警示语更能体现意义的对话性倾向，实现更丰富的人际意义，但要想取得更好的警示交际效果，警示语的使用者仍需立足于交际的对话性与开放性，并对符号的意义有更深入的认识。
本研究不仅对于电子化时代的警示语建构进行了一些理论探索，也为多模态话语分析的发展提供了一定的实证分析案例。
阅读本书时，既可把它作为警示语研究的理论与实践尝试，也可把它当作多模态话语分析的一次实践应用。本书对多模态警示语的建构既有整体设计，也有对不同类别、体裁的警示语文本的具体分析，对商品包装、调解谈判、司法沟通等领域的警示语进行了深入探讨，因此在整体上具有体系性、完整性与连贯性，同时在章节上也保持一定的独立性。读者可以根据警示语的类型、多模态话语的特征或根据自己的研究兴趣有选择性地阅读，比如，对多模态话语分析比较感兴趣的读者，也可以把其中的一章（如文献综述）或多章作为阅读的重点。当然，如果能对全文做整体性的阅读那就更好，可以把握拙著的整体思路。
一花一世界，一树一菩提。历经几个春秋的苦思冥想与挥汗如雨的辛勤耕耘，今日终能付梓成书。在完成此项多模态警示语研究的过程中，我品尝了痛苦，但也收获了成长，体悟到了学以致用、学用一体的妙处，不仅对多模态话语与警示语的使用有了比较粗浅的了解，也对如何利用语言建构多元、平等的人际关系略有感悟。虽然很早就计划拜请一位科研大咖给本书写前言，聊以“增光添彩”，但最终还是决定自己独立完成前言，因为如实地再现本人在研究中的心路历程，也是自我成长的一个见证。可以说，多模态警示语的建构研究，更是对我自身精神世界的一次重构。
本书的完成要感谢很多人的帮助、鼓励与支持。首先要感谢教育部人文社会基金（青年项目）（12YJC740138）的支持与南京理工大学2014年研究生创新教育项目的部分资助，使我能有幸开启“多模态警示语研究”的小舟，心无旁骛地在学海徜徉，并最终有幸抵达一个小小港湾。为完成这一研究，我曾于2013—2015年在南京师范大学外国语学院博士后流动站学习，在这个平台上，我真真切切收获了许多，尤其要感谢我的博士后合作导师张杰教授的启发与指点，张老师对巴赫金对话性理论的深入阐述、对科研中诗学思维的示范给本人很多启发。2013年9月到12月，为收集语料与更新文献，本人曾有幸在悉尼新南威尔士大学进行合作研究，得到了钟勇博士的大力协助。在书稿草成之后，南京师范大学的辛斌教授、张辉教授、大连理工大学的陈海庆教授、南京理工大学的张权教授、南京航空航天大学的张立新教授曾提出过许多建设性意见，对提高本书的系统性与连贯性大有裨益。在项目的研究过程中，本人也曾就言语行为、话语分析等问题请教过南京大学的陈新仁教授、上海交通大学的王振华教授，在此一并感谢。“吾尝跂而望矣，不如登高之博见也。登高而招，臂非加长也，而见者远。”老师们的扶持使我能够勉强登高而远望，虽然所见非博见，且所见之物或存瑕疵，盖因本人不善假物，断非高台之故。
感谢我的本科生与研究生们与我一起开展相关研究。最开始选择警示语并将其付诸实践，始于一次本科生科研训练，虽然课题的规模很有限，却为我初步接触警示语素材创造了机会；我的研究生程庆玉、张妙与周贤先后协助我开展部分研究；2016年春季选修语篇分析课的研究生们曾对本文草稿提供了诸多反馈意见。感谢南京理工大学外国语学院为本人创造了宽松的学术环境，多次与外国语学院学术沙龙的同仁们一起开展学术研讨与交流，成长中的点点滴滴，终使本人在学术道路上偶有所获。感谢我的家人所给予的无私的爱与支持。
不登高山，不知天之高；不临深溪，不知地之厚。这次攀登“警示语的意义建构”这座小山，让我又一次感知到自己在学术上的鄙陋与无知。在书写“结论”的时候，我内心清楚地知道：这本小书只是一个阶段性的发现，真正的研究其实还在后面。怀着忐忑不安的心情，斗胆与各位同行和读者交流本人的学习心得。因才疏学浅，书中必有疏漏及不当之处，万望海涵并指正。张丽萍第1章绪论随着科技的发展，多媒体日益得到普及与应用，交际中越来越广泛地使用“多模态文本”（Jewitt，2009：1），即由图、文、音、色等多种表意符号系统构建的意义连贯的文本。多模态语篇涉及的符号系统众多，文本体裁也多种多样。本研究主要探讨以实现警示言语功能为交际目的的多模态语篇，探讨其意义建构的模式与机制。本章主要简要介绍本研究的研究对象、研究目标、研究方法及研究意义。1.1研究对象1.1.1 多模态警示语的定义“多模态警示语”指的是综合运用图片、语言、声音、颜色、空间等多种表意符号系统构建的意义连贯的警示语文本，其主要言语功能是“向他人揭示有可能发生的不利信息，以使其避免或减少危害”(1)（Dumas，2010：365）。从多模态话语分析的角度来看，任何一种交际中的语篇都综合使用两种以上的表意系统，使用单一表意系统的语篇几乎不存在（Gibbons，2012：8）。我们所熟知的口语文本中，除了说话人的表情、眼神等副语言特征外，也存在言语、音高、音质等多种表意系统，书面语篇中也至少存在语言与空间距离（排版）两种符号系统。
本书所说的多模态文本，并非是对传统语篇（口语与书面语）的重新界定，而是电子化时代广泛使用的由图（像）、声音、空间等不同表意符号系统与语言系统综合构建的新型文本。如果以多模态文本的主要表意系统为参照，多模态警示语文本既有口语的，也有书面语的，还有图像类（静态、动态）的。在语言符号模态下，既有由短小简练的词汇、短语组成的文本，如交通警示语“前方急转弯”，也有由多个句段构成的语篇或话语，如公共宣传栏的防盗警示。在非语言符号模态下，既有由图片构成的警示语，如交警的手势图示，也有由声音构建的话语，如火情预报警示语。本研究使用“警示语”，而非“警告语”，是为了强调这类警语的规约性功能，不过从动态交际的角(2)度来讲，“示”与“告”没有内在差别。
本书中的多模态警示语主要涉及人为可控的、社会行为中的风险，不仅包括页面纸版或网络平面中融合语言、图形、色彩等符号的视觉文本，也包括日常动态交际中含有语言、背景音乐与空间距离等表意符号的听觉（与视觉）文本。本研究沿用韩礼德的术语，“文本”专指说话人在社会生活中实际生成的话语文本，而“语篇”或“话语”指比较概括的较为抽象的语义单位（Halliday，1978）。语篇（话语）与文本均不是孤立的表意单位，它们立足于语境，是社会生活、交际与实践的构成成分与实现方式。
无论在哪种社会形态下，警示语篇都普遍存在，因为警示是人类群居生活的一个基本交际行为（Searle，1969）。从本质上讲，使用警示源于人类社会生活中的两大普遍认可的伦理道德原则：人不仅具有自主性（autonomy），也具有道义性（beneficence）。人具有自主性，意味着人具有自我管理的能力，可以在获悉足够信息的基础上理性地做出有利的决定，而道义性原则指的是在人际交往中，人们从事一切活动的出发点是与人为善，以不损害、伤害别人为基础，所有的信息均围绕趋利避害、安全健康的目的来设计（Egilman & Bohme，2006：11）。警示语篇的交际目的是为了减少或避免伤害，使被警示的人处于安全、健康状态中，这恰好体现了以上道德观。对英汉语言进行文化学考证可以发现，警示语在古今中外都普遍存在，且均以体现保护性的“警戒”为目的。我国夏商周时代曾经出现比较稳定的警示文体，即“箴”，而西方发达国家很早就进入工业化时代，因强调公民之间的“权利义务”，西方学界对“警示”的使用与研究也形成了一定的规模（详见1.5）。在漫长的历史潮流中，随着时代的变迁，社会文化与环境不断更替，警示语也不断演变。在当今电子化时代，搭上时代的顺风车，警示语充分利用多种符号系统进行表意与建构，从而使多模态警示语成为一种普遍存在的现象与研究话题。
多模态警示语广泛应用于多种社会场景，比如日常交际、商品包装、调解谈判、公益宣传、司法交流、行政管理、外交沟通、商贸谈判等。本研究的多模态警示语大致涉及五个交际领域，分别是纠纷调解谈话、公益宣传、商品包装、行政管理与司法沟通。1.1.2 多模态警示语的学科属性
本书认为多模态警示语是以语言模态为主、其他模态为辅的新语篇形式，是跨学科的语言符号学研究，是应用语言学与符号学研究的新课题。
与语言学同行探讨多模态警示语这个课题时，笔者曾经遇到过一些质疑之声。概括起来，质疑主要集中于两个方面：多模态警示语语篇是不是语言学研究者的选题？多模态警示语的理论是否能“照搬”语言学理论？
第一个疑点主要源于以下两个原因。第一个原因可能是：多模态“并非语言学领域的话题”，因为多模态语篇中常用的图画、声音、色彩等表意符号系统传统上属于传播学的领地，而在多模态语篇中，语(3)言系统并非经常占据主要位置。对此，我们认为，多模态语篇虽然涉及多种表意模态，但是各模态的语篇组织均遵循一定的语义结构，与语言系统具有共核性，而且鉴于孤立的图片（像）存在模糊意义，语言起着非常重要的解歧作用。正因如此，语言学阵营中的话语分析分支已经出现了专攻语言与非语言符号界面的研究队伍，即多模态话语分析（如Jewitt，2009）。其实，语言学论文中早已讨论过多模态警示语中最常见的文本，比如大街上的交通路标、图示或车外告示语等（如袁周敏、陈新仁，2010），相关翻译研究中涉及的多模态警示语更多，如布告或招贴上的指示、警告语的字或图文的翻译方法等（倪传斌、刘治，1998）。旧时王谢前堂燕，飞入寻常百姓家。在当前的电子化时代，各种新媒体、自媒体早已不再是高端精英的专利，而日益成为大众化的交流工具，微博、微信等平台中人们已经广泛地综合使用多种表意手段进行表意，使得我们对多模态警示语的专题研究成为可能与必要。“多模态不属于语言学探讨”这一疑点的第二个原因，恐怕是塞尔（Searle，1969）所说的警告（warning）是语言学概念，与多模态无关。对此，我们认为，塞尔对语言本质的界定具有哲学意义，是形而上的理论概念，不能因为他采用分析哲学的方法进行哲学思辨，从语言分析开展其哲学阐述，就机械地、一成不变地将其观点局限于语言文字体系。从继承与发展的角度上说，完全可以把塞尔对警示的观点延伸于多模态语篇研究（见顾曰国，2013）。
语言学研究对象的演变其实经历了很多变化。从语言学发展的历史长河来说，19世纪索绪尔划分了语言（langue）与言语（parole），将语言学研究定格在语言结构体系，而将言语排除在外，使得结构主义语言学控制语言学研究长达半个世纪。19世纪中叶，在哲学家塞尔的言语理论与维特根斯坦的语言游戏观影响下，对言语的研究才开始进入语言学家的视野。语用学的发展历史也大体如此，语用学家付出了不懈的努力，才使其最终“获得”语言学领域的“合法地位”，从最初的“垃圾筒”地位发展到如今成为一个包罗万象、具有蓬勃发展前景的学科。语用学的发展历史告诉人们，对语言学研究的话题应该具有开放的目光，不应固步自封，否则就会使其成为明日黄花，无法适应社会发展的需要。况且，在后现代的社会文化思潮影响下，学科与学科之间的界限已经大大弱化，许多新问题需要跨学科的尝试与合作才能得到有效解决。
对于质疑的第二个方面，多模态警示语的理论是否能“照搬”语言学理论，多模态话语分析先驱者已经对此进行了解释。Kress与van Leeuwen（2006：vii－viii）明确提出多模态话语的研究不能全部照搬语言学理论，“虽然语言学是符号学的一种，但是语言理论并不能简单套用于所有符号系统或为之提供解释”，同时指出，“尝试用语言理论阐释其他符号文本时，既能显示语言与非语言系统的联系，又能体现其差异性”。系统功能语言学更是从理论上厘清了语言系统与非语言系统之间的内在联系，给出了比较满意的答案。Matthiessen（2007）从系统与功能方面论证了语言符号系统与其他符号系统在表意上具有本质相似性（详见2.1.2.1文献综述），这为多模态警示语的研究提供了理论支撑。
综上，从语言符号学角度研究多模态警示语是可行的。在研究多模态警示语的过程中，既要积极利用某些相关的语言学理论与方法，同时也要综合运用其他符号理论与方法。1.2研究目标
本书研究的主要问题是：如何根据交际目的，在特定的语境条件下综合使用各种表意符号系统建构意义连贯、结构完整的多模态警示语语篇？从话语交际的角度看，建构多模态警示语时，如何才能体现动态交际性？
主要目标是：从多角度探讨多模态警示语整体意义的建构机制，加深对多模态文本的理解与认知，并为多模态语篇提供多视角的分析。1.3研究方法
多模态警示语的研究是新课题，可以用多视角、多维度的方法对其形式结构、意义与功能进行万花筒式的探讨。既可以采用静态研究的方法，也可以使用动态研究方法，不仅要分析警示语本体的意义，也要讨论在动态交际过程中，交际双方如何对警示语的意义生成进行互动性的建构；甚至可以从更宏观的社会语境或认知角度对多模态警示语的意义进行描写或阐释。
本研究主要以巴赫金的对话性理论为指导，从哲理层面讨论多模态警示语的整体意义建构，尝试从深层理论高度探讨其整体意义的潜势——意义的开放性问题，同时，从较微观的视角深入分析人们在不同语境下如何使用特定的符号资源建构警示语意义，如何实现意义的对话性与开放性。
在研究的过程中将主要以系统功能语言学的社会符号观与元功能理论为分析工具，同时在不同章节，根据其研究侧重点，不同程度地结合语言对比、文化研究、话语分析及语料库方法开展研究。
对比研究。本研究对比中英不同警示语语料，在分析中英警示语语义、语法与语篇异同的基础上，讨论多模态警示语的意义建构。
文化研究。本研究把警示语与社会文化因素联系在一起，从微观与宏观角度把握警示语语篇的特性，讨论其文化局限性，并对其进行一定的批评研究。
话语分析。本研究把警示语视为社会实践动态交际的载体与实现方式（Halliday，1978），采用话语分析（Sacks，Schegloff & Jefferson，1974）的方法，考察警示语在实时话轮中如何动态地进行意义的合作建构。
语料库方法。本研究收集了一定数量的中英警示语语料，建立小型的语料库，采用初步的语料检索，在真实语料分析的基础上讨论多模态警示语的语篇类型与体裁特色。
认知分析。本研究中力求把警示语受众的理解能力以及他们对警示交际的心理期待等纳入警示语意义建构的过程中。
在语料选择上，本研究主要择取五类警示语，分别是商品警示语（以香烟盒为例）、公益广告警示（以禁烟广告视频为例）、调解警示语（以电视纠纷调解节目为例）、行政警示语（以天气警示与出行警示为主）与司法警示（以警察告知为主），对其进行具体分析，试图触类旁通，探讨多模态警示语的意义建构规律。具体的语料类型与数量，将在后续的不同章节中进行专门的介绍。1.4研究意义
对多模态警示语进行研究，主要有以下几个方面的意义。
第一，语言学界对警示言语行为的分析比较薄弱，而且对威胁、警告、禁止、劝告等几个相似言语行为的区分尚有不明之处，将其意义的甄别统统留给语境因素。一般认为，威胁言语行为是说话人为了使受话人屈服而对其发出的恫吓行为，而禁止言语行为是说话人为了预先防止不希望发生的行为，对受话人将要进行或者可能想要进行的动作发出的制止行为；警告言语行为是一种较为复杂的祈使类言语行为，警告的目的是说话人为了告诫受话人，使受话人警惕或避免某些可能发生的不利后果，它与威胁和禁止言语行为的交际意图存在着本质的不同（Fraser，1975）。由于三者在表达手段上非常相似，经常被人们混淆（林全胜，2009）。因此，对警示语进行深层研究，将有助于厘清相似言语行为之间的差别。
第二，对警示言语行为的讨论具有文化学与历史学的意义与价值。虽然警示是一种普遍的人际交往行为，但它在中西语言文化中的走向却各不相同。在注重伦理教育与培养的中国先秦时代，警示语篇的社会地位曾非常显著，并一度固化为一种稳定的体裁，这就是“箴”。文论巨著《文心雕龙》曾记载，“箴者，针也，所以攻疾防患，喻针石也。”据说此文体仅盛行于夏商周三世，后来由于人们逐渐“弃德务功……”，不喜直言，“矢言之道盖阙”，因此，“箴……寡用，罕施后代”（刘勰，2008：30－31）。只可惜经典样品《百官箴》早已失传，在现代汉语的演变中这一文体已消失殆尽。在第6章中，我们将对其文体、语言风格与现代演变略做讨论。
古代西方有无类似的警示体裁，暂无人类学的考证说明。在商业比较发达、强调个人责权的资本主义国家，现代语境下的警示却兴盛起来，专指民事生活中（主要是商品消费领域）为保障或改善安全消(4)费状况而设计的安全警示标志。有关警示的人因工程学与法律语言研究都比较蓬勃，使得警示语的研究成为一个有趣的课题。Wogalter（2006a）主编出版的“警示语”论文集长达52章，逾600页，而Edworthy（1996）也推出了关于警示设计的学术性论著。可以说，当前文献中关于警示的研究主要沿用西方的研究范式，但使用警示的根本初衷已经发生了变化。“尽管警示与人类的道义原则相一致，但美国现在广泛地使用警示，纯粹是国家法律的硬性要求，其目的主要是避免法律责任与利益损害”（Egilman & Bohme，2006：11 ；cf Ryan，1991 ：27）。可以说，现代社会中所使用的民事意义上的警示，大部分并非出于伦理与道义考虑，而是为了满足法律保障消费者安全的硬性要求，相当一部分警示已经徒具其名不具其实，根本起不到有效的交际目的。随着人们维权意识的增强，现代西方意义上的警示在汉语研究中也逐渐得到重视。从一定意义上说，以中外语言文化中的警示差异为例，寻微探幽，也许可以别开洞天，从一个侧面勾勒出中西道德伦理发展与走向之差异。因此，不管从汉语语言文化的传承，还是从中西文化对比的角度来看，都有必要对多模态警示语进行深入的研究。
第三，在当下科学研究出现“多模态转向”（inescapable trend toward multimodality）的背景下，对多模态警示语进行研究已成为必要选择。目前的电子化时代，“人文研究正从完全以语言为唯一交际模态的口语文本转向‘多模态’，无论人们为之欢喜雀跃或为之扼腕叹息，众多论文、书籍题目中出现了‘多模态’（或其同义词），会议分组讨论的核心主题上也频繁出现‘多模态’，与时代形成了完美的呼应。”（Forceville & Urios-Aparisi，2009：3）
第四，以小句段的警示语为对象进行话语分析，将突破以往话语分析常以较完整的长语篇为分析单位的惯用思路，有助于从另一个角度探讨“话语”与“语篇”的本质。
第五，对警示语进行跨学科研究具有社会实践意义。当前的电子化时代，因为警示信息不当造成的民事诉讼多如牛毛，警示语研究将能够促进人们对警示充分性的理解。当前，对警示充分性的解释虽然涉及诸多学科（Cox Ⅲ，2006：651），但是语言符号学的作用尚未得到彰显与发扬。随着语言符号学的深入研究，我们对如何建构形式多样、内容丰富的多模态警示语将有更深刻的认识：有朝一日，语言符号学专家将可以以“专家证人”的身份，对“警示是否充分”提供比较专业与权威的鉴定意见，为民事纠纷的解决提供参考。
本书的结构安排如下。第1章介绍研究对象、分类、研究方法、选题意义等。第2章对相关文献进行梳理。第3章根据巴赫金的对话性理论的主要观点，对多模态警示语的艺术建构进行宏观分析并根据系统功能语言学的元功能理论，探讨了多模态警示语意义对话性的分析框架，从理论上论证了建构对话性的多模态警示语意义具有可行性。第4章到第8章分别以某一类警示语为例，对不同类型的多模态警示语进行细致的分析，讨论多种符号资源在警示语建构中的作用，以及多模态警示语意义的对话性在语篇结构、言语交际、认知思维、跨文化领域等不同方面的体现。第4章主要分析商品警示语（主要以烟盒警示语为例）在历时文化变迁中所体现的意义开放性与对话性，接着基于具体的语料分析，讨论了图文型多模态商品警示语的建构规律，对现有多模态商品警示语进行批评分析，指出其不足之处与局限性。第5章对公益广告视频中的多模态警示语进行分析，主要从多模态隐喻角度探讨警示语（反烟警示）的建构，分析图、文、音等模态在线性序列上构成的互动性，以及这种互动与读者的认知解读之间的对话性。第6章采用话语分析方法，对口语动态交际中的多模态警示语进行分析，探讨听话人与说话人如何在话轮转换中互动性地建构言语警示语与多模态警示语。第7章探讨公共行政警示语的多模态语篇结构在模态之间体现的互动含义，同时分析英汉翻译中所体现的语际对话性。第8章讨论了世界各国司法领域中警察告知的建构与重构过程，讨论了对话性与互动性在警示语沟通中的重要作用，最后从多模态话语交际方面提出在司法领域中建构多模态警示语的具体办法，以改善现有的警示沟通。第9章为结论部分。
(1) 本研究暂时采用“多模态警示语”这一术语来概括本书的研究对象。实质上它与“警示语的多模态表达”之间没有本质区别，当然前者比后者更能体现警示语表述的多模态化特征。随着交际中多模态化（Wacewicz and Zywiczynsk，2017）的日益普及，“多模态警示语”也许会更容易得到学界的认可。
(2) 在第8章中，对于司法领域中警察对犯罪嫌疑人的口头警示语，为行文方便，我们仍然沿用了“警告”这一习惯性术语。
(3) 在笔者与语言学同行进行交流的过程中，部分研究者认为语言学的主要议题是语音、句法、语义与语用等，提出将无关的话题交给其他学科的人研究。
(4) 人因分析学（human factor analysis）研究现代设计方案中人与技术互动的规律，是工业设计领域的一个分支学科。第2章多模态警示语相关研究本章简要介绍多模态警示语的相关文献，主要包括多模态话语的概念、研究视角、标注方法，以及目前对多模态警示语的分类与研究发现。2.1多模态话语
本节介绍模态与多模态的概念，然后总结多模态话语（或语篇）分析的主要研究理论与方法，最后介绍多模态语篇的语料标注方法。2.1.1 模态与多模态
模态（modality）是基于模式（mode）发展起来的概念，它在不同的领域中有不同的界定，很容易导致误解。极易与之混淆的概念是(1)情态（modality），即语言学传统意义上的“附着在语言上的语义范畴”（Bybee & Fleischman，1995：2，cf van Leeuwen，2005：160），指的是在话语命题的中性意义（事实型或陈述型）上增加的附加意义，包括祈使、意愿、目的、假设、必然、怀疑、感叹、劝告、可能等（Bybee & Fleischman，1995：2）。一般来说，有两种情态，分别是义务性情态（deontic modality）与认知性情态（epistemic modality），前者指实施者实现某行为的可能性与必然性，而后者涉及话语命题真值的可能性与必然性。情态可以通过一种或多种手段实现，比如语符（morphology）、词汇、句法或音调。近年来，对情态的表达与识别，研究者的观点与视角各不相同，详见Bybee与Fleischman（1995：5－6）。本课题所说的“模态”是表意符号系统（Kress，2009：Kress & van Leeuwen，2006）。
在多模态话语分析领域，学者们对“模态”的理解也各不相同。Forceville（2008、2009）从认知角度出发，按照感知方式把模态区分为与五种感官相对应的系统，分别是听觉模态、视觉模态、感觉模态、触觉模态与味觉模态。但是，这种区分过于笼统，“忽略了同一模态下不同表意系统之间的差异”（Gibbons，2012：9）。比如，视觉模态既包括图画系统，也包括书面文字系统，在认知视角的概念下两者的差异无法得以凸显。顾曰国（2013、2015、2016）也把模态与感官系统联系起来讨论，认为模态与语言学习有密切的联系。
多模态话语分析领域的不同流派对模态的解释也各不相同。在互动交际分析框架（见Norris，2004；Scollon & Scollon，2001）中，研究者感兴趣的是人们如何在交际中使用各种资源表达意义，发现人的姿势也可能成为一种模态。在这里，如何界定模态并非那么关键。Norris（2004：84）指出，模态是交际的一种媒介方法（mediational means）或文化工具，同一模态在不同的交际中可起到不同的表意作用，而同一交际中所使用到的多种模态按其作用大小可以分为不同层次，比如说，根据交际者对模态的不同注意程度，可将模态分为高、中、低三类。在系统功能语言学的话语分析视角（O'Halloran，2004）下，人们从符号资源能否构成一个相对完整的体系这一点来考量模态。符号资源是实现不同社会功能的意义系统，而意义的生成即在不同符号资源中进行选择并对之进行有效的组合（Jewitt，2009：21－22）。可以说，在话语分析视角下，意义的形成本身就是多模态语篇现象（a multimodal phenomenon）。按照这一观点，语言就是一种较高一级的符号系统，通过书面与口头两个子模态来实现意义。在社会符号学视角下，人们从表达意义的载体的文化与物质属性来考察模态，模态是“在特定的语境下，在长期的人际交往中形成的”（Kress，2009：54－67）。Kress（2009）指出，要从两个方面考察某一模态的存在。第一，模态具有社会性。人们是否习惯性地经常用到这一模态的资源？第二，模态具有功能性。该模态是否同时具有概念、人际与语篇三个交际功能？任何表意系统都有可能成为模态。基于此，Page（2009：6）以折中的语气提出，“多模态话语分析中的模态是符号性的，是人们进行意义交流并加以选择的系统。作为一个开放性的概念，它包括但不限于语言、图像、颜色、排版、音乐、音质、手势、空间等资源。”这一论断使得模态的概念具有了足够的张力，可以因地制宜地囊括多种动态交际。在具体的言语交际语境中，可以围绕“何时、何地、何模态在何种程度上成为主体表意手段”（Page，2009：6）这一问题展开讨论。
以上几种对模态的界定各有侧重。Forceville（2009）是从意义(2)接受者的感知角度来讨论模态，而Kress（2009）等把模态看作独立的客体，从符号性与社会性来讨论模态的意义，话语分析视角（O'Halloran，2004）则从使用者的角度，认为模态即意义选择的过程。Page（2009）则以点睛之笔，勾勒出模态的动态性与开放性特点。可以说，综合以上不同视角来讨论模态，将会更有利于我们接近其本质。
我们认为模态是社会生活中约定形成的表意符号系统，具有韩礼德所说的三大元功能（Kress，2009），其具体的功能与形式依据语境而定，因此具有开放性与动态性。物质材料或文化特征等都有可能逐渐具有特定的符号性，构成比较稳定的表意系统。同时，也可以按意义接受者在交际中所调用或使用的生理认知功能来对模态进行分类。
多模态指的是“同一符号性话语产品或事件中使用了多种符号模态”（Kress & van Leeuwen，2006：20）或同一语篇中存在多种模态符号。实际生活中，交际语篇往往是多模态的（Matthiessen，2007；Wacewicz & Zywiczynski，2017）。多模态语篇的研究并不会弱化语言符号系统在交际中的作用，反而为人们更好地了解语言与交际的本质提供了不同的视角。
多模态的分类方法各有不同。按照文本中涉及的模态的种类，可将模态分为单模态与多模态；按照模态的动静特点，可以分为静态模态与动态模态，前者如图片或文字，后者如视频文本；以语言系统为参照，可以将模态分为语言模态与非语言模态；按照符号与意义的对应关系，可以分为符号－意义简单模态（如红、绿灯构成的模态）与符号－语法－意义这类比较复杂、系统的模态（如语言模态、图像模态等）。也可根据具体的交际场景，将模态分为不同层次，如张德禄（2015）将外语教学环境下的多模态交际分为语言模态、非语言模态，而非语言模态再分为以头部为主的模态（如表情、眼神等）、以上肢为主的模态（如手势）、以身体躯干为主的模态（如姿势）以及工具与环境模态。2.1.2 多模态话语分析的理论与方法
目前，在多模态语篇研究中取得系列研究发现或成就的主要有五个理论或流派，分别是系统功能语言学的多模态话语分析、社会符号学、互动交际、认知语言学与语料库语言学，其中，前两个流派的研究方法在现有多模态研究中使用得比较多（冯德正、Low，2015）。此外，人类学、精神分析等其他理论也对多模态语篇进行过不同程度的探讨分析（van Leeuwen & Jewitt，2001）。2.1.2.1 系统功能语言学的多模态话语分析
研究者主要采用韩礼德的系统功能语言学方法分析艺术、绘画、雕塑、建筑等多模态语篇，成果颇丰，主要代表性论著有《造型艺术的语言》（The Language of the Displayed Art）（O'Toole，1994）、《多模态话语分析：系统功能视角》（Multimodal Discourse Analysis Systemic Functional Perspective）（O'Halloran，2004）、《叙述中的世界与显示的世界：多模态议题》（The World Told and the World Shown Multimodal Issues）（Ventola & Guijarro，2009）等。他们主要运用系统功能语言学的阶分析（rank analysis）与层级结构（stratum）方法，把各类多模态艺术作品逐阶分为较小的分析单位，并从概念功能、人际功能与语篇功能上微观地讨论这些单位的不同意义。此分析方法为艺术鉴赏者详细地描写自己对艺术作品的感受与认知提供了可行的操作框架，但是其主要缺陷在于把语言学概念与框架过度泛化，使得语言学理论成为一切符号研究的母理论，给人以“语言帝国主义”或“语言中心主义”的印象，不利于人们深入理解符号系统的个性特征（见Gibbons，2012 ：13 ；Kress & van Leeuwen，2006）。
尽管系统功能语言学领域的多模态话语分析方法不可避免地存在某些不足，但瑕不掩瑜，它对多模态话语分析的贡献非常大。此分析方法的系统性为我们描写并阐释多模态语篇的结构与功能提供了很好的工具与坐标，同时，其独特的理论观点，即“语言具有社会符号性”与“语言的多模态性”，对人们深入理解多模态语篇的本质具有重大指引作用。Matthiessen（2007）从意义的理论体系与语篇发生（logogenesis）两个方面论证了语言具有多模态性这一本质，为多模态语篇发展成为独立的研究领域与课题提供了合法性解释，也为多模态话语分析的具体操作方法提供了依据。“语言本身具有多模态性”这一论断（Matthiessen，2007）直接证明了语言与其他模态在表意上具有同质性地位。讨论语言系统的时候，系统功能语言学沿袭叶尔姆斯列夫（Hjelmslev，1943/1953）、费斯（Firth，1957）等的层级分析法，将语言分为语境层面（context plane）、表达层面（expression plane）与内容层面(3)（content plane），表达层面居于内容层面之下；以此层级为参照，在考察语言系统的时候，如果从内容这一层推演表达层的结构，称为“自上而下”法，相反，如果从表达层出发去分析内容层的话，称为“自下而上”法（Thompson & Hunston，2006）。以自上而下的视角，立足于语境（内容层之上的一层）的实现方式来看，位于表达层面的诸多符号体系（或模态系统）之间具有近乎相同的地位，都具有表达意义的潜势，而且它们相互补充，共同创造、表达或实现文化意义，体现出更多的本质相似性——符号性；以“自下而上”的视角，从表达层面的形式结构出发讨论意义，则不同模态分属于不同的领域，体现出更多的差异性。如果将语境层面、内容层面与表达层面从上到下连成一线的话，越往上看，各模态之间的差别越来越小，它们在表意上的互补性越来越明显。Matthiessen（2007）指出在内容（意义）这一层面上诸多模态系统逐步地有机融合，共同表达语境语义（见图2.1）。图2.1 多模态在表达层面与内容层面上的差异（资料来源Matthiessen，2007：3）
正是基于这一理论前提，我们认为借用语言理论的某些思路或方法去研究多模态警示语语篇，是具有可行性的，“鉴于符号系统本质上具有多模态性，语言的符号系统便成为观察多模态特点的一个起点，这一点在语境中也同样可行……”（Matthiessen，2007：4）。
多模态是语言系统的内在特征之一（Matthiessen，2007），人类早期的原语言（protolanguage）本身就具有多模态性。考察世界各地不同语言的起源情况，可以发现早期的原语言都是口语形式，综合使用姿势、面部表情、目光与发音（vocalization）等表意资源（位于表达层面），系统性地实现内容层面上的微观意义潜势（包括调节性、工具性、人际性与互动性）（Matthiessen，2007）。通常来说，某一模态极有可能与某一特定意义联系在一起，比如体现动作性或动态性的意义通常由动态的模态来实现。在原语言向较为成熟的语言阶段发展进化的过程中，语言的多模态性得以保存与拓展，逐渐在语言和其他符号模态之间形成更加广泛的对应性联系，姿势与面部表情形成了表达层面的“体势语”（body language）模态的部分资源，发音（vocalization）仍然是表达层面的一个模态，但此模态资源的部分组成要素，包括音色（tamber）、速度（tempo）、音量（loudness）逐渐转化为所谓的“副语言”（paralanguage）。显而易见，语言模态与体势语模态之间的界限是比较模糊的，因为在特定语境下在意义生成的过程中，语言总是会与体势语、副语言融合在一起。典型的例证是，在表达“感叹”这一意义的时候，人们总是用明显的声调将语言的感叹意义明示化，或适度配以相应的表情与手势。在语言的后期进化过程中，体势语与副语言逐渐演化为独立的模态，但这并不意味着语言就退化为单模态了，相反，它依然“保持了多模态潜势”。盲人所使用的手语（sign language）可以充分证明这一点，另外，口语中的发音特征（vocalization）仍然是多模态的，包含了音（articulation）与韵（prosody）两种子模态。
原语言的书面语也具有多模态性，因为世界上所有的文字都起源于图画性的象形文字。在文字发展的过程中，图形文字与外在世界具有很大的相似性，但随着认知系统（尤其是抽象推理能力）的介入，这种相似性变得越来越小（Matthiessen，2007）。象形文字中的图像部分逐渐转化为文字的笔画或语相（graphology）。在象形文字阶段，图像与它的所指（外在世界）之间的关系是“自然的”，而当象形文字进化为现代文字后，文字与意义之间的关系就变成了“常规的”（Matthiessen，2007：9）。Halliday（1991）指出，文字与口头语言之间存在功能上的互补性，也就是说，在实现意义的过程中两者有不同的语域占位。一般来说，使用文字的语境总是与古代使用图像文字的场合联系在一起。口头语言通常更有“交际功能”，而书面文字更趋向于“档案记录功能”。最初的书写（writing）就是“非命题”（或非小句）的，如记账用的物品名称或人名，非命题的意义通常是用图画文字来指示的（Halliday，1991）。总之，在原语言进化的过程中，口头语与体势语、副语言保持着紧密的联系，同理，书面文字与图像文字之间也存在着密切的联系。在现存的许多古工艺品上面，书面文字与图像往往混成一体，构成一个语篇整体。
Matthiessen（2007）指出语言含有三种次级表达系统（分别是语音系统、文字记录系统与符号系统）。文字记录系统与符号系统通常以视觉方式显示，实现那些相对静态或持久的体势语意义，最初被刻录在可长久保存的物质载体上；语音系统是听觉的，语音与音调实现可听到或看到的较短暂的体势语意义。语言表达层面上的诸多模态与其他非语言符号系统一起发展进化。
如何解释诸多模态在表意中产生不同的分工？Matthiessen（2007）尝试用情态（modality）、表达媒介（media of expression）、表达模式（mode of expression）与意义模式（mode of meaning）之间的关系进行解释。语言的多模态性只停留在语言的表达层面，其中共有三个表达系统，分别是语相（graphology）、语音（intonation）与符号（sign）。根据功能语言学的实证研究与理论探讨，在内容层面，书面语与口语之间存在的“模态”差异只不过是语域的差异，也就是说，两者的差别是由于语境的不同而形成形式迥异的实例化（instantiation）方式。当然，书面语与口语在体现词汇句法与语义表达的方式上存在一些偏差，尤其在体现人际意义的基调（Key）与语篇信息功能时，但是这些功能完全可以在口语与书面语的词汇句法层面由具体模态来实现。对于其他表意系统来说，类似于口语与书面语之间的这种差别，大致都概率性地与实现过程中的语域或语境相对应。换言之，最初的原语言的确具有把意义模式与相应的表达模式相对应的趋向，但是这种简单对应并非语言内在的特征。
经验性表达模式是结构性的，人际性表达模式是韵律性的，语篇表达模式是波状的，逻辑性表达模式是链条状的。表达模式由表达媒介（诸如序列、片段与语调）来体现。这些表达媒介随着表达情态的变化而变化，并与后者存在一定的对照关系。口语中，表达媒介包括片段（segment）（由发音序列[articulatory sequence]实现）、序列（sequence）（由时间长度[temporal unfolding]实现）与语调（intonation）（由音调活动[pitch movement]实现），书面语中，表达媒介包括片段（由书写顺序[graphemic sequence]形成）与序列（从上到下或从左到右展开的书写[graphological unfolding]实现）。在书面语中，语调是缺位的，但是字号风格可以实现类似的动能，尽管其在系统性上稍微欠缺一些（Matthiessen，2007：13）。
以上分析说明一点，语言的表述媒介是表达模式的载体，表达模式包含不同的表达媒介。有两个特点值得注意：第一，载体可能有不同的形式，三个媒介虽然常互补性地实现系统的功能，比如语调既实现信息功能也实现主题功能，但它们仍然有可能具有其他功能；第二，在同一或相同的元功能表达模式中，表达媒介存在变异性。比如，语篇的波形功能可以由序列、语调或片段来实现。这种特点存在于同一种语言内，由此推断它也存在于不同语言之间。推而广之，作为抽象组织的表达模式可由不同的表达媒介实现，究竟由哪种表达媒介来实现，最终取决于特定符号系统的模态。在口语系统中，韵律与波形通常由语调实现，但在图画系统中，韵律可由颜色来实现，体现为语调或色调（hue）（Matthiessen，2007：14）。
必须指出，语言系统与其他系统在表达媒介的选择上存在差异，主要与其表意过程中所遵从的规约性程度有关。在语言体系中，语调、序列与它们所体现的意义之间存在着自然的关系，但是片段与它所实现的意义之间的关系则是规约性的。相反，在图像系统中，表达媒介与它们所实现的意义之间存在自然关系，主要因为其内容层面的阶与表达层面的阶是一致的（Matthiessen，2007：20）。
Matthiessen（2007：21）指出，把语言系统“移植”或“翻译”到其他符号系统，具有潜在可能性：在语言资源中，我们充分利用语言隐喻（诸如波、韵律与结构）来建构位于语言系统内容层面的意义。也就是说，概念性功能使我们有了构筑表达模式与表达媒介的方法，用这种方法，非语言符号系统（比如素描、绘画、动画、雕塑或音乐）使我们可以用多种具体手段来表达内容层面的意义。因此，其他符号系统均可用来将抽象的语义做“具体化”（concretize）的体现。抽象的时空这一语义内涵可以用语言符号来描写，就是一个典型的例证。认知语言学研究发现，语言词汇在实现“时间的变化”意义时，通常在垂直方向上被具象化为向上或向下的过程或动作。这足以证明不同符号系统之间可以进行“转化”或“翻译”。
在论证语言系统本身就具有多模态性之外，包括马丁在内的功能语言学的研究者们，不断完善系统功能语言学在具体的多模态话语分析过程中的可操作性问题（Martin，2009，2011），并在数学（O'Halloran，2005）、建筑领域（O'Halloran，2004）、体势语（Jaworski and Thurlow，2009）与其他众多领域（Bowcher，2012）展开了很多实证研究，取得了丰硕的成果，如《叙事与多模态研究新视野》（New Perspectives to Narrative and Multimodality）（Page，2009）、《多模态话语研究的新途径》（New Directions in the Analysis of Multimodal Discourse）（Royce & Bowcher，2007）与《多样化的多模态语篇》（Multimodal Texts from Around the World）（Bowcher，2012）。系统功能语言学的多模态话语分析方法目前正处在蓬勃发展的上升期。2.1.2.2 社会符号学
运用社会符号学方法对多模态话语进行分析的代表作是《视觉语法》（Kress & van Leeuwen，2006）。在这一论著中，两位研究者在巴尔特、皮尔斯等符号学理论的基础上，结合系统功能语言学的元功能与分析方法（如及物性系统、信息系统与人际系统等），对一系列视觉文本，包括儿童绘画草图、艺术品、油画、广告等，进行了深入系统的分析，向人们揭示了多模态文本中的语法规则，以此昭示了对多模态文本的符号意义进行系统描述具有一定的现实性，为跨学科研究开辟了新的领地（李战子，2003）。
在方法论上，他们的研究难免受到学界的批评，主要问题是他们“坚持”将语言系统的规则运用到图画文本系统中，而有些学者认为“并不能将系统功能语言学的概念与结构，比如语法，充分地移植于解释图像系统”（Gibbons，2012：14）。被广为诟病的部分是语篇的信息结构，Kress和van Leeuwen（2006）将语言学信息结构的分布规律（左侧的为旧信息，右侧为新信息）直接移植到对图画文本系统的信息结构的描述中，但图画文本的线性解读顺序并不一定是约定俗成的唯一解读方式。到目前为止，所有的质疑大致集中在三个方面：第一，将语言与图像文本视作同类文本，并对其按相同的结构分析处理；第二，对图像的分析方法没有提供实证分析的佐证；第三，在多模态文本中，分析重点主要集中在图像因素上，对图文之间存在的语义关系没有给予足够深入的探讨（Gibbons，2012：15）。
对此，Kress和van Leeuwen（2006）解释说，“在语言的序列性信息结构与图像的横向组合之间具有比较大的相似性，证明了信息排列上确实存在更加抽象的编码原则（coding orientation），从而使得不同的符号模态在表达上出现了差异。”可喜的是，Matthiessen（2007）的“语言多模态性”的论说从一定程度上对此进行了理论阐释：在信息系统的表达媒介的选择与实现方式上，图画与语言文字之间存在差异。
瑕不掩瑜。尽管《视觉语法》（Kress & van Leeuwen，2006）屡遭质疑，但是此书开辟了语篇分析中的新领地与研究方向，对推动多模态语篇分析向前发展，确实功不可没。在随后的论著中，如在《多模态话语》（Kress & van Leeuwen，2001）与《多模态：当代交际的社会符号观》（Kress，2010）中，Kress与van Leeuwen对多模态话语分析的社会符号学方法进行了系统的范畴化，提出他们对多模态话语的基本观点，“不同模态内部与相互之间存在共同的符号原理”（Kress & van Leeuwen，2001 ：2），这一观点显然比Kress和Leeuwen（1996/2006）的观点更近了一层。他们指出，多模态语篇的生成实践有四个不同的领域，分别是语篇（discourse）、设计（design）（表达的概念层面，包括符号模式）、生产（语篇实际使用的材料）与发布（产品送到终端读者的方式），这在课堂话语、服饰、声音与音乐、儿童速描等不同场景或者路标、厨具等一系列具有广泛社会性的产品中均有体现（参见张德禄，2009，韦琴红，2009等）。这些研究大大拓宽了多模态话语分析的研究领域，拓展了研究视野，把多模态文本的生产过程与技术方面拉入到分析者的考量范围中。
社会符号学所关注的主要议题是特定社会语境或社区中人们使用模态资源的规律，重点关注符号使用者的信息与他们在具体语境下对模态资源的使用与选择，认为符号使用过程就是社会实践过程，人们在特定场景下如何从可用的资源中选择某些资源，与语言和社会语境
试读结束[说明：试读内容隐藏了图片]