作者：吕菲,田丰
出版社：电子工业出版社
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
基于现实的交互界面：方法和实践试读：
前言
全书分为3个部分共8章。第一部分为概述（第1～2章），介绍了用户界面的重要作用和发展历史，阐述了基于现实的交互界面的概念、现实层级框架、作用和意义、研究现状、未来发展趋势，以及目前所面临的问题和挑战。第二部分为技术和方法（第3～5章），介绍了基于现实的交互界面设计方法、基于运动模型的笔尾交互技术和肢体交互技术、交互界面评估的方法和框架等。第三部分为应用实践（第6～8章），介绍了儿童汉字学习系统、儿童讲故事学习系统和儿童音乐合奏学习系统等具有重要社会价值的应用系统。
本书的完成要感谢我的博士生导师戴国忠研究员，他在研究方向上给了我极大的指引，对本书的框架和结构也提出了非常宝贵的指导。感谢我的硕士生导师侯文军教授，一直支持我的科研和教学工作。感谢我的学生席瑞、蒋之阳、孙正昱、何致奇等在书稿整理上的帮助。同时，特别感谢我的父母、爱人和女儿，没有他们的支持和奉献，我不会有时间和精力完成本书的写作。
本书受到国家重点研发计划（2016YFB1001405）、中央高校基本科研业务费专项资金资助项目、北京市社会科学基金项目（16YTC033）、国家自然科学基金（61303162、61232013、61422212）和中国科学院前沿科学重点研究计划（QYZDY-SSW-JSC041）的资助，在此一并表示感谢。
尽管我们对本书有着较高的期待并做出了最大的努力，但由于写作水平和研究工作的局限、编写时间的仓促，书中的不足、疏漏之处在所难免，欢迎广大读者积极提出宝贵意见。
吕菲
北京邮电大学
2017年8月第一部分 概述
本部分将介绍基于现实的交互界面的基本概念。
第1章 用户界面概述
第2章 基于现实的交互界面概述第1章 用户界面概述
用户界面（User Interface），又被称为使用者界面或人机界面，是人与计算机之间交换、传递信息的平台及对话的窗口，是计算机系统的重要组成部分。用户界面是当前计算机行业竞争的焦点之一，它的好坏直接影响着人们日常生活和工作的质量、效率和体验。计算机处理速度和性能的迅猛提高并没有相应提高用户使用计算机交互的能力，其中一个重要原因就是缺少一个与之相适应的用户界面。随着计算机软硬件的快速发展，用户界面也面临着更高的要求和挑战。1.1 用户界面的发展历史
与摩尔定律所预言的计算机硬件性能的稳定增长不同，用户界面的发展并不是持续稳定增长的；相反，用户界面的发展是一种经历长时间稳定后的突破式演变。从20世纪50年代用户界面出现至今，其发展经历了三次演变：1950—1960年的批处理界面、1960—1980年的命令行界面、兴起于20世纪70年代的WIMP界面。每一个新的时代较前一个时代而言，都能更大限度地拓展人机交流的带宽，提高用户的生产力。
在用户界面发展的第一个时代，人们主要通过批处理方式（Batch Mode）来使用计算机。而当时计算机所装备的输入设备是穿孔卡片，输出设备是行式打印机。因此，只有少数人可以通过控制台上的控制开关和信号灯的显示来进行计算机调试。可以说，在那种情[1]况下的用户界面只是一种用户界面的雏形。
在用户界面发展的第二个时代，计算机硬件已经有了很大的发展。应用了分时系统的大型机和小型机是当时的主流设备。人们通过不同的终端来分享大型机的资源。那时，用户可以通过在键盘上输入字符形式的命令和参数来操作计算机。这个时代被称为命令行时代。这个时代一直延续到个人计算机出现早期，像DOS和UNIX操作系统都是这一时代风格的体现。命令行方式要求用户进行大量的记忆和训练，并且容易出错，使入门者望而生畏，但同时也比较灵活和高效，适合一些专业人员使用。
到了20世纪70年代，著名的研究机构Xerox PARC研究出了第三代用户界面的雏形——WIMP界面。1979年Thacker等开发的Alto Computer是首个提供给用户视窗（Windows）、图标（Icons）、菜单（Menus）和指点设备（Pointer-Pointing Device）四大组件的界面，它也成为第一批使用基于桌面隐喻操作系统的计算机。桌面隐喻是指在计算机屏幕上虚拟呈现了用户熟悉的办公室，这种隐喻可以降低用[2]户和机器间的不信任感，也使得用户更容易学习和掌握如何使用用户界面。这种风格一直沿用至今。它最早由 Apple 公司的Macintosh操作系统应用，之后Microsoft公司的Windows和UNIX系统中的Motif 窗口系统也纷纷效仿，使得它成为占统治地位的界面风格。这种界面风格之所以能统治这么长时间，是因为它与命令行的输入相比，大大地提高了用户的生产力。WIMP交互方式具有直接操作的特点。直接[3]操作具有三个重要特征：对象可视化，界面可以通过图形方式显示用户所关心的对象；语法极小化，采用物理动作或按钮代替复杂的语法规则，用户不必通过命令行的输入方式来手动构造命令语法，避免了在命令输入过程中的错误，同时缩短了命令的执行时间，提高了用户的工作效率；快速语义反馈，用户在对象上快速、增量式和可逆的操作会立即带来可视的效果，这无疑极大地减轻了用户的认知负担。
在WIMP界面占统治地位的几十年中，随着计算机硬件设备的进步和软件技术的发展。WIMP界面的缺点逐渐地体现出来。对于WIMP界面而言，它终究是局限在桌面隐喻之上的，用它来进行文档的处理等工作非常合适，但对于像虚拟现实等其他许多类的应用而言，WIMP界面并不合适。从20世纪90年代初开始，研究者们将研究的焦点重新聚集到了下一代用户界面的研究上。1.2 用户界面范式
范式（Paradigm）一词源于希腊语，指修辞学上的例证、范例，其在科学上的使用最早可见于1962年托马斯·库恩的《科学革命的结构》一书。托马斯指出，范式是一种公认的模型或模式，而科学[4]的变革往往伴随着范式的改变（Paradigm Shift）。在人机交互中，广义的范式指人机交互相关的理论、法则、应用、方法等，而更[5]具体的界面范式常常用来指代界面设计的模式。
界面范式与界面隐喻互相区别却又紧密相关。隐喻既是一种语言[6]修辞方法，也是一种认知工具。在人机交互领域，界面隐喻（Metaphor）延伸了隐喻的认知属性，用人们熟知的非计算机领域的概念表达用户界面中的功能和对象。与界面范式相比，界面隐喻侧重于描述心智模型（Mental Model），用于帮助研究人员、设计人员和用户建立一个统一的模型；而界面范式则侧重于描述界面的具体形式，能够指导设计者和开发者进行界面设计。图形用户界面最著名的界面隐喻是桌面隐喻，通过模拟桌面办公环境向用户解释界面组件和交互方式。与桌面隐喻对应的界面范式就是 WIMP 范式。在 WIMP 范式中，W 是视窗（Windows），表示承载应用信息的交互组件；I是图标（Icons）；M是菜单（Menus），表示直接操作的对象组件；P 是指点设备（Pointer-Pointing Device），表示此范式中所采用的设备及相应的交互方式。用户界面的发展和变革本质上与界面范式密切相关。1.3 WIMP界面的批判
WIMP 范式虽然已经统治了用户界面领域近几十年，并将在今后一段时间内仍处于统治地位；但WIMP自身存在一些缺陷，人们需要研究和建立更加合理、有效的人机交互风格。Van Dam对于WIMP范[1]式的缺陷有着较为全面的概括。
· 对于WIMP范式下的每一个交互组件（如按钮、菜单等）而言，单独使用它们非常方便，但如果将它们按照应用系统的要求组合在一起，将导致界面复杂性和交互复杂性的非线性增长，最终会大大增加用户的认知负担。
· 用户大量的时间都花费在了关注如何进行交互操作上，而不是任务本身。一些专业用户往往厌烦了太多的“Point and Click”操作，反而重新选择使用键盘的快捷方式来进行操作。
· WIMP界面由于其信息维度的限制，对于多维信息并不能进行自然的表达，只能通过多窗口的方式来解决。同时，对于三维的交互任务而言，使用二维的WIMP界面显然也是不自然的。
· 鼠标和键盘并不适合所有人，对于那些身体有缺陷的用户而言，WIMP界面并不合适。
· WIMP交互方式并没有利用语音、听觉和触觉等交互技术。正如Bill Buxton所言，WIMP交互方式仅仅利用了人的一只眼睛和一根手指，这对于拥有各种交流器官的人类而言，利用率无疑是非常低下的。1.4 用户界面的新趋势
从 20 世纪 90 年代起，人机交互研究者们开始展望下一代用户[7]界面：Nielsen提出了Non-Command User Interfaces的概念；Green和Jacob在1990年的ACM SIGGRAPH年会上最早提出了Non-WIMP界[8]面的概念，用来描述没有使用桌面隐喻的界面；1997 年，美国布朗大学的 Van Dam 在COMMUNICATIONS OF THE ACM上提出了Post-WIMP 用户界面的概念，指出新的界面应该“至少包含一项不[1]基于传统的 2D 交互组件（如菜单和图标）的交互技术”。
用户界面的发展也验证了研究者们的猜测，涌现出了大量与传统 WIMP范式不同的界面类型。Jacob对现有的Post-WIMP范例进行[9]了总结，提出了基于现实的交互（Reality-Based Interaction，RBI），这一概念和相关框架为分析新兴用户界面提供了新的思路。
1.4.1 Non-Command User Interfaces[7]
1993年，Nielsen提出了Non-Command User Interfaces的概念，并对传统用户界面和下一代用户界面的交互特征进行了深入的比较和研究。他指出，所有以前的用户界面风格，包括批处理方式、命令行方式、图形界面方式都可以统称为基于命令的界面。在这些界面中，计算机通过接收用户发出的精确的计算机命令来执行相应的操作。而下一代用户界面可以定义为非命令的界面。用户同计算机的交互并不通过发送精确的计算机所定义的命令；而是计算机根据用户的交互动作、分析用户的交互意图来执行相应的任务。这样用户的注意力就可以从关注操作控制转移到任务本身。
Nielsen 从以下多个方面阐述了下一代用户界面同传统用户界面的不同，指出了传统用户界面的不足。他还指出，也许在下一代用户界面系统中可能无法看到所有方面的不同，但至少会反映其中的几种[7]。
· 从用户注意（User Focus）的角度来看，在传统的用户界面中，用户关注的是如何控制计算机；而在下一代用户界面中，用户关注的是如何执行他所关心的任务。从传统意义来讲，计算机给人的印象是当用户使用计算机时，用户需要知道如何操作计算机，并通过一系列的操作过程来完成任务。用户的工作领域是计算机，而不是任务领域。而在下一代用户界面中，由于交互任务的产生结构发生了变化，用户无须主动地构造任务的命令语法。用户关注的是他要执行的任务领域，而执行的动作也是任务领域中的相应动作，系统会自动地将用户的交互动作转变为相应的命令。
· 从计算机的角色来看，计算机需要从简单的命令执行者向拥有一定智能的Agent转变。传统用户界面遵从于一种命令驱动的交互风格，系统会按部就班地遵照用户的指示去执行相应的动作。如果用户进行了错误的输入，计算机也会遵照执行；同时，如果用户的输入不完整，没有完整地构成整个任务的语法结构，系统就无法执行相应的命令。而在下一代用户界面中，计算机将拥有一定的智能，它会根据交互上下文和其他的知识，来自动地判断用户的交互意图。
· 从界面控制的角度来看，控制者需要由用户向计算系统转变。在传统用户界面中，用户是交互的控制者，界面上所有的交互组件对用户而言都是可见的，用户通过与这些交互组件之间的交互来组织任务语法结构。而在下一代用户界面中，由于界面拥有了一定的智能，它可以根据目前交互的进程来自动构造相应的任务语法结构。也就是说，交互的控制并不完全掌握在用户手中，在交互的进行过程中，系统往往会根据交互的上下文来控制交互的状态，自动执行相应的命令，而这些活动无须用户参与。因此，界面控制能力对于下一代用户界面而言非常重要，好的界面控制可以大大降低用户的交互难度和复杂度，减少交互的错误发生。但反过来看，如果界面控制功能很强，但并不尽如人意，那么所产生的结果对用户而言也是无法接受的。
· 从任务语法的角度来看，在传统用户界面中，用户通过一系列的交互动作来构造完整的任务语法。无论从 Verb-None 还是 None-[10]Verb的结构来看，这种时序性语法的结构形式和构造方式都很单一。但在下一代用户界面中，往往不需要用户显式地构造任务语法，同时任务语法的构造方式也将多种多样，识别技术和上下文感知技术的应用将大大提高任务语法的构造效率，降低复杂度。[3]
· 从对象的可视性角度来看。直接操纵的交互方式是图形用户界面的一个重要特征，这种交互方式需要明确设定交互组件和动作的含义；同时还需要将这些组件明显地放置在界面上，以备用户使用。但随着可操纵对象的增加，对象的可视性会给用户的交互带来一定的难度，用户不得不在众多的对象中挑选和操纵自己需要的对象。如何尽可能地显示对于用户当前交互有用的对象是下一代用户界面的一个重要的特征，而这一特征需要建立在对用户交互上下文理解程度的基础上。
· 从交互通道的角度来看，在传统用户界面中，人机交互是建立在单线程对话模式上的，用户在某个时间点只能使用一种交互设备与系统进行交互，交互通道是单一的。而下一代用户界面建立在多线程对话的基础上，用户可以同时利用多个交互设备与系统进行交流。基于多通道的交互将是下一代用户界面的一个重要特征。
· 从人机通信的带宽来看，在传统用户界面中，人机交互的输入设备是鼠标和键盘，用户输入的信息十分有限；同时，二维的信息表示方式也限制了输出通道的带宽。而在下一代用户界面中，多通道和三维交互方式将大大拓宽人机交互的输入带宽，同时虚拟现实和三维信息可视化技术也将大大拓宽人机交互的输出带宽。
· 从交互过程中的反馈来看，在传统用户界面中，词法和语法反馈是应用比较广泛的反馈形式。对于语义反馈而言，由于其需要较强的知识处理能力，往往在交互的过程中很少使用；但快速的语义反馈可以在用户交互过程中及时向用户提供系统的状态和信息，对于保证交互的正确性及提高用户的参与感而言有着非常重要的意义。在下一代用户界面中，快速、深层次的语义反馈将是一个重要的特征。
· 从交互的时序性的角度来看，传统的用户界面采用“Step-by-Step/Turn-Taking”的时序进行交互，系统等待用户的输入，当用户的交互动作完成之后，系统会处理用户输入的信息，进行相应的反馈输出。在系统做出反馈之前，用户必须等待。而在下一代用户界面中，实时性是一个重要的特征。以虚拟场景中的漫游为例，漫游是一个连续的交互任务，在用户的漫游过程中，系统不能等待用户的漫游任务完成才给出反馈，而必须在漫游过程中实时进行视点和场景的变换，只有这样，才能给用户以身临其境的感觉。
· 从界面所处的环境来看，传统用户界面是建立在桌面环境之上的，用户通过键盘和鼠标与计算机进行交互，同时计算机通过显示器的屏幕进行输出。而在下一代用户界面中，虚拟现实环境、普式计算环境都将成为界面所处的环境。人们可以在任何时间、任何地点、通过各种方式使用计算设备。交互并不只限制在桌面的范围之内。
· 从软件结构来看，下一代用户界面支持可复用的模块化构造方式，通过模块的复用性和扩展性来建立新用户界面下的软件结构。下一代用户界面还支持最终用户的可编程，用户可以通过图形化语言等方式来定制个性化界面。
1.4.2 Non-WIMP和Post-WIMP界面
Green和Jacob在1990年的ACM SIGGRAPH年会上最早提出了Non-WIMP界面的概念，用来描述没有使用桌面隐喻和 WIMP 范式的[5]界面。随后，Dam在1997年提出了Post-WIMP界面的概念，指出Post-WIMP界面应该至少包含一项不基于传统的二维交互组件（如菜[1]单和图标）的交互技术。
Post-WIMP 界面和 Non-WIMP 界面的主要研究内容是一致的，它们都是针对那些与传统的WIMP范式不同的新的界面和交互方式进行研究的。但是，它们也略有不同，Non-WIMP 界面完全摒弃了传统的 WIMP 界面范式；而Post-WIMP 界面在研究新的交互方式的基础上，并不完全排斥 WIMP 交互方式。从用户界面的发展来看，Non-WIMP界面要成为主流的用户界面还有很长的一段路要走，而针对 Post-WIMP 界面的研究将会成为相当长一段时间内人机交互领域的研究重点。[1，8，11]
Post-WIMP界面有以下几个最基本的交互特征。
· 连续的输入和反馈特征。在传统用户界面中，用户发送离散的命令给系统，系统接收到命令后执行相应的任务。但在Post-WIMP界面中，连续的输入信息和连续的反馈成为一个重要的特征。Post-WIMP界面中一些基本的交互任务是连续的，如笔式交互中的一个笔画的输入、三维交互中的场景漫游和实体操纵。而连续的交互任务往往会带来相应的语法甚至语义层次上的连续输出和反馈。
· 输入和输出的高带宽特征。对输入而言，输入设备采样频率的增加及信息源的增加促进了输入带宽的提高。对输出而言，可视信息的三维化和多种感觉通道的呈现方式大大拓展了输出的带宽。
· 非精确的信息输入。在传统用户界面中，用户发送具有明确意义的命令给系统，系统直接根据用户输入的命令来找相应的匹配任务即可。但在 Post-WIMP 界面中，用户输入的信息往往都是非精确的，如手写信息和语音信息。这些信息必须要经过一定的识别才能转换为精确的信息。但在识别的过程中，识别率和上下文等因素的条件限制使得所得出的精确信息并不一定能正确反映用户的意图。系统往往需要在用户后续的输入过程中分析之前所得出的结论和问题，并对其进行修正。
· 实时的反馈特征。几乎所有的 Post-WIMP 形式的应用都需要系统根据用户的动作进行实时的反馈。例如，在一个虚拟现实应用中，当用户头戴HMD在虚拟场景中进行交互时，系统会自动根据用户头部的运动来重画场景。当重画的延迟超过400ms之后，用户就会有延迟感。当长时间在这种情形下交互时，用户甚至可能患上相应的仿真器疾病，从而失去与虚拟环境进行交互时正常的幻觉。在笔式交互环境中，用户输入时的笔迹也需要进行实时的反馈，如果用户在书写过程中长时间无法实时地看到所写的笔迹，他的书写能力将会被削弱。
从上面的研究和论点中可以看出，WIMP界面在多个方面都有其内在的缺陷。因此，WIMP界面终将会被新一代用户界面所取代。
1.4.3 基于现实的交互界面
人机交互的发展印证了研究者们的预测。目前，人机交互正进入一个蓬勃发展的新时代，涌现出了大量与传统 WIMP 界面风格不同的新的人机交互界面。这些新兴的交互类型包括：[12～
· 虚拟和增强现实（Virtual Mixed and Augmented Reality）14]；[15]
· 可触摸/实物计算（Tangible Computing）；[16，17]
· 普适计算（Ubiquitous and Pervasive Computing）；[18，19]
· 移动交互（Handheld and Mobile Interaction）；[20]
· 情感计算（Perceptual and Affective Computing）；[7]
· 隐式或被动交互（Tacit or Passive Interaction）；[21]
· 语音和多通道交互（Speech and Multi-modal Interaction）；[22]
· 上下文感知计算（Context-aware Computing）等。
与前面三代交互界面相比，新一代交互界面更具有多样性，如何提取它们共有的显著特性，从而对新一代用户界面进行定义，已经成为研究者们关注的热点。Jacob 教授在 ACM CHI 2006 上首次提出了[9]基于现实的交互（Reality-Based Interaction，RBI）的概念（也可译为基于真实的交互）。他对新兴的 Post-WIMP 交互类型进行了总结，并指出新兴的交互风格尽管看上去风格迥异，但是却具有显著的共性，它们都前所未有地利用了用户在非数字的日常生活中的既有知识，使得人与计算机的交互更加自然、直觉，如同人们与现实物理世界的交互一样，因此被称为基于现实的交互。该概念总结了各种新兴交互界面的共有特征，为这些交互界面提供了统一命名。1.5 本书的动机和主题
随着计算机技术的普及和高速发展，如何实现直觉化交互提高用户体验已成为人机交互领域亟待解决的研究课题。长期以来，基于鼠标和键盘的WIMP范式在用户界面中占据主导地位，然而人们在现实物理世界中形成的知识和经验并没有得到充分利用，这给交互带来很重的认知负担。将现实物理世界人们所熟悉的基础技能潜移默化地融合于数字世界中，构造出基于现实的交互界面，能使得交互更加自然和易于学习；这不仅仅是一种本质的回归，更是一种认知上的创新。
本书从理论、方法、技术和实现等方面系统地阐述了基于现实的交互界面的概念、框架、模型、关键技术和应用系统。全书共分为8章。
第1章 用户界面概述。本章以用户界面的重要性为出发点，介绍用户界面的发展历史、界面范式、WIMP 界面的批判及未来趋势，引出基于现实的交互界面，并由此阐述本书的写作动机和主题，还对本书的组织结构进行了说明。
第2章 基于现实的交互界面概述。本章详细阐述了基于现实的交互界面的基本概念、现实层级框架、作用和意义，讨论了其研究现状及发展趋势，并指出了目前所面临的问题和挑战。
第3章 基于现实的交互界面设计方法。本章以现实层级为基础，从界面设计流程和反馈设计方法两个方面对基于现实的交互界面设计方法进行阐述。
第4章 基于运动模型的交互技术。本章分别阐述了笔尾手势和手臂伸展手势的运动模型，讨论了基于运动模型的交互技术设计空间，并介绍了一种基于数字笔的虚拟圆规的交互技术。
第5章 基于现实的交互界面评估方法。本章介绍了用户界面评估的经典理论模型和定性方法，探讨了生理评估方法，并阐述了基于现实层级的统一评估框架。
第6章 儿童汉字学习领域应用实践。本章介绍了面向儿童汉字学习领域的应用实例，对该领域的突出问题、传统群组游戏特征、系统设计和实现、实地研究结论等进行阐述。
第7章 儿童讲故事领域应用实践。本章介绍了一种基于笔和肢体交互的儿童讲故事系统 ShadowStory，对儿童游戏特征、传统皮影戏特征、系统设计和实现、实地研究结论等进行阐述。
第8章 儿童合奏学习领域应用实践。本章介绍了一种通过手势交互技术和直觉化界面提供器乐合奏体验的交互式系统 EnseWing，并讨论了该系统在实地研究中的有效性。参考文献
[1] DAM A V.Post-WIMP user interfaces[J].Communications of the ACM,1997,40(2):63-67.
[2] HALL W.Ending the tyranny of the button[J].IEEE MultiMedia,1994,1(1):60-68.
[3] SHNEIDERMAN B.Direct Manipulation:A Step Beyond Programming Languages[J].Computer,1983,16(8):57-69.
[4] KUHN T S.The Structure of Scientific Revolutions[M].Chicago:University of Chicago Press,1962.
[5] CARROLL J M.Human computer interaction—brief introduction[J].The Encycloped ia of Human-Computer Interaction,2nd Ed,2013.
[6] LAKOFF G,JOHNSON M.Metaphors we live by[M].Chicago:University of Chicago Press,2003.
[7] NIELSEN J.Noncommand user interfaces[J].Communications of the ACM,1993,36(4):83-99.
[8] GREEN M,JACOB R.SIGGRAPH ′90 Workshop report:software arch-itectures and metaphors for non-WIMP user interfaces[J].Computer Graphics,1991,25(3):229-235.
[9] JACOB R J K.What is the next generation of human-computer interaction?[C]//Proceedings of the CHI Conference Extended Abstracts on Human Factors in Computing Systems.April 22-27,2006,Montréal,Québec,Canada.New York:ACM Press,2006:1707-1710.
[10] WITTENBURG K,WEITZMAN L,TALLEY J.Unification-based grammars and tabular parsing for graphical languages[J].Journal of Visual Languages and Computing,1991,2(4):347-370.
[11] JACOB R J K,DELIGIANNIDIS L,MORRISON S.A software model and specification language for non-WIMP user interfaces[J].ACM Transactions on Computer-Human Interaction,1999,6(1):1-46.
[12] FOLEY J D.Interfaces for advanced computing[J].Scientific American,1987,257(4):126-135.
[13] AZUMA R,BAILLOT Y,BEHRINGER R,et al.Recent advances in augmented reality[J].Computer Graphics and Applications,IEEE,2001,21(6):34-47.
[14] AZUMA R T.A survey of augmented reality[J].Presence-Teleoperators and Virtual Environments,1997,6(4):355-385.
[15] ISHII H,ULLMER B.Tangible bits:towards seamless interfaces between people,bits and atoms[C]//Proceedings of the SIGCHI conference on Human factors in computing systems.Atlanta,Georgia,United States.New York:ACM Press,1997:234-241.
[16] WEISER M.Some computer science issues in ubiquitous computing[J].Commun ACM,1993,36(7):75-84.
[17] WEISER M.The computer for the 21st century[J].Scientific American,1991,265(3):94-104.
[18] SATYANARAYANAN M.Pervasive computing:vision and challenges[J].Personal Communications,IEEE,2001,8(4):10-17.
[19] SAHA D,MUKHERJEE A.Pervasive computing:a paradigm for the 21st century[J].Computer,2003,36(3):25-31.
[20] PICARD R W.Affective computing[M].Cambridge:The MIT Press,1997:304.
[21] WAIBEL A,VO M T,DUCHNOWSKI P,et al.Multimodal interfaces[J].Artificial Intelligence Review,1996,10:299-319.
[22] SCHILIT B,ADAMS N,WANT R.Context-Aware Computing Applications [C]//Workshop on Mobile Computing Systems&Applications,1994,85-90.第2章 基于现实的交互界面概述2.1 基本概念
目前，人机交互正进入一个蓬勃发展的新时代。研究者们研发了大量与传统WIMP界面不同的新型人机交互方式。它们的共同特征是都利用了用户对日常生活中非数字世界的既有知识，使得人与计算机的交互更加自然、直觉，如同人们与现实物理世界交互一样，因此这些交互方式被统称为基于现实的交互（Reality-Based Interaction，[1]RBI），有时也被称为基于真实的交互。ACM CHI Academy Jacob教授在ACM CHI 2006上首次提出了这一概念。该概念总结了各种新兴技术的共同特征，为研究新兴的交互界面提供了统一框架。
RBI界面的现实性有两种体现形式。这两种形式都利用了人类在现实物理世界中的已有知识来执行界面交互任务，或/并将数字的交互任务融入现实物理世界的现实任务中。
· 在现实世界中的交互：如普适计算、移动交互等，将计算环境移出实验室或办公室，从离散的桌面环境移入人类日常生活中。可携带性（Portability）是实现在现实世界中交互的要点。
· 像现实世界的交互：如虚拟现实、增强现实等，研究用户日常生活中已有的知识和技能，利用用户在现实物理世界中自然的交互行为，而不是去训练用户的计算机技能。.
需要注意的是，这种现实不是对现有世界的完全模仿和简单照搬，而是有改进和提高的现实。就像一个超人，既拥有人类的基本能力，如行走、奔跑、转动头部、四处张望等；又具有超出人类能力的本领，如X光透视、飞行等。在对界面交互行为进行设定时，应该使现实行为按照现实的交互模式操作，超现实的部分则尽可能在现有交互模式的基础上加以模仿和改进。
RBI界面致力于使人与计算机之间的交互更像人与现实的非数字世界之间的交互，因此用“现实”一词来指代物理、非数字世界的内容。然而，“现实”这一词汇，可以有许多其他的解释，包括文化和社会现实。另外，也有许多人认为在科技日益发达的今天，键盘和鼠标与其他物理工具一样，都是现实的组成部分。为了澄清这个概念，[2][3]在CHI 2007和CHI 2008上，Jacob教授进一步提出了RBI现实层级框架，对RBI的内容进行了详细阐述。2.2 现实层级
Jacob教授将RBI界面所具有的“现实”从底层至上层分为四个[3]层级：简单物理感知（Naive Physics）、身体意识和技能（Body Awareness&Skills）、环境意识和技能（Environment Awareness&Skills）、社会意识和技能（Social Awareness&Skills），如图2.1所示。[3]图2.1 RBI现实性的四个层级
1.简单物理感知
简单物理感知是RBI现实层级的最底层，它指人类对物理世界的普遍感知和常识性知识，如速度、重力、摩擦力等概念。在新兴交互界面中，用户界面越来越多地模拟或直接使用物理世界的简单物理属性。例如，Apple iPhone等用户界面采用物理隐喻将重力、质量、刚度、弹性和惯性等特征添加到交互组件中。这些常识性的知识和特征都属于简单物理感知的范畴，它们将为 RBI现实层级的其他层级提供支持。
2.身体意识和技能
身体意识和技能是指人类对自已身体的感知，以及对身体运动的控制和协调能力，是人类自身独立于外部环境的感知和技能。例如，人类能够感知到自己肢体的相对位置，能够控制和协调四肢、头部和眼睛等身体部位进行运动，并利用这些运动完成某些操作，如抓握、走路、踢球或写字等。这些身体意识和技能是人类在成长和发育过程中逐渐形成和完善的。基于这些技能，新兴用户界面可支持越来越多的输入通道和输入技术，包括双手交互、全身交互等。
3.环境意识和技能
环境意识和技能指人类对周围环境的感知，以及在环境中进行操作和导航的技能。在现实世界中，人类的生存空间环境中环绕着物体、景观等许多物理存在。在这些物理存在中隐藏着一些线索，如方向信息、深度信息等，这些线索能帮助人们建立对环境的方向和空间意识。例如，地平线能够提供方向信息线索，而大气的颜色、雾和光影提供[4]了深度信息线索。人类通过经验的积累，掌握了通过这些信息线索在环境中导航的能力，以及识别和操纵环境中物体的能力。在许多新兴交互界面中，用户界面也给用户提供了许多参考对象和人工标记，[5]帮助用户进行环境感知和环境导航操作。
4.社会意识和技能
社会意识和技能是RBI现实层级中的最高级，指人类对环境中其他人的感知及与其他人进行交互的技能。人类的存在离不开群体和群体活动，在长期的发展过程中，人类能够意识到他人的存在，并形成了社会交互的能力。这些能力包括语言和非语言交流能力、交换物理对象的能力、与其他人合作完成任务的能力等。许多新兴的交互界面鼓励社会意识和共同协作，例如，实物交互界面（Tangible User Interface，TUI）提供共有空间和一系列的输入设备来支持用户的同步协作。2.3 RBI框架的作用和意义
RBI 概念的提出为新兴交互技术的各个子集提供了共性命名，这使得研究者能够通过这个框架来理解、比较和描述现有的人机交互研究方法，通过RBI的视角也能为设计师提供灵感，提供探索和发现未来可能性的机会，还能够使研究者基于现实层级框架进行评估技术的研究，用于评估目前难以估量的新兴界面。
由于利用了人类在现实世界中的知识，RBI界面具有非常明显的优点，包括如下几个方面。
· 减少用户的认知负载。利用用户的已有知识，能够减少用户的认知负载，从而加快用户的学习速度，并在有时间压力或精神紧张的情况下提高用户的绩效表现。
· 使交互更加直觉化（Intuitive）。人类在幼年时期获取的知识更为直觉，例如，人类天生所具有的导航能力就非常的鲁棒和熟练。使用这些已有的能力比使用刚习得的新技能更容易。
· 激发人类的创造力和社会化活动。由于不再需要学习过多的界面技能，用户可以将注意力集中在创造性和探索性工作，以及交流或协作等社会化活动上。[6]
根据Norman的定义，人机交互存在两大鸿沟，其中执行阶段的鸿沟是指在执行任务时用户的意图与被允许的界面命令之间的差距，衡量这一鸿沟的方法之一就是看某种系统能否支持用户轻松、直接地完成希望执行的操作，是否提供了符合用户意图的操作方法；评估阶段的鸿沟是指在执行任务时用户对系统状态的理解与界面反馈之间的差异，反映了用户在解释系统工作状态、确定自己所期望的目标和意图是否达到时需要做出的努力。由于RBI 界面利用了用户在现实世界中的知识和技能，因此用户不需要再将交互行为转化为界面语言，也不需要学习如何理解系统的反馈，而是直接基于在现实世界中的知识和技能来执行交互行为并评估交互结果，因此可以弥补人机交[7]互过程中面临的执行阶段和评估阶段的两大鸿沟。
RBI框架很好地表征了新兴交互界面之间的关键共性。由于用户已经拥有所需的必要技能，因此使用基于现实世界的知识和技能进行交互能降低用户的操作难度和学习成本。同样地，由于用户不再需要学习界面特定的技能，因此将基于现实的交互概念应用于界面设计也会起到鼓励用户创作和探索的效果。然而，简单地将用户界面做成完全基于现实的界面是不够的。一个有用的界面很少完全模仿现实世界，其中必然包含一些与现实世界不一致或人造的特征和命令。事实上，计算机的大部分应用都使用了这种混合效应，即超越对现实世界的精[3]确模仿。因此，研究人员必须在效能与现实之间取得平衡。2.4 RBI界面的发展现状
目前，许多著名的研究机构，如斯坦福大学、卡耐基梅隆大学、华盛顿大学、塔夫斯大学等知名大学，以及微软、IBM、英特尔等企业研究机构都已经逐渐将研究重点转移到自然人机交互或RB I界面的研究上，分别面向特定领域做了许多有益的尝试。ACM CHI、ACM UIST、ACM IUI等著名的人机交互会议也都将RBI相关的研究内容作为会议的一个重要议题。在人机交互顶级会议ACM CHI和顶级期刊International Journal of Human-Computer Studies上还组织了相关的[1，8][9]Workshop和特刊。
虽然RBI 框架引起了研究界的广泛兴趣，但针对RBI 界面的研究才刚刚起步。研究者们大多将注意力集中在 RBI 界面中的个别类型和范例上。Rekimoto 和 Ullmer 等提出了一种混合了物理和图形交互[10]的交互范式；在ACM CHI 2002上，Xerox PARC的Bellotti等分析了[11]感知界面中的关键问题；Billinghurst等在ACM SIGGRAPH 2005上[12]提出了增强现实交互式系统界面的设计方法；Nilsson提出了移动[13]设备上用户界面的设计模式；Shaer提出了针对TUI的设计和实现
[14]范式。这些研究成果针对RBI界面中特定的交互形式，在设计模式和设计方法方面做出了贡献，但它们的焦点都集中在RBI界面中的个体交互形式上，没有从RBI框架出发，也没有利用基于现实这一共性特征对新一代人机交互的通用模型和方法进行研究。
目前，针对RBI界面的系统性研究工作是Jacob教授的学生[7]Christou提出的CoDeIn评估框架。CoDeIn对WIMP界面中的经典模[15，16]型GOMS进行了扩展，将传统 GOMS 任务序列分解的线性流程转变为并行流程，并引入了知识状态这一术语来淡化 GOMS 中目标的概念。与 GOMS 相比，CoDeIn 对TUI任务完成时间的预测更加精准。但是，CoDeIn仍然延用了GOMS任务分解的思路，并且只关注用户执行任务的绩效表现，研究思路仍然局限在传统WIMP界面的框架中，并未体现RB界面I现实的特性。
从RBI界面的研究现状可以看出，目前RBI界面的研究大部分是孤立的，没有在RBI框架的指导下进行深入的研究和探讨。可以预见，随着各种新兴交互技术的不断涌现，该问题将会越发明显。正如ACM CHI 2009年的Workshop中所说：“目前正是整合已开发的RBI研究方法的最佳时机，将这些离散的方法和技术转化为一个共性的框架，从而为RBI设计者们提供可供选择的方法和工具，用以系统性地[8]评估产品或原型的可用性和用户体验” 。2.5 RBI界面的问题和挑战
由于“现实”这一特征，RBI界面与前三个界面时代相比，具有非常突出的优势，但“现实”同时也对RBI界面设计提出了新的挑战，体现在以下几个方面。
1.自然的交互行为
为了实现现实层级中的身体意识和技能层级，RBI 界面需要拓展输入带宽，涵盖更多自然的身体运动，如双手交互、肢体交互等，并模拟现实世界中使用工具的运动，如笔交互等。特别需要注意的是，这些自然交互方式一定要与人类身体控制的基本能力相符合，不能超出或违背人类的身体技能。
2.现实界面隐喻
在RBI界面中，研究者应该模拟或借用现实世界中的物理实体，为用户操作提供可供性（Affordance），降低他们的认知负担。例如，笔交互中界面的纸笔隐喻将纸张作为交互环境、笔作为交互工具，使用户能够基于日常生活中对纸和笔的认知，自然地在虚拟的纸面上勾画和书写，不需要进行额外的学习。
3.社会化体验
与主要支持单人办公的WIMP界面不同，在RBI界面时代，提高工作效率不再是唯一目标，用户体验涵盖了更多范畴，如娱乐和社交，用户活动从孤立体验延展为社会体验。这种社会化体验鼓励用户更加关注人与人之间的交互，而不是人与计算机的交互。
如何构造与人类能力相适应的交互方式？如何从现实世界中获得隐喻并将其转化到界面设计中？如何提供给用户社会化的体验？这对 RBI 界面的模型、关键技术、设计和评估方法提出了新的挑战。在后面的章节中，本书将对RBI的理论、方法、技术和实现展开详细的阐述。参考文献
[1] JACOB R J K.What is the next generation of human-computer interaction?[C]//Proceedings of the SIGCHI Conference Extended Abstracts on Human Factors in Computing Systems.April 22-27,2006,Montréal,Québec,Canada.New York:ACM Press,2006:1707-1710.
[2] JACOB R J K,GIROUARD A,HIRSHFIELD L M,et al.Reality-based interaction:unifying the new generation of interaction styles[C]//Proceedings of the SIGCHI Conference Extended Abstracts on Human Factors in Computing Systems.April 28-May 3,2007,San Jose,CA,USA.New York:ACM Press,2007:2465-2470.
[3] JACOB R J K,GIROUARD A,HIRSHFIELD L M,et al.Reality-based interaction:a framework for post-WIMP interfaces[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.April 5-10,2008,Florence,Italy.New York:ACM Press,2008:201-210.
[4] BOWMAN D A,KRUIJFF E,LAVIOLA J J,et al.3D User Interfaces:Theory and Practice[M].Addison Wesley Longman Publishing Co.,Inc.,2004.
[5] VINSON N G.Design guidelines for landmarks to support navigation in virtual environments[C]//Proceedings of the SIGCHI conference on Human Factors in Computing Systems.Pittsburgh,Pennsylvania,USA.New York:ACM Press,1999:278-285.
[6] NORMAN D.The design of everyday things[M].Basic books,2002.
[7] CHRISTOU G.CoDeIn:A Knowledge-Based Framework for the
试读结束[说明：试读内容隐藏了图片]