虚拟现实与增强现实：神话与现实(txt+pdf+epub+mobi电子书下载)

作者：（法）布鲁诺·阿纳迪,（法）帕斯卡·吉顿,（法）纪尧姆·莫罗

出版社：机械工业出版社

格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT

虚拟现实与增强现实：神话与现实试读：

译者序

虚拟现实和增强现实是这几年科技和应用领域炙手可热的话题。而我首次听到虚拟现实是在20世纪90年代，当时像Jaron Lanier这样的先驱正在传播并探索其可能性。随着科技的不断进步与发展，虚拟现实已经从最初的概念提出和应用探索，逐步走向了产品化、产业化发展。从底层技术支撑到终端用户拓展，产业链在不断成熟。然而我们注意到，国内介绍虚拟现实的相关图书还比较匮乏，且多是技术实现方面的研究。本书则从应用场景与用户体验出发，佐以大量具体案例，既深刻又生动。相信本书的翻译出版能对VR-AR领域的从业人员或者感兴趣的读者有所帮助。

本书内容翔实，编排合理。主要涵盖了五大模块：第1章介绍虚拟现实技术在多个行业的应用场景和解决方案；第2章论述了新兴的硬件设备和软件应用两方面的技术创新；第3章和第4章分别剖析了VR和AR在虚拟环境构建和交互感知等方面的诸多技术挑战，并探讨了真实世界和虚拟环境之间的复杂关系；第5章对技术发展的未来前景进行展望；最后一章从用户体验的角度提出了一些设计建议。

正如作者在书中强调的，在VR-AR应用的设计开发工作中，若想从能用到易用、从不适到舒适再到沉浸，其中既有技术上的挑战，更有体验设计上的考量。我期待在不久的将来，VR-AR不再仅是简易功能或应用程序，而更像是一扇传送门，帮助人们在现实世界和虚拟世界之间自然、轻松地穿梭。

非常感谢机械工业出版社的编辑，让这本好书能与中国读者见面。本书的翻译工作由我负责组织，我的一些学生参与。目录和

推荐序

今天，我们目睹了虚拟现实相关的有效应用程序，以及不容忽视的大量技术困难，我们正在见证虚拟现实的复兴和普及。一些爱好者希望为虚拟现实创建新的应用，并认为他们所需的只是创新中的技巧。然而，这种方法注定要失败，除非在此之前对虚拟现实技术的现状进行了详细的研究，并了解其基本原理和现有用途。很多年轻的创业者都联系过我，可他们甚至对这门科学或技术都没有基本的了解，却认为自己拥有全新的虚拟现实应用。我不得不告诉大家，这个应用已经在行业里存在，并且关注这种应用的公司有超过20年的历史了。最新的创新如“低成本”的头戴式显示器或沉浸式VR耳机，可能引起了媒体的疯狂，但在虚拟现实领域之前早就已经存在了！然而，头戴式显示器价格的大幅度下降使虚拟现实技术的大规模应用成为可能。关注虚拟现实的媒体和网站大多由非专业人士运营，其中充斥着盲目提出的各种应用：其中一些已经用了一段时间，而另一些虽然有用，但可能是不合适的，甚至是疯狂的。我们必须明确虚拟现实不是一根魔杖，仅仅为了创新而创新是不行的。创新必须满足用户在功能上的需求，从而促使其使用新的技术设备，无论是头戴式显示器还是其他东西。

法国和世界其他地方的虚拟现实社区已经进行了25年多的虚拟现实研究和开发。如果不知道这些工作将非常遗憾。然而，如果你正在阅读这篇序，那么你已经做出了正确的选择！本书介绍了过去10年该领域几乎所有研究和专业发展的成果。还有谁能比Bruno Arnaldi、Pascal Guitton和Guillaume Moreau更好地指导你回望过去10年的虚拟开发研究走过的这段艰难旅程，并帮助你了解未来可能会发生什么呢？

本书三位编者都是虚拟现实和增强现实领域的深度参与者。他们都通过法国国家科学研究中心（CNRS）的Groupe de Travail GT-RV（GT-VR工作组）于1994年开始参与研发工作。随后，他们作为联合创始人在2005年创立了Association Française de Réalité Virtuelle（法国虚拟现实协会），并且分别作为主席、副主席和行政委员会成员活跃在协会中。这个协会行之有效地组织了整个VR社区，包括教师、研究人员、实业家和解决方案提供者。与此同时，由于他们的热情和不可缺少的支持，我得以组织和编辑了一部汇集100多位作者、超过5卷的作品：Virtual Reality Treatise。这个项目有三个协调员。然而，这本书的第3版已经有10年的历史了，我们需要出版一本书来填补这个空白。

无论你是一名学生还是一位企业家，在进入这个领域之前，具有扎实的虚拟现实知识基础是至关重要的。本书由30位作者共同撰写，内容涵盖了当前面临的大量问题和研究课题，以及商业上可用的解决方案：用户的沉浸感、用户与虚拟空间的交互以及虚拟空间的创建。现今可用的技术和软件都将被讨论。此外，本书还考虑了人为因素，并对评估方法进行了详细描述，还有一节专门讨论与使用头戴式显示器相关的风险。

最近在法国出现了一个由Think Tank UNI-VR领导的社区，将来自电影和视听内容领域的专业人士聚集在一起。他们使用新的360°全景相机，用360张图像而不是合成图像制作模拟空间。这个小组的目标是利用两种互补的方法创建一种新的艺术：一种是制作“360°视频”，用户仍然是旁观者，但身体和本体感受沉浸在360°视频当中；另一种是“VR视频”，用户成为参与者，仿佛能够与展现人物的故事和虚拟环境进行交互，从而使模拟空间成为虚拟现实的真实领域。这一艺术目标与“互动数字艺术”的目标非常接近，尽管这两个群体彼此并不了解。20世纪80年代末，法国和国际数字艺术家利用虚拟现实技术创造了交互式艺术创作，如1988年E. Couchot、M. Bret和M-H. Tramus创作的“les pissenlits”（蒲公英），以及1991年Catherine Ikam创作的“L'autre”（另一个）。Les Cahiers du Cinéma的记者曾经在采访我时说“虚拟现实就是电影的未来”。这评论很奇怪，因为我们知道电影（观众是被动的）和虚拟现实（观众是主动的，与模拟环境互动）之间其实相互对立。还有一位记者被一项VR领域的创新冲昏了头脑，却没有费心去了解这项创新的基本原理及其对用户的影响！然而，就像所有的专家一样，我没有想到20年后360°相机也能使创造一个模拟世界成为可能。在那里，用户可以沉浸在电影的核心部分。通过让用户在这里进行交互，我们将真实世界与模拟空间相融合，进入虚拟现实或增强现实领域。与电影不同，这里不再有“一个故事要讲述”，而是“一个故事要现场构建”。有了这本书，读者就有了详细的信息来源，可以成功拍摄自己的“VR视频”。

然而，模拟世界的数字建模及其通过合成图像实现的可视化表示仍将是虚拟现实应用发展的主要方向。15年来，行业应用领域（如工业和建筑设计、培训及学习、健康）都利用了这些技术。不同的社区必须更紧密地合作，将这一学科及技术理论化。本书中详尽地介绍了这些理论，其价值无须多言——值得拥有！Philippe FUCHS2018年1月

本书作者

2016年和2017年常被媒体称为虚拟现实和增强现实的“元年”，这是谁都无法回避的事实。同样明显的是，技术领域也经常有突破性进展，且每一个都比上一个更令人印象深刻。面对媒体的过度营销，我们有必要退后一步，实事求是地看待一些历史事实和信息：

·虚拟现实和增强现实可以追溯到几十年前（尽管这很难接受），且有一个庞大的国际组织正在研究这些问题。这项工作正在科学领域（研究小组、科学发现、会议、出版物）和工业领域（公司、产品、大规模生产）同时进行。还需要记住的是，许多公司，不管是不是技术公司，已经成功使用虚拟现实和增强现实技术很多年了。

·很多技术新闻都在谈论“新的”虚拟现实耳机（如HTC Vive，Oculus Rift）和增强现实耳机（如HoloLens）的设计。但事实上，第[1]一个“头戴式显示器”（Visioheadset）的发明可以追溯到约50年前伊凡·萨瑟兰（Ivan Sutherland）的开创性作品[SUT 68]。

·此外，无论是用于显示（例如投影系统）、动作捕捉还是交互，这些“头戴式显示器”只代表虚拟现实中所用设备的一小部分。

·虚拟现实的概念及应用在Le traité de la réalité virtuelle（The Virtual Reality Treatise）系列中有相应的描述，它是一本汇集了许多法国作者（学者和来自工业领域的作者）声音的百科全书，它的广度和范围即便在今天也是无与伦比的。该书的不同版本如下：

·2001年第1版由de l'Ecole des Mines出版，由Philippe Fuchs、Guillaume Moreau和Jean-Paul Papin编写，共530页；

·2003年第2版由de l'Ecole des Mines出版，由Philippe Fuchs和Guillaume Moreau编辑，18名撰稿人，共2卷，930页；

·2005年第3版由de l'Ecole des Mines出版，由Philippe Fuchs和Guillaume Moreau编辑，100多名撰稿人，共5卷，2200页；

·英文版书名为Virtual Reality：Concepts and Technologies，2011年由CRC出版社出版，由Philippe Fuchs、Guillaume Moreau和Pascal Guitton编辑，共432页。

·最后，我们必须提一下Association Française de Réalité Virtuelle（AFRV）即法国虚拟现实协会，它创建于2005年。该协会将来自大学和研究机构的教师和研究人员以及在公司供职的工程师聚集在一起，以便更好地帮助构建虚拟现实社区。从2005年开始，AFRV每年举办一次会议，与会者可以进行演讲、活动和交流。

从概述可以看到，如今已经存在多个国际化且拥有着丰富虚拟现实相关文献的社区。任何想要在学术或技术层面有所建树的参与者，都能从出版物[FUC 16]（法国）或[LAV 17，SCH 16]中获益。[1] 这就是我们在本书中所说的小装置，这样做的原因将在稍后说明。0.1　虚拟现实的起源

谈及虚拟现实相关的历史文献时，我们可以从柏拉图关于洞穴的寓言开始叙述[PLA 07]。

在柏拉图的《理想国》第7卷中，有一篇详细描述了几个被困在洞穴里的人的经历，他们只能通过投射在洞穴墙壁上的影子来观察外界发生的事情。现实和感知概念成为广受分析的主题，特别是关于从一个世界到另一个世界的探讨。

几个世纪后的1420年，意大利工程师Giovani Fontana的著作《战争器械之书》（Bellicorum instrumentorum liber）[FON 20]中描述了一种可以将图像投射到房间墙壁上的魔灯（见图0.1a），他提出这可以用来投射神奇生物的图像。这让人想起了几个世纪后由伊利诺伊大学的Carolina Cruz-Neira等人[CRU 92]开发的大型沉浸式系统（CAVE）。图0.1　a）Giovani Fontana的魔灯示意图，b）使用魔灯。有关此图的彩色版本，请参见www.iste.co.uk/arnaldi/virtual.zip

在讲述VR历史的书籍中，对“虚拟现实”一词在何处首次出现产生了争议。一些作者把它归功于Jaron Lanier在1985年的一次新闻发布会，而其他人则把它归功于Antonin Artaud在1983年发表的文章Le théatre et son double[ART 09]。

Artaud无疑是这个词的发明者，他在Theatre的文集中，更具体地说，在Le théatre alchimique章节中使用了这个词。在这本书中，Artaud详细地谈到了现实和虚拟（这两个词在文中经常使用）。“虚拟现实”一词的准确解释出现在1985年盖玛利的实验作品的合集的第75页：“所有真正的炼金术士都知道，炼金符号是海市蜃楼，就像戏剧一样。这些可感知到的幻象和剧院里常出现的炼金术都应该被理解为一种同一性的表达（所有的炼金术士都非常了解），这种同一性存在于由字符、对象、图片组成的现实世界，炼金术剧院构造的虚拟现实，以及由炼金术符号构建的完全虚拟和充满幻觉的世界。”

此外，在前几页他也谈到了柏拉图关于洞穴的寓言。

然而，很明显，Jaron Lanier是第一个使用虚拟现实词意与本书相同的人。英语术语virtual和法语单词virtuel（见Virtual Reality Treatise第3版第1卷第1章）之间有微妙的区别，在英语中，这个词的意思是“仿佛”或“几乎是相同的事情或品质”。然而在法语中，这个词表示“潜在的”“可能的”和“没有实现的”东西。从语法上来说，法语更合适的词是“réalité vicariante”——一个现实的替代品。

科幻小说家，尤其是擅长写“臆想小说”（一种想象我们的世界在未来会是什么样子的类型）的作家，也整合或构想过我们将在本书中讨论的VR-AR技术。这类书籍的清单相当长，这里根据它们的影响力按时间顺序列出四本，它们是：

·Vernor Vinge在他1981年的中篇小说《真名实姓》中，引入了一个网络空间（没有明确命名），一群电脑盗版者利用虚拟现实沉浸技术对抗政府。他也是“奇点”概念的提出者，即把机器变得比人类更智能的那一时刻称为“奇点”。

·William Gibson在他1984年的小说《神经漫游者》中描述了这样一个网络世界，虚拟现实控制台允许用户在虚拟世界中体验生活。Gibson“发明”了“网络空间”（cyberspace）一词，他将其描述为“数十亿合法使用者每天经历的一种完美的幻觉”。网络空间概念跨越了不同的世界：数字世界、控制论世界和现实世界。

·Neal Stephenson在其1992年的小说《雪崩》中引入了元界（metaverse）的概念（一个以人们的虚拟形象为代表的社区不断进化的虚拟世界）——一个类似于在线虚拟世界Second Life的宇宙。

·Ernest Cline在他2011年的小说《头号玩家》中为我们描述了这样一个世界：人类为逃离现实生活中的贫民窟，生活在一个巨大的虚拟社交网络中。这个网络也包含了开启财富之门的钥匙，引领着对圣杯的新探索。

文学作品并不是唯一一个早期就用虚拟现实建立现实与虚拟之间联系的领域。我们必须提到Morton Leonard Heilig在电影界的开创性工作。自20世纪50年代以来，他一直致力于虚拟现实这一项目。1962年，他为Sensorama系统申请了专利。用户使用该系统可以骑着摩托车在城市环境中进行虚拟导航，获得一种包含立体视觉、摩托车声音以及发动机振动和迎风感觉的身临其境的体验。

电影很自然地利用了新技术。1992年，Brett Leonard执导了《割草者》（The Lawnmower Man），Pierce Brosnan在片中饰演一个基于虚拟现实的科学实验对象（见图0.2）。关于这部电影有趣的一点是，在拍摄过程中，演员们使用了Jaron Lanier创建的VPL Research公司的真实设备（此时他已经申请破产）。当然，没人能忘记1999年的电影《黑客帝国》，这是《黑客帝国》三部曲中的第一部，由Les Wachowski执导，Keanu Reeves和Laurence Fishburne主演。故事情节围绕着现实世界和虚拟世界之间频繁的旅行展开，主人公的职责是将人类从机器的统治中解放出来。这部电影的技术发展更加成熟，因为它完全是沉浸式的，而且用户只能通过极少的线索来判断他是处在真实世界还是虚拟世界。另一部更倾向于人机交互（HMI）而非VR本身的经典电影是Steven Spielberg 2002年的《少数派报告》（Minority Report），由Tom Cruise主演（见图0.3）。这部电影描述了一种创新技术，它可以让人自然地与数据交互（这为将来的真实实验室研究项目提供了灵感）。当然，这三部电影不是仅有的谈论VR的电影——还有很多其他的，但这三部是虚拟现实领域最具代表性的。图0.2　电影《割草者》剧照图0.3　电影《少数派报告》剧照

讨论VR-AR在不同艺术领域的表现后，我们还可以分析这种技术如何在这些领域中使用。电影将成为虚拟现实的一个重要应用场景，例如通过使用360°全景影院（条件是观众最后变成观众-演员）。在艺术领域，我们必须研究这些新的运作模式所带来的电影制作规范和规则的变化。特别是在传统电影中，叙事的构建原则是导演通过画面几乎“手拉手地引导观众”，让观众从画面中看到某种特定的风景元素。而在观众可以自由创造自己的视角的情况下，艺术的构建是不一样的。如果我们再加上用户有能力与环境进行交互，从而修改场景中的元素，那么叙事的复杂性就会加深，并开始接近视频游戏中使用的叙事机制。另一条结合真实和数字图像（混合现实）发展和研究的道路也很快就会出现。

漫画书/漫画小说的世界也受到巨大影响，一种是沉浸感项目的发展（例如Oniride工作室2016年制作的Magnétique（http://www.oniride.com/magnetique/），另一种是VR在漫画世界的应用，例如S.E.N.S这个由于Arte France与Red Corner工作室于2016年联合制作的项目，就在漫画世界中使用VR，其灵感来自Marc-Antoine Mathieu的作品（见图0.4）。事实上，由于虚拟现实体验中的宇宙不一定是真实世界的再现，它也可能是纯粹幻想的产物，所以在漫画世界很容易进行这样的实验。图0.4　S.E.N.S项目0.2　基本概念介绍

本节将简要介绍VR和AR领域。我们将回顾这两个领域的主要概[1]念，并给出一些定义以便明确本书的范围。读者如果想了解更多关于这方面的信息，请参阅Virtual Reality Treatise[FUC 05]。[1] 在其他书中可以找到几种不同的定义，我们在这里所选择的依据是简短、符合普遍认知。0.2.1　虚拟现实

我们首先要提醒自己的是，VR的目标是让用户在执行虚拟任务的同时，相信自己是在现实世界中执行任务。为了产生这种感觉，该技术必须“欺骗大脑”，向它提供与大脑在真实环境中感知到的一致信息。

让我们举一个将在本节剩余部分使用多次的例子：你一直梦想着驾驶一架私人飞机，但从来没有实现过这个愿望。那么，VR系统可以通过模拟飞行体验帮助你（虚拟地）实现这个梦想。首先，有必要再现驾驶舱的合成图像，飞行跑道，然后是你将飞越的地区的鸟瞰图。为了给你“在飞机上”的感受，这些图像必须是大的、高质量的，这样你对真实环境的感知就会被推到背景中，甚至完全被虚拟环境（VE）所取代。这种改变感知的现象，称为沉浸感，是VR的首要基本原理。VR耳机在本书中指头戴式显示器，因为通过该设备可传递唯一的可感知的视觉信息，这提供了一个良好的沉浸式体验。

如果系统也能产生飞机引擎的声音，你的沉浸感就会更强，因为你的大脑会感知到这些信息，而不是你所处环境中的真实声音，这会增强你“在飞机上”的感受。头戴式显示器使用的是音频耳机，因为它可以隔绝环境噪声。真正的飞行员在真实的环境中使用操纵杆和旋钮来操纵飞机。如果我们想要模拟现实，在VR体验中再现这些动作是绝对不可缺少的。因此，系统必须提供几个按钮和一个操纵杆来操纵飞机的行为。用户与系统之间的交互机制是VR的第二条基本原理，它将VR与提供良好沉浸感但没有真正交互的应用程序区分开来。例如，电影院可以提供质量非常高的视觉和听觉感受，但对用户来说只有展开在屏幕上的故事却没有提供互动。最近很受欢迎的“VR视频”也是类似的，其唯一的交互是提供了可改变的视角（360°）。虽然这类应用程序是有用的，但它们不符合VR体验的标准，因为用户只是体验中的旁观者，而不是参与者。

让我们回到之前的例子：为了尽可能再现现实，我们必须能使用有力-反馈的操纵杆来驾驶在空气阻力中飞行的飞机，通过制造阻力来模拟使用真正的操纵杆的体验。这种触觉信息显著增强了用户对虚拟环境的沉浸感。我们可以想象一下，进一步推动现实的忠实再现：我们可以提供一个真正的配备座椅和控制装置的飞机驾驶舱，这样我们能更好地适应外部屏幕，以确保出现在窗户和飞机的挡风玻璃上的合成图像是自然的。当我们给大脑额外的视觉信息（驾驶舱的部件）、听觉信息（按钮被点击或按下的声音）和触觉反馈（坐在飞机座位上的感觉）时，这种沉浸感会更好。毫无疑问，这种设备会让任何一个大脑相信，你真的是坐在驾驶舱里驾驶着一架飞机。当然，这些设备在现实中是确实存在的。这些飞机模拟器已经使用了很多年，首先用于训练军事飞行员，然后是商业飞行员，现在作为娱乐设备提供给那些想要感觉自己是在驾驶飞机的非飞行人员。

根据这个例子，我们定义虚拟现实是一种能力，能让一个（或多个）用户在虚拟环境中执行一系列真实任务。用户通过在虚拟环境中与系统互动和交互反馈，进行沉浸感的模拟。

关于这一定义的一些说明：

·真实任务：实际上，即使任务是在虚拟环境中执行的，它也是真实的。例如，你可以开始在模拟器中学习驾驶飞机（就像真正的飞行员所做的那样），因为你正在培养将在真正飞机上使用的技能。

·反馈：是指计算机利用数字信号合成的感官信息（如视觉、听觉、触觉），即对物体的组成和外观、声音或力的强度的描述。

·交互反馈：这些合成操作是由相对复杂的软件处理产生的，因此需要一定的时间。如果持续时间太长，我们的大脑就会感知为一个图片的固定显示，接着是下一个图片。这样会破坏视觉的连续性，进而破坏运动的感觉。因此，反馈必须是交互的和难以觉察的，以获得良好的沉浸式体验。

·互动：这个术语指的是用户通过移动、操作和/或转移虚拟环境中的对象，对系统行为起作用的功能。同样，用户也需注意到虚拟空间传递的视觉、听觉和触觉信息，如果没有互动，我们就不能称之为VR体验。

为什么需要使用VR？这项技术的发展是为了实现几个目标：

·设计：工程师使用VR技术已经有很长一段时间了，目的是帮助建筑或车辆的构建，或者是在这些物体内部或周围虚拟地移动来检测任何可能存在的设计缺陷。这些测试曾经使用复杂程度不断增加的模型（最高可达1级）进行，现在逐渐被VR体验所取代，后者更便宜，生产速度更快。必须指出的是，这些虚拟设计操作已经扩展到有形物体以外的环境中，例如，运动（外科、工业、体育）或复杂的科学实验计划。

·学习：正如我们在上面的例子中看到的，在今天，学习驾驶任何一种交通工具都是可能的，如飞机、汽车（包括F1赛车）、船舶、航天飞机或宇宙飞船等。VR提供了许多优势：首先能保证学习时的安全性；其次可以复制，并可以轻易切入一些教学场景（模拟车辆故障或天气变化）。这些学习场景可以延伸到操作交通工具以外的更复杂的过程，如管理一个工厂或一个核中心的控制室，甚至通过使用基于VR的行为疗法学习克服恐惧症（动物、空白空间、人群等）。

·理解：VR可以通过它提供的交互反馈（尤其是视觉反馈）提供学习支持，从而更好地理解某些复杂的现象。这种复杂性可能是由于难以触及有关的主体和信息，如在地下或水下进行石油勘探，想要研究的行星的表面，可能是我们的大脑无法理解的庞大数据，也可能是人类难以察觉的温度、放射性等。在许多情况下，我们寻求更深层次的理解，以便做出更好的决策——我们在哪里开采石油？我们必须采取什么金融行动？等等。

综上所述，VR存在着非常精确和正式的定义。例如，在Virtual Reality Treatise[FUC 05]第1卷第1章中（提出了虚拟现实领域的基本原则），我们发现这个定义：“虚拟现实是一个科学技术领域，它利用计算机科学和行为界面，在虚拟世界中模拟3D实体之间实时交互的行为，让一个或多个用户通过感知运动通道以一种伪自然的方式沉浸于此。”0.2.2　增强现实

AR的目标是通过添加与真实环境相关的数字信息来丰富对该环境的感知和认知。这些信息通常是视觉，有时是听觉，少部分是触觉。在大多数AR应用程序中，用户通过眼镜、耳机、视频投影仪甚至是手机/平板电脑来可视化合成图像。这些设备之间的区别是基于前三种设备提供的信息叠加到自然视觉上，而第四种设备只提供远程查看，这导致某些作者将其排除在AR领域之外。

为了说明这一点，让我们以一个希望建造房屋的用户为例。一开始，他们只有蓝图，但AR允许他们在场地周围移动，可视化未来的建筑（将合成图像叠加到他们对真实环境的自然视觉上），感知总体体量和植入景观。当进入到建造阶段，在仍在建造的建筑中可视化以不同布局布置的涂漆墙壁或家具，用户可以比较几个不同设计或装修方案。除了室内设计和家具，电工也可以可视化绝缘材料的位置，管道工也可以可视化管道的位置，即使这些管道隐藏在混凝土后面或墙上。除了位置，电工还可以看到传输电流强度所需的线路直径，而管道工通过颜色可视化，可以看到供水的温度。

为什么要开发AR应用程序？有几个重要的原因：

·辅助驾驶：最初是在驾驶舱屏幕上显示关键信息来帮助战斗机飞行员，这样他们就能实时看到刻度盘或显示器（这在战斗中是至关重要的），AR逐渐向其他车辆（民用飞机、汽车、自行车）开放了辅助驾驶功能，包括GPS等导航信息。[1]

·旅游业：通过对纪念碑和博物馆的AR设计，游客可获得音频导游的功能，某些网站提供了结合图像和声音的应用程序。

·专业手势帮助：为了指导特定专业用户的活动，AR可以让更多的信息覆盖到他们在真实环境中的视野。这些信息在真实环境中可能是不可见的，因为它们通常是“隐藏”的。因此，外科医生可以更有把握地进行手术，方法是把他们看不见的血管或解剖结构可视化，或者参与建造飞机的工人可以直观地在机身上直接叠加一幅钻孔图，而不需要亲自测量，从而使飞机获得速度、精度和可靠性。

·游戏：虽然得益于2016年Pokémon Go的推广，但整体来说，AR很早以前就通过使用如Morpion、PacMan或Quake增强版游戏等方式进入了这一领域。很明显，基于这项技术这个领域将会有更多的发展，这使现实环境和虚构的冒险结合成为可能。

尽管VR和AR共享算法和技术，但它们之间却有着明显的区别。主要的区别是在VR中执行的任务仍然是虚拟的，而在AR中它们是真实的。例如，你驾驶的虚拟飞机从未真正起飞，因此在现实世界中从未产生二氧化碳，但使用AR的电工可能会穿过石膏隔板安装一个真正的开关，可以打开或关闭一盏真正的灯。

关于AR，许多科学家已经提出了简洁的定义。例如，1997年Ronald T. Azuma将AR定义为验证符合以下三个属性的应用程序集合[AZU 97]：

1）真实与虚拟的结合；

2）实时交互；

3）实与虚的结合（如重新校准、遮挡、亮度）。[1] 这些可以被认为是AR领域，因为它们给参观者提供听觉信息，增强了他们对真实环境的认识。0.3　虚拟现实的出现0.3.1　简短的历史

如今，对虚拟现实状态的另一种分析使得我们可以为这个领域的发展阶段绘制一个时间表（见图0.5）。图0.5　虚拟现实领域的发展。有关此图的彩色版本，请参见www.iste.co.uk/arnaldi/virtual.zip

虚拟现实的发展可分为以下主要阶段：

·1960年以前的基础阶段：许多方法（甚至在今天的虚拟现实中使用的方法）在“虚拟现实”出现之前已经得到了完善。我们首次通过绘画（史前）、透视（文艺复兴）、全景展示（18世纪）、立体视觉和电影（19世纪）以及二战时英国飞行员的训练飞行模拟器来展现现实。最后，Morton Heilig从1956年开始在Sensorama中使用的多模态反馈，以及1969年他的Experience Theater（是所有大屏幕动态影院的前身），让我们有了沉浸感的概念，这是虚拟现实的核心。

·1960～1980年的起步阶段：计算机科学的出现使所有基础元件得以发展，从而导致虚拟现实的出现。即使在今天，合成图像中用于表示虚拟环境的组件仍然是3D对象的建模和操作、算法使用（最重要的是Z-buffer算法[CAT 74]）以及光和照明模型的处理[GOU 71，PHO 75]。用于交互系统的组件，包括Sketchpad[SUT 63]——第一个头戴式显示器（HMD）[SUT68]，GROPE系统——第一个利用力反馈的项目（由Frederick Brooks于1971年在北卡罗来纳大学启动），构成了触觉反馈的基础。在应用方面，飞行模拟器相关的开发进展迅速，例如，由美国空军执行的VITAL和VASS项目。

·1980～1990年的技术发展阶段：这一阶段的特点是专门针对3D交互技术发展。1985年，Michael McGreevy和Scott Fish（美国宇航局艾姆斯研究中心，NASA Ames Research）重新发现了虚拟现实显示系统，并给它起了一个名字——HMD（头戴式显示器）[FIS 87]，从此它就永远为人所知。1986年，Scott Fisher提出了空间化声音复原。美国人Jaron Lanier和法国人Jean-Jacques Grimaud创建了VPL Research公司，该公司利用数据手套和自己设计的视听设备，销售了首批虚拟现实应用程序。由于计算机设备的进步，Frederick Brooks的GROPE系统开始运行，其中包括操纵接近1500个原子的分子模型[BRO 90]。

·1990～2000年的应用实验阶段：在这10年中，材料和软件解决方案的集成使实现可信和可操作的实验性应用成为可能。让我们从电子游戏行业开始，它是最先预见到虚拟现实的潜在好处，并使用专门为此开发的设备提供创新解决方案的行业之一：Virtuality（1991）、Sega VR（1993）、Virtual Boy（1995）和VFXA Headgear等一系列产品在20年后仍然影响着当今的解决方案。与交通相关的行业（汽车、航空、航天、海事）首先使用虚拟现实来设计车辆，然后学习如何驾驶它们。在这一时期，医疗行业也进行了一些VR的实验。例如，在华盛顿大学Harborview烧伤中心，Hunter Hoffman和他的同事使用虚拟现实减少遭受严重烧伤的病人的疼痛Stéphane Cotin等人提出了一个将力反馈应用于肝脏手术中的完整仿真系统[COT 96]。能源领域，特别是石油工业，也很早就认识到使用这些新技术的投资价值和可能的投资回报。

·2000～2010年的工业成熟阶段：在专注于产品设计和学习如何驾驶车辆之后，VR的应用逐渐向维护和培训发展，以及使用模拟来控制工业过程（例如从指挥室监视工厂）。

我们也可以看到越来越多的应用程序使用VR，以便更好地理解真实环境，特别是帮助决定后续。以石油行业为例，研究底土能优化钻井的位置。甚至是在金融界，可视化地研究共享收益和增长曲线组成的空间，能更好地决定采取什么行动（买入、卖出）。在产品设计中以及项目评审期间，也能更好地理解、更好地决策，这减少甚至消除了对物理模型的需求。在设备方面，这10年间学术界和（大型）公司在安装沉浸式空间（CAVE，尤其是SGI现实中心）方面取得了重大进展。用户还可以很容易地找到捕获、定位和定向设备，如力反馈臂（触觉反馈）。

最后，这一时期VR应用程序的发展出现了非常显著的变化：除了该领域先驱者采用的以技术为中心的设计方法之外，还出现了一种以人为中心的设计方法。这种变化是两个因素同时发生的结果：

·随着虚拟现实技术的日益普及，社会科学领域的研究人员，主要是认知科学领域的研究人员开始研究这一新范式。这开辟了未知的领域。

·应用程序开发人员注意到某些用途被拒绝以及某些用户体验到的不适，开始寻找不只是纯技术的解决方案。

从研究人员获得的知识和结果与开发人员的需求的融合中，产生了一种考虑到人的因素的、关于应用程序的新思维方式，这种方法今天仍在使用。

·2010年以后的大众普及阶段：最后一个时期的特点是新设备的大量出现，其费用比以前的设备低得多，同时提供了高水平的性能。这种反弹主要是由于智能手机和视频游戏的发展。尽管头戴式显示器在媒体上的曝光率最高（例如Oculus Rift、HTC Vive），但新的动作捕捉系统也出现了。这种爆炸式的增长导致媒体发表了许多相关文章，将这些技术的信息更广泛地传播给了公众。这些公告（即使是那些完全不现实的）首先面向那些小公司技术人员（小公司不像致力于设计VR-AR新用途的大型团体），其次直接向公众传达信息，并且可能让多个部门感兴趣。

与这种新设备（这只是冰山一角）相对应的是，新的软件环境也建立起来了，它们通常来自视频游戏（比如Unity 3D）。这使得来自上述中小企业的“新”开发人员能够独立开发他们的解决方案。

很明显，这只是VR-AR向公众开放的开始。经过一段时间的媒体喧嚣之后，真正的好处将会显现，毫无疑问，未来几年这些技术的大规模使用将会出现爆炸式增长。

这些事实绝不是该领域的详尽历史，我们的书旨在回答以下问题：过去10年发生了什么？在对过去10年来该领域演变中的重大事件进行描述之前，研究社会经济背景的演变对了解真正发生了什么变化是非常有益的。

事实上，10年的发展群体包括：

·研究开发基本方法和技术的实验室；

·大型工业实体，通常是制造业或依赖大型技术化基础设施的工业（例如PSA、雷诺、空中客车、SNCF等）；

·一些技术初创公司提出了软件工具和（通常是实验性的）设备，例如Haption、Virtools和Laster。

在许多雄心勃勃的项目中，由于这三类群体之间的协作，产品常常能顺利生产。对于应用程序开发人员和最终用户来说，专业的集成软件解决方案都是一个相当沉重的负担。0.3.2　参与者之间的革命

在过去10年中，有些领域发生了几次深刻的变化。

·首先，一些创业公司的创新在商业上取得了真正的成功：[1]

·Oculus Rift（2013）被Facebook收购，产品出现了大规模扩散；

·Leap Motion及其轻量级位置传感器（2013）。

·还有一些拥有大量资金和开发团队的大型组织现在已经介入并对这些技术产生了兴趣，无论是实现这些技术还是从现有的参与者那里购买这些技术。例如一些公司提供的以下产品：

·微软动力学传感器（2010）；

·谷歌眼镜（2013）（虽然这不是一个商业上的成功，但它的销量非常可观）；

·三星Gear VR耳机（2015）；

·微软HoloLens耳机（2016）；

·索尼PS-VR耳机（2016）；

·HTC Valve Vive耳机（2016）；

·苹果智能手机系列的开发工具包，苹果收购了增强现实领域的老牌公司Metaio（2017）。[1] 这里为法国公布的日期，因此可能与项目开始日期或公布日期不同。0.3.3　技术革命

无论是在物质层面还是软件层面，这10年都涌现出大量的突破性新产品。

·在软件领域，我们必须注意到免费提供专业的综合软件解决方案，使任何具有专业知识的人都能开发自己的解决方案：

·2009年10月发布了Unity 3D的第一个免费版本；

·苹果的ARKit 3.0于2019年6月发布。

·技术及其应用广泛发展的另一个决定性因素是终端的发展。实际上，在2007年6月，苹果售出了它的第一部iPhone，每个人都知道这对移动手机市场以及移动应用领域的影响。这一发展使得用户迅速能够使用配备高质量屏幕、摄像机和多个传感器（如加速度计、触摸屏）的终端。这距离让普通用户能够使用移动VR或AR应用程序只有一步之遥，而此前这些应用程序并不为人所知，也过于昂贵。尽管如此，我们必须注意到，在声称是VR或AR应用的移动应用中，很少有真正将AR或VR发挥作用的，而且大多数都不利于这些技术的发展。平板电脑的出现消除了手机屏幕尺寸这一重要限制因素，也推动了VR和AR的发展。

·最后，视频游戏在头戴式显示器（虚拟现实和增强现实耳机）领域取得了重大进展，这使这些技术大规模普及的主要原因是，与较早的设备相比，购置费用很低，质量也完全令人满意。

·另一场产生重大影响的技术革命是大规模地引入了专用架构，例如GPU（图形处理单元）作为高性能计算中的协同处理器。事实上，现在每台计算机都有一张显卡，这使得它的计算速度比10年前的计算机要快得多，处理能力（CPU）也提高了。这种性能的提高必须放在AR或VR应用程序计算需求不断增长的背景下。当然，这是因为计算机生成的越来越高的图像质量，以及与用户的交互，都需要非常短的周期时间（高计算频率、低延迟）。例如在Virtual Reality Treatise中，我们用一只手的手指去数GPU这一术语在前四本书中使用的次数，这对于视频处理或者声音信号的处理是一样的。0.3.4　一场使用和用户的革命

VR-AR领域的另一个巨大变化是，最初打算用于少数专业领域（通常是专门领域，如设计工作室和行业专家）的应用扩展到了整个社会，甚至进入了我们的家庭（如游戏、服务、家庭自动化系统）。在过去的10年里，增强现实的用户已经从一个在办公室工作的专家变成了家里或者路上的每一个人。这也适用于VR-AR设备，在10年前，只有少数几家分销商向内部人士销售这种设备。今天，任何销售电子系统的主流厂商都将在其货架上和产品目录中提供在大型零售商店能看到的全套设备（头戴式显示器以及传感器）。“传统”商店为客户提供尝试应用或设备的机会已经不再罕见。VR-AR在使用上的这种演变无疑将在今后几年内继续下去。0.4　本书内容概述

本书主要基于一个简单的原则：描述过去10年中最引人注目的事实，想象未来10年最可能发生的事情。因此，我们与不同章节的作者一起，把针对性而不是穷尽性放在了优先的位置。事实上，要详尽地描述这样一个活跃领域在过去10年里的演变需要几千页！最后，读者会看到，在每一章末尾的参考书目

12中，有些可以追溯到10年前，有些甚至更早！在书中，我们尽可能地查到原始资料来源，以追溯与一项技术或一项科学贡献有关的历史，同时也展示最近的重要成果。

因此，本书组织如下：

第1章主要讨论虚拟现实和增强现实在现代信息化社会场景中的多项应用以及相关技术解决方案，并阐述了新发展带给新社会的影响。

第2章从新设备和新软件两方面对VR-AR技术革命进行了详细分析，并讨论了技术创新革命带给VR-AR的影响。

第3章主要阐述了在VR-AR环境下交互感知的复杂性，及虚拟环境与真实环境的相关关系。

第4章重点阐述AR与现实环境是如何关联的，探讨了真实世界和虚拟环境之间的复杂关系，并针对解决AR设计中仍存在的问题提出一些畅想。

第5章讨论了我们所能预见到的VR-AR在未来的发展，描述了美好的愿景。同时有针对性地讨论了在虚拟环境中感知的替代方案。

第6章从用户体验的角度出发，提出VR-AR在未来的发展中可能会面临的风险和挑战，并针对可能遇到的问题提出相应的解决方案。

结语部分根据前几章的概述，建设性地对VR-AR未来的发展进行展望，勾画出多条宽广的发展道路。

本书探讨了一个复杂而相对未知的领域。因此，“目标读者”是相当广泛的：学生、软件解决方案的开发人员、决策者、对技术感兴趣的人，等等。因此我们认为，重要的是努力使本书对不同读者都有可读性，而不是要求读者从第一页开始机械地读到最后一页。这应该有点像浏览网站，允许每个读者点击他们感兴趣的任何东西。因此，虽然我们的结构基于某种逻辑，但这些章节或多或少是相互独立的，这取决于每个读者的能力和需求。然而，由于这个原因，一些概念或想法可能会在章节中重复出现。这并不是要反复强调，只是要使得每一章保持“自给自足”。

为了帮助你阅读，我们基于你的个人背景提出了建议——一个非线性导航，让你直接看到你认为最重要的信息：

·VR或AR方向的学生：除了建议通读之外，我们还能说什么呢？

·软件解决方案的开发人员：我们建议那些没有时间阅读全部内容的开发人员，回顾VR-AR的基本概念和最近的演变（第1章），回顾与VR-AR相关的科学挑战，然后研究当前和未来的解决方案（第4～6章）。在这里，我们只能再次建议你完整地阅读本书！

·决策者：除了这个简短的介绍，了解当前和新兴的VR-AR应用（第2章）是非常重要的，然后可以去熟悉设备和软件当前的演变（第3章）。读完这两章之后，决策者可能非常感兴趣的VR-AR领域的新发展在第5章中讨论。

·好奇的读者、技术爱好者：在这里，我们再次推荐引言中的基本知识，然后建议阅读第2章和第3章，它们提供了当前应用程序和所使用技术的全景视图。第4章将帮助你理解为什么实现不是那么简单，以及为什么我们在电影中看到的技术还不存在。结语部分也将提供关于这一点的更多细节。

·人文社科研究员：为了了解该领域的进展，当然推荐阅读引言和第3章，并且我们主要在第4章和第6章中讨论人的因素。按照前几章的内容，对VR-AR的应用（第2章）作简短的阅读也是必要的。最后，第5章和结语部分讨论了一些对人类科学研究者提出重要问题的未来展望。

·适用领域的专业人员：第2章显然是必不可少的，第3章可能会让读者了解实现这些应用程序所需的技术。最后，读者可能需要回顾一下目前解决开发人员所面临的各种问题的解决方案。作者/贡献者

为了帮助整合这本书，我们邀请了在VR-AR领域非常活跃的法国实验室的专家以及来自工业界的专家，他们提供了材料和软件解决方案，并讨论了这些技术的使用和集成。请这些专家的目的是要使这本书涵盖VR-AR领域固有的广泛知识（例如计算机科学、信号处理、自动化、人类科学）。我们与他们中的许多人有着长期的业界联系（特别是在AFRV内）。每章的贡献者在各章的第一页列出。0.5　参考书目第1章　新的应用Bruno ARNALDI, Stéphane COTIN, Nadine COUTURE, Jean-Louis DAUTIN, Valérie GOURANTON, François GRUSON和Domitile LOURDEAUX

本章将概述那些已经出现或在过去10年中有很大发展的新应用。1.1节通过有关人士分享的产品实例，探索在工业领域虚拟现实（简称VR）的发展、增强现实（简称AR）的出现及其投资回报问题。1.2节探讨了在医疗领域中VR和AR对于手术的培训、准备和操作的影响。1.3节研究与城市生活、建筑和城市规划相关的应用，并着重在移动端发展的问题上进一步讲述。最后，1.4节将通过研究AR在文化传承方面的最新成果结束本章。1.1　新的工业应用1.1.1　工业领域的虚拟现实

目前，虚拟现实仍需要通过专业团队操作繁重复杂的机器来实现。而这个特性会阻碍那些非常注重投资回报率的公司对于应用VR的选择。

各个公司广泛涉足AR的时期描述如下。

1.先驱者的时代：研究人员

直到2005年，只有少数的大型企业对虚拟现实感兴趣。他们的参与和小组的研究（基础研究和产业研究）有关，也与高校和研究界有着密切的联系。在法国，参与研究的公司都拥有内部研究和开发部门，这些部门均由在国家和欧洲范围的项目中工作的研究人员、博士、工程师和研究工程师组成，并与大型公共部门研究实验室（如法国国家信息与自动化研究所、法国国家科学研究中心、大学实验室）有密切合作，雪铁龙集团、雷诺和空中客车公司通过雪铁龙的CRV、雷诺的技术中心以及空中客车的创新小组展开的合作就是如此。

2.实验者的时代：创新性技术人才

从2005到2010年左右，许多大公司了解到VR在虚拟3D原型设计和沉浸技术中的应用。他们希望通过实验来分析虚拟现实在不同行业（特别是研究部门、组织和方法部门）的潜力，采用的方法与“先驱者”的方法截然不同：没有建立内部研究中心，而是开发了与某些技术资源平台相关的“创新部门”，如拉瓦尔大学的CLARTE或索恩河畔沙隆的ENSAM。我们也可以举出法国DCNS集团、彼欧集团等更多的例子。

3.共享平台的时代

从2010年到2014年，VR以该地区公司可用的共享平台的形式被广泛使用。实际上，随着VR技术逐渐成熟，它的功能也变得更加强大，但其投资回报率无法让每个公司都投资它，所以许多公司需要一个共享的设备环境（CAVE、Cadwall）。该模型于2000年由CLARTE在拉瓦尔大学发起，其公司的技术平台为圣纳泽尔的CIRV、皮卡的Industrilab和斯特拉斯堡的Holo3等奠定了基础。

4.大规模VR耳机和应用程序的时代：发展过程中的主力军

从2014年年底开始，我们目睹了VR领域的技术经济革命。从第一款Oculus耳机，到HTC Vice等其他公司的耳机（每款都超越非VR领域的耳机），所有这些耳机的价位都非常低，从根本上改变了这一领域。显然，耳机不能像高端的visiocube那样。然而，HMD的“用户可用性-沉浸式”成本等式使得公司内部的参与者无法探索它们并将其纳入考虑范围。它们充其量被认为是对visiocube的补充，在最坏的情况下也仅可以取代visiocube。必须指出的是，HMD的经济模型与visiocube没有任何共同之处。实际上，从经济角度来看，HMD被认为是消费品。目前，与虚拟现实相关的投资完全与软件有关而与设备无关，这对决策中心有很大的影响。1.1.2　增强现实和工业应用

增强现实技术已经引发了人们的很多幻想，但仍未被广泛传播。实际上，许多传播者利用“将虚拟加入真实”这一信息，创造出奇妙的视频。这些视频让观众相信我们可以轻而易举地观看不存在的汽车，想象我们将在客厅购买的沙发，靠近远方的人，甚至是死去的人。简而言之，现实生活将变得像在电视剧中一样！

然而这些戏剧性的“承诺”远远超过了如今技术的可能性。在这些“承诺”之后，AR遭到了公众和那些“伪AR”游戏如（Pokémon Go）用户的强烈反对。因为所表达的需求和预测的用途导致了“伪提供”，换句话说公司用那些经不住推敲的技巧和诡计来回应这些要求，所以我们无法追踪公司使用这种技术的阶段，这与VR不同。2017年的Gartner Hype曲线（图1.1）提供了一个有趣的例证，它无情地将AR标在了“幻想破灭的低谷”中。图1.1　Courbe de Hype 2017。有关此图的彩色版本，请参见www.iste.co.uk/arnaldi/virtual.zip

然而，经过仔细分析后，在涉及工业应用（也仅仅是这个领域）的情况下，增强现实已经进入下一阶段，即“启蒙的斜坡”阶段，市场将在接下来的二到五年趋于稳定。1.1.3　用于工业复兴的VR-AR

在我们详细研究VR-AR技术对商业的影响之前，先来听听业界人士Stéphane Klein——STX（Chantiers del'Atlantique）副总监和RetD负责人的声音。他对几位知名企业家采取的务实措施以及观察到的影响做了简要总结：“创新是圣纳泽尔STX法国造船厂的DNA。这可能就是它是最后一家大型海事建筑公司的原因，也是今天看到了前所未有的复兴的原因，它在接下来的五年中订单已满！为了向客户提供更多创新产品，STX始终在技术前沿，不断升级生产系统，以便在竞争激烈的全球市场中保持优势地位。在过去五年中，虚拟现实与新3D CAD的结合使用是STX研究部门最重大的变革之一。就在几年前，虚拟现实只是研发项目中一个简单的‘工作包’，如今它已经成熟并被系统地应用，很快成为STX研究流程和营销不可或缺的一部分。STX现在正考虑在船舶的建造和运营、设备的导航或维护以及在施工过程中使用增强现实。关于最后一点，STX目前正在观察增强现实技术对帮助使用电力系统和流体网络的线路员的效果如何。该实验的初步结果前景非常好，生产率和质量已经得到了提高。增强现实技术在装配船舶方面的工业应用已然提上日程，剩下的就是优化在R&D研发项目中的解决方案。”

1.基础部分：研究和通信市场

从21世纪初开始，知名企业家主要关注两个主题：

试读结束[说明：试读内容隐藏了图片]

下载完整电子书