作者：张德丰
出版社：高等教育出版分社
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
大数据走向云计算试读：
前言
随着互联网技术的不断发展而产生的云计算，已经成为国内外信息专家和学者们关注的热门话题。互联网就是“云”，云又由子云体系组成。未来的互联网可能是这样的一个情景，一些网站信息服务云，一些邮件服务云，一些企业成本管理云等。
子云体系的特征如下。（1）由大量具有相同需求目的的成员组成。（2）成员的数量可以随意增加或者减少。（3）计算与服务和成员管理是分开的，它们处于一个独立的源。成员从这个源里获得具体的计算与服务。
云系统按照服务目的可以分成两个子云系统：消费云和供应云。消费云是指使用计算能力的成员，成员包括消费单位以及他们所使用的软硬件设施等；供应云是指提供计算能力的成员，成员包括供应商以及他们提供的软硬件设施等。
而数据库是现在最领先的一个数据管理模式，它可以把数据进行很好的归类，进行非常快速的检索，过去30年我们生活在数据库的时代。
随着数据本身的改变，云所带来的副作用及云的使用者正在改变云的三大特征，即将产生一个新的数据云的时代，从过去数据库一家独大到新的数据云，会产生新的需求，产生更大、更快的数据，分布更广、更多样的数据，同时这些数据能够为千家万户，为所有的用户提供服务。当然，数据库并不会消失，数据库仍旧有它非常重要的作用。在很长的时间里，这两种技术会是共存的。还有两个非常重要的在业界的趋势，会帮助在更好的管理数据库的同时，能够迎接这个数据云时代的到来，而且使两边能够和谐的生存。
更重要的开源效果是对于数据云时代的帮助，数据管理云系统，现在走过一个分久必合到合久必分的转型的时代。在 30 年前可能是群雄混战，有很多的数据库产生，而在过去的20 年、15 年，甲骨文逐渐一家做大，成为业界的领袖。但是现在这个时代，我们的“皇帝”也老了，新一代的技术产生，我们又进入一个群雄混战的时代。现在大家熟悉的大数据技术，包括 Hadoop 等，新的为开发者所欢迎的技术已经产生，而这样的技术大多数是以开源技术的形式出现的。开源就使得客户可以非常低的门槛应用到这个技术，不需要很多的初始投资，可以尝试这个新的技术到底是否满足自己的需求。百花齐放，开源就给百花齐放提供了一片土壤，看最后到底哪一朵花投其所好。
根据目前数据变化的趋势，传统的数据库已经 Hold 不住所有的应用了。数据变化趋势主要有：
第一是海量数据的需求。这些数据基本上是以每年成倍的速度进行发展，而对于大的数据量的分析需求往往也更细，而对它的门槛要求也更低，传统的数据库无法满足这种需求。
第二是对于快的需求。很多时候数据得到的同时，就希望有智能的产生，希望有反应，对应用希望能够直接产生效果。只能有低延迟，同时在数据流产生的时候就能够有Action的产生。
第三是过去的开发者决定着什么样的数据当先，而现在的开发者，包括移动、社交应用的开发者，往往需求是多样化的，而在这些多样化的需求里面，很多时候关系型数据库并不是最优的解决方案。
正因为这些开发者的需求，使得各种各样的解决方案能够大行其道，包括一些大家非常熟悉的，都在互联网的应用当中，在移动和社交的应用当中有广泛的应用。随着大量、海量数据，以及实时快速、灵活的需求，同时客户也希望能够以自助型的形式得到应用，一个云的模式，让开发者能够自己部署他的数据系统，部署在混合云、虚拟架构之上。
在一个大数据文件系统中，往往对这些数据进行三种分析。
第一种，为需要进行实时分析。
第二种，为交互处理。
第三种，为批处理。
在这个大数据处理平台，需要有一个统一的基础架构，在这上面需要有三种不同的处理模式，满足平台的需要。Hadoop在其中是非常重要的技术，但是并不是非常充分的技术。还需要很多新的技术，能够和 Hadoop 一起满足客户的需要。在这个大数据的平台之上，有一个数据分析的应用及数据展示的模式，可以提供给各种各样的用户。
根据大数据到云端的需求，我们编写了本书，本书主要内容包括：
第1章：介绍了云时代，主要包括云计算力量、云产生的背景、云计算简史、云研究趋势、云安全、云标准等内容。
第2章：介绍了大数据时代，主要包括大数据来源、大数据的价值、大数据技术、大数据变革、大数据转型、大数据应用等内容。
第3章：介绍了大数据走向云端，主要包括云计算与大数据的联系、数据向迁移云计算移到、云延伸、云计算与大数据挑战、机遇并存等内容。
第4章：介绍了云下的大数据工程，主要包括信息所需求的新生力量、信息系统工程、信息系统工程架构转变、商业变革因素、云计算机遇等内容。
第5章：介绍了搭建云计算开发环境，主要包括Hadoop环境搭建、HBase环境搭建、ZooKeeper环境搭建、Pig环境搭建、MapReduce概述等内容。
第6章：介绍了分布式文件系统，主要包括分布式文件系统概述、分布式文件系统类型、分布式结构数据表等内容。
第7章：介绍了并行计算，主要包括并行计算概述、MapReduce基础、MapReduce模板、MapReduce计算流程等内容。
第8章：介绍了存储仓库，主要包括HBase基本特征、HBase数据库、HBase的模型及HBase的基本接口等内容。
第9章：介绍了分布式锁，主要包括ZooKeeper基本概述、Zookeeper角色、ZooKeeper 接口与编程、ZooKeeper的典型应用等内容。
第10章：介绍了数据挖掘，主要包括数据挖掘概述、PageRank工具、关联分析、聚类分析、分类分析、异常挖掘、特异群组分析、矩估计等内容。
第11章：介绍了社会中的大数据，主要大数据在历史战争中应用、普适计算、数据应用于治国上、商务智能等内容。
第 12 章：介绍了云下的大数据应用，主要包括云计算如何实现价值、云计算与大数据的强强联合、大数据在证券中的应用及大数据在视频监控中应用等内容。
本书适用于云计算、大数据初、中、高级读者使用，也可作为研究大数据相关专业研究人员的参考资料。
本书主要由张德丰编写，此外参加编写的还有刘泳、邓耀隆、李嘉乐、卢佳华、梁志成、高泳崇、曾虹雁、钟东山、邓秀乾、张金林、邓俊辉、李旭波、梁朗星和刘超。
由于时间仓促，加之编者水平有限，书中错误和疏漏之处在所难免。在此，诚恳地期望得到各领域的专家和广大读者的批评指正。编者2013年11月第1章云时代
大数据浪潮，汹涌来袭，与互联网的发明一样，这绝对不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。现代管理学之父德鲁克曾言，预测未来最好的方法，即是去创造未来。而“大数据战略”，则是当下领航全球的先机。
大数据，这一世界大潮的来龙去脉怎样呢？数据技术变革，何以能推动政府信息公开、透明和社会公正？何以促进行政管理和商业管理革新，并创造无限商机？又何以既便利又危及我们每个人的生活？Google、百度之类搜索服务，何以会不再有立足之地？
这是一个信息爆炸的时代，互联网上的信息正在以几何级数的速度增长。在这个大背景下，消耗CPU最多的计算逐渐从“提升软件本身性能”方面转移到信息处理方面。与此同时，摩尔定律似乎也不再像以前那么准确地发挥作用了。在这样的严峻形势下，各大厂商面临着极大的挑战——他们需要从TB及至PB级的数据中挖掘出有用的信息，并对这些海量的数据进行快捷、高效的处理。在这段特殊时期，Google公司以MapReduce为基石，结合CFS、Bigtable逐步发展成为全球互联网企业的领头羊。然而，出于技术保密的原因，Google公司并没有开源其MapReduce的实现细节，这使得人们无法深入了解和认识它。就在这时，一头神秘的大象——Hadoop从天而降，它的开源给人带来了新的希望、新的景象。1.1云计算力量
凭借着丰富的实践经验，IBM总结了企业进入云计算的四大路径。如果企业的目的是降低IT开支和复杂性，可能利用云计算，云化优化数据中心，这样就能满足降低IT成本和复杂性的要求。企业的目的是为了加速产品上市的速度，就可以利用云化的平台服务解决新服务快速上市的需求，从而增加利润和竞争优势。如果企业的目的是为了获得对企业软件和应用的及时访问，可以利用云技术获得对企业解决方案及时的访问，同时分析固定成本最小化。如果企业有创新的新业务模式，可成为云服务供应商。
IBM在这四种企业进入云计算的路径中都可以提供产品和服务。例如，在云服务供应商方面，IBM可以提供高级、可靠，安全、可扩展性的平台，使云服务的供应商可以很方便地创建管理和服务，为业务提供保障。
IBM在中国也实施了非常多的云计算案例，在过去的一两年中，帮助交通银行打造了银行核心业务的系统运维营，帮助七匹狼打造了商务平台，构建了中国第一个三维互联网孵化平台。在这里向大家介绍三个案例。
1．案例一
国内的某大型保险公司，在全国有 30 余家分公司，它采用两级应用架构，所有的分公司都有自己的IT应用设施和系统管理人员。这家企业希望利用数据中心整合，将大部分业务系统集中运行在统一的数据中心，统一的管理运维，实现资源共享，提高IT系统的资源利用率。IBM建立了云计算模式的数据中心，通过云计算工具的实施，实现资源的统一管理和调度的自动化，对于客户来讲，通过建立共享的业务服务平台，为所有的公司提供业务测试服务，在降低业务成本的同时，提高了业务能力，利用虚拟化技术，实现了资源的利用率，实现分公司的运营。
2．案例二
关于公有云。在中国，很多人认为IBM 公司主要是提供私有云的服务，IBM 公司也是全球最大的企业级的公有云的供应商，但是在中国，由于政策的限制，尚未提供公有云技术。这个案例就是有关公有云的案例，IBM 为一家全球最大的电信公司提供了公有云服务，提供的是IBM解决方案，对他的帮助是快速上市，如果他自己研发制造公有云平台，可能需要两年到三年的时间，而IBM给他提交，让他快速上市，比原有的方案提前了12个月到18个月，而且他可以立即享用IBM全球生态系统，同时也极大地降低了他们的风险，降低了他们的财务投入。
3．案例三
某大型化工制造业公司，它的工厂遍布亚洲和北美地区，其企业用于大量的支撑工厂运营的独立化系统，必须进行人工作业才能完成。系统一旦发生异常，工厂的运营效率就会大大降低。IBM为这个化工企业量身打造了移动运维平台，将员工的资料、文件、档案，全部上传到云中心，简化了机制，高层人员随时随地就可以了解企业、管理企业。通过IBM实施云的方案，这个企业现有的25个独立工厂的自动化系统，整合到两个云中心，实现并强化了数据整合，资源优化，以及运营效率的提高，支持管理层通过设备了解工厂的运营状况。1.2云计算概述
云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常通过互联网来提供动态易扩展且经常是虚拟化的资源。
云计算是继20世纪80年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式。
云计算概况如图1-1所示。图1-1 云计算概况图
用户通过浏览器、桌面应用程序或是移动应用程序来访问云的服务。推广者认为云计算使得企业能够更迅速地部署应用程序，并降低管理的复杂度和维护成本，以及允许IT资源的迅速重新分配以应对企业需求的快速改变。
云计算依赖资源的共享以达成规模经济，类似基础设施（如电力网）。服务提供者集成大量的资源供多个用户使用，用户可以轻易地请求（租借）更多资源，并随时调整使用量，将不需要的资源释放回整个架构，因此用户不需要因为偶尔大量的需求就购买大量的资源，仅需提升租借量，需求降低时便退租。服务提供者得以将目前无人租用的资源重新租给其他用户，甚至依照整体的需求量调整租金。1.2.1 云基本特征
互联网上的云计算服务特征和自然界的云、水循环具有一定的相似性，因此，云是一个相当贴切的比喻。根据美国国家标准和技术研究院的定义, 云计算服务应该具备如下几条特征：
①随需自助服务；
②随时随地用任何网络设备访问；
③多人共享资源池；
④快速重新布署灵活度；
⑤可被监控与量测的服务。
一般认为还有如下特征：
①基于虚拟化技术快速部署资源或获得服务；
②减少用户终端的处理负担；
③降低了用户对于IT专业知识的依赖。
核心特性主要有如下几点。
①敏捷（Agility）。使用户得以快速且以低价格获得技术架构资源。
②应用程序界面（API）的可达性。是指允许软件与云以类似“人机交互这种用户界面设施交互的方式”来交互。云计算系统典型的运用基于REST（Representational StateTransfer）网络架构的API。
③在公有云中的传输模式中的支持已经转变为运营成本，故费用大幅下降。很显然的降低了进入门栏，这是由于典型的体系架构是由第三方提供，且无需一次性购买，且没有了罕见的集中计算任务的压力。称为计算资源包的通用计算基础上的原则在细粒度上基于用户的操作和更少的IT技能被内部实施。
④设备和本地依赖允许用户通过网页浏览器来获取资源，而无需关注用户自身是通过何种设备，或在何地介入资源（如PC、移动设备等）。通常设施是在非本地的（典型的是由第三方提供的），并且通过因特网获取，用户可以从任何地方来连接。
• 一种称为多租户的软件架构技术允许在多用户池下共享资源与消耗。
• 体系结构的中央化使得本地的耗用更少（如不动产、电力等）。
• 峰值负载能力增加（用户无需建造最高可能的负载等级）。
• 原先利用率只有10%～20%的系统利用效率增加了。
⑤如果使用多个冗余站点，则改进了可靠性，这允许我们设计云计算以符合商业一致性及灾备。
⑥可扩展性经由在合理粒度上按需的服务开通资源，接近实时的自服务，无需用户对峰值负载进行工程构造。
⑦性能受到监控，同时一致性以及松散耦合架构通过Web Services作为系统接口被构建起来。
⑧因为数据集中化了，故安全性得到了提升，增加了关注安全的资源等，但对特定敏感数据的失控将是持续关注的，且对内核存储的安全性缺少关注。较传统系统而言，安全性的要求更高。部分原因是提供商可以专注于用户所无法提供的资源之安全性解决方案。然而当“数据分布在更广的范围以及更多数量的设备上”时，以及在由“不相关的多个用户使用的多终端系统“时，安全性的复杂性极大地增加了。用户获取安全审计日志变得不太可能了。私有云的发展动力部分是源自客户对设备的掌控及避免丢失安全信息。
⑨维护云计算应用是很简单的，因为显而易见，用户无需再在本机上进行安装。一旦改变达到了客户端，它们将更容易支持以及改进。1.2.2 云计算简史
云计算的起源要先从互联网演进讲起，图1-2所示为云计算的演进与由来。云计算从根本上改变了原有的互联网结构，将计算能力从个人终端向服务端靠拢，弱化了端的概念，提高了计算资源的整体利用率。在量化计算资源的基础上，云计算实现了商业模式由设置向服务进化的过程。更令人满意的是，随着全体物联网的发展，云计算被赋予了更为广泛的定义：从连接计算资源到连接所有人和机器设置，计算能力也将进一步智能化。图1-2 云计算的演进与由来
云计算的发展过程如下。
1983 年，Sun 公司（Sun Microsystems）提出“网络是电脑”（“The Network is the Computer”），2006年3月，亚马逊（Amazon）推出弹性计算云（Elastic Compute Cloud，EC2）服务。
2006年8月9日，Google首席执行官埃里克·施密特（Eric Schmidt）在搜索引擎大会（SES San Jose 2006）首次提出“云计算”（Cloud Computing）的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做的“Google 101”项目。
2007年10月，Google与IBM开始在美国大学校园，包括卡内基美隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等，推广云计算的计划，这项计划希望能降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支持（包括数百台个人电脑及BladeCenter与System x服务器，这些计算平台将提供1600个处理器，支持包括Linux、Xen、Hadoop等开放源代码平台）。
2008年1月30日，Google宣布在中国台湾启动“云计算学术计划”，将与台湾台大、台湾交大等学校合作，将这种先进的大规模、快速计算技术推广到校园。
2008年2月1日，IBM宣布将在中国无锡太湖新城科教产业园为中国的软件公司建立全球第一个云计算中心（Cloud Computing Center）。
2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划，推出云计算研究测试床，推进云计算。该计划要与合作伙伴创建6个数据中心作为研究试验平台，每个数据中心配置1400个至4000个处理器。这些合作伙伴包括新加坡资讯通信发展管理局、德国卡尔斯鲁厄大学Steinbuch计算中心、美国伊利诺伊大学香宾分校、英特尔研究院、惠普实验室和雅虎。
2008年8月3日，美国专利商标局网站信息显示，戴尔正在申请“云计算”（Cloud Computing）商标，此举旨在加强这一未来可能重塑的技术。
2010年3月5日，Novell与云安全联盟（CSA）共同宣布一项供应商中立计划，名为“可信任云计算计划（Trusted Cloud Initiative）”。
2010年7月，美国国家航空航天局和包括Rackspace、AMD、英特尔、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划，微软在 2010年10月表示支持 OpenStack 与Windows Server 2008 R2的集成；而Ubuntu已把OpenStack加至11.04版本中。
2011年2月，思科系统正式加入OpenStack，重点研制OpenStack的网络服务。
2011年10月20日，“盛大云”宣布旗下产品MongoIC正式对外开放，这是中国第一家专业的MongoDB云服务,也是全球第一家支持数据库恢复的MongoDB云服务。1.2.3 云计算演化
云计算主要经历了四个阶段才发展到现在这样比较成熟的水平，这四个阶段依次是电厂模式、效用计算、网云计算的演进格计算和云计算，演化过程如图1-3所示。图1-3 云计算演化过程（1）电厂模式阶段
电厂模式就好比是利用电厂的规模效应，来降低电力的价格，并让用户使用起来更方便，且无需维护和购买任何发电设备。（2）效用计算阶段
在1960年左右，当时计算设备的价格是非常高昂的，远非普通企业、学校和机构所能承受，所以很多人产生了共享计算资源的想法。1961 年，人工智能之父麦肯锡在一次会议上提出了“效用计算”这个概念，其核心借鉴了电厂模式，具体目标是整合分散在各地的服务器、存储系统及应用程序来共享给多个用户，让用户能够像把灯泡插入灯座一样来使用计算机资源，并且根据其所使用的量来付费。但由于当时整个IT产业还处于发展初期，很多强大的技术还未诞生，如互联网等，所以虽然这个想法一直为人称道，但是总体而言“叫好不叫座”。（3）网格计算阶段
网格计算研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多低性能的计算机来处理，最后把这些计算结果综合起来攻克大问题。可惜的是，由于网格计算在商业模式、技术和安全性方面的不足，使得其并没有在工程界和商业界取得预期的成功。（4）云计算阶段
云计算的核心与效用计算和网格计算非常类似，也是希望 IT 技术能像使用电力那样方便，并且成本低廉。但与效用计算和网格计算不同的是，在需求方面已经有了一定的规模，同时在技术方面也已经基本成熟了。1.2.4 云服务形式
云的服务形式主要有：交付模式及部署形式。
1．交付模式
云计算的主要概念是针对于“一切皆服务”术语使用，如图1-4所示。图1-4 一切皆服务
云计算可描述在从硬件到应用程序的任何传统层级提供的服务如图1-5所示。实际上，云服务提供商倾向于提供可分为如下三个类别的服务：把软件当作服务（Software as a Service，SaaS）、把平台当作服务（Platform as a Service，PaaS），以及把基础设施当作服务（Infrastructure as a Service，IaaS）。图1-5 传统层级提供的服务图（1）SaaS
SaaS提供商将应用软件统一部署在自己的服务器上，用户的需求通过互联网向厂商订购应用软件服务，服务提供商根据客户所定软件的数量多少、时间的长短等因素收费，并且通过浏览器向客户提供软件的模式。这种服务模式的优势是：由服务提供商维护和管理软件、提供软件运行的硬件设施，用户只需拥有能够接入互联网的终端，即可随时随地快捷使用软件。这种模式下，客户不再像传统模式那样花费大量资金在硬件、软件、维护人员，只需要支出一定的租赁服务费用，通过互联网就可以享受到相应的硬件、软件和维护等服务，这是网络应用最具效益的营运模式。对于小型企业来说，SaaS是采用先进技术的最好途径。以企业管理软件来说，SaaS模式的云计算ERP（Enterprise Resource Planning，企业资源计划）可以让客户根据并发用户数量、所用功能多少、数据存储容量、使用时间长短等因素不同组合按需支付服务费用，既不用支付软件许可费用，也不需要支付采购服务器等硬件设备费用，也不需要支付购买操作系统、数据库等平台软件费用，也不用承担软件项目定制、开发、实施费用，也不需要承担IT维护部门开支费用，实际上云计算ERP正是继承了开源ERP免许可费用只收服务费用的最重要特征，是突出了服务的ERP产品。目前，Salesforce.com是提供这类服务最有名的公司，Google Doc、Google Apps和Zoho Office也属于这类服务。（2）PaaS
消费者并不管理和控制云的基础设施、网络、服务器、操作系统或存储，但消费者控制部署应用和可能对应环境进行配置。
作为NIST（National Institute of Standards and Technology，美国国家标准与技术研究院）定义的一个扩展，PaaS借助于一些简单的技术对操作系统或平台进行必要的配置以引入一个较高的水准。它提供直接加载一些服务到平台的能力。像在一个标准的环境下被预配置成为一个支持指定的编程语言平台。在一个企业或行业平台可以建成一个指定的应用，以完成管理或治理能力。然而，大多数类型的PaaS典型地提供一个关键服务集，而通过升级这一核心服务集以提供一个宽范围的服务。一个例子就是 Forece.com 平台提供 Force.com CRM（Customer Relationship Management，客户关系管理）作为一个核心服务集，而用户可以开发一些附加的服务作为一些个性化用途来扩展核心服务集。另一个例子是Cordy公司的商业运作平台（BOP），一个能够完成全生命周期的业务流程管理的系统可以被扩展为随需管理的服务。（3）IaaS
IaaS是把厂商的由多台服务器组成的“云端”基础设施，作为计量服务提供给客户。它将内存、I/O 设备、存储和计算能力整合成一个虚拟的资源池为整个业界提供所需要的存储资源和虚拟化服务器等服务。这是一种托管型硬件方式，用户付费使用厂商的硬件设施。例如，Amazon Web服务（AWS，Amazon Web Services，基础设施和应用程序服务），IBM的BlueCloud 等均是将基础设施作为服务出租。IaaS 的优点是用户只需低价的硬件，按需租用相应计算能力和存储能力，大大降低了用户在硬件上的开销。目前，以Google云应用最具代表性，例如，GoogleDocs、GoogleApps、Googlesites、云计算应用平台 GoogleApp Engine。GoogleDocs 是最早推出的云计算应用，是软件即服务思想的典型应用。它是类似于微软的Office 的在线办公软件，它可以处理和搜索文档、表格、幻灯片，并可以通过网络和他人分享并设置共享权限。Google文件是基于网络的文字处理和电子表格程序，可提高协作效率，多名用户可同时在线更改文件，并可以实时看到其他成员所作的编辑。用户只需一台接入互联网的计算机和可以使用Google文件的标准浏览器即可在线创建和管理、实时协作、权限管理、共享、搜索能力、修订历史记录功能，以及随时随地访问的特性，大大提高了文件操作的共享和协同能力。GoogleAPPs是Google企业应用套件，使用户能够处理日渐庞大的信息量，随时随地保持联系，并可与其他同事、客户和合作伙伴进行沟通、共享和协作。它集成了Gmail、GoogleTalk、Google日历、GoogleDocs，以及最新推出的云应用GoogleSites、API扩展及一些管理功能，包含了通信、协作与发布、管理服务三方面的应用，并且拥有着云计算的特性，能够更好地实现随时随地协同共享。另外，它还具有低成本的优势和托管的便捷，用户无需自己维护和管理搭建的协同共享平台。Googlesites 是 Google 最新发布的云计算应用，作为 GoogleApps 的一个组件出现。它是一个侧重于团队协作的网站编辑工具，可利用它创建一个各种类型的团队网站，通过Googlesites可将所有类型的文件包括文档、视频、相片、日历及附件等与好友、团队或整个网络分享。Google AppEngine是Google在2008年4月发布的一个平台，使用户可以在Google的基础架构上开发和部署运行自己的应用程序。目前，Google AppEngine支持Python语言和Java语言，每个Google AppEngine应用程序可以使用达到500MB的持久存储空间及可支持每月500万综合浏览量的带宽和CPU。并且，Google AppEngine应用程序易于构建和维护，并可根据用户的访问量和数据存储需要的增长轻松扩展。同时，用户的应用可以和Google的应用程序集成，Google AppEngine还推出了软件开发套件（SDK），包括可以在用户本地计算机上模拟所有Google AppEngine服务的网络服务器应用程序。
2．部署模式
IT机构可以选择在各有其取舍的公用云、专用云或混合上部署其应用程序。公用、专用与混合这几个术语并不规定位置。公用云一般就在互联网上，而专用云通常在建筑物内，还有可能设在主机托管场所。企业可以就选用哪种云计算模式考虑多种因素，而且有可能选用不只一种模式来解决多种不同问题。如果是临时需要的应用程序，可能最适合在公用云上部署，因为这样可以避免为了临时的需要而购买额外设备的情况。同样地，永久使用或对服务质量或数据位置有具体要求的应用程序，最好在专用云或混合云上部署。（1）公用云
公用云由第三方运行，而不同客户提供的应用程序可能会在云的服务器、存储系统和网络上混合在一起，效果如图1-6所示。公用云通常在远离客户建筑物的地方托管，而且它们通过提供一种像企业基础设施进行的灵活甚至临时的扩展，提供一种降低客户风险和成本的方法。图1-6 公用云向多个客户提供服务效果图
如果在实施一个专用云时牢记性能、安全性和数据保存位置，那么，该云中运行的其他应用程序存在应对云架构设计师和最终用户都是透明的。的确，公用云的优点之一是，它们可以比一个公司的专用云大很多，因而能够根据需要进行伸缩，并将基础设施风险从企业转移到云提供商——哪怕仅仅是临时性的。
可以将公用云的部分划出去，以便于独占单个客户端，从而产生一个虚拟专用数据中心。虚拟专用数据中心不是仅限于在公用云中部署虚拟机映像，而是使客户在更大程度上清楚地了解其基础设施。现在，客户不仅可以处理虚拟机映像，而且可以处理服务器、存储系统、网络设备和网络拓扑。利用位于同一场所的所有组件创建一个虚拟专用数据中心，有助于缓解数据位置问题，因为当在同一场所内连接资源时，带宽非常充足，而且一般都可用。（2）专用云
专用云是为一个客户单独使用而构建的，因而提供对数据、安全性和服务质量的最有效控制，如图1-7所示。该公司拥有基础设施，并可以控制在此基础设施上部署应用程序的方式。专用云可部署在企业数据中心中，也可以将它们部署在一个主机托管场所。图1-7 专用云的构建与使用
专用云可由公司自己的 IT 机构也可由云提供商进行构建。在此“托管式专用”模式中，像Sun 这样的一个公司可以安装、配置和运营基础设施，以支持一个公司企业数据中心内的专用云。此模式赋予公司对于云资源使用情况的极高水平的控制能力，同时带来建立并运作该环境所需的专门知识。（3）混合云
混合云把公用云模式与专用云模式结合在一起，如图1-8所示。混合云有助于提供按需的、外部供应的扩展。用公用云的资源扩充专用云的能力可用来在发生工作负荷快速波动时维持服务水平。在利用存储云支持Web 2.0应用程序时，这最常见。混合云也可用来处理预期的工作负荷高峰。专用云，有时称为“超负荷计算”（Surge Computing），可用来执行易于在公用云上部署的定期任务。
混合云引出确定如何在公用云与专用云之间分配应用程序的复杂性。需要考虑的问题包括数据和处理资源之间的关系。如果数据量小，或应用程序无状态，与必须把大量数据传输到一个公用云中进行小量处理相比，混合云要成功得多。图1-8 混合云构建效果图1.2.5 云时代谁是主角
纵观整个IT产业发展历程，每一次计算模式的变革都会引发一场产业变革。同时也会造就一批“明星”厂商。主机时代，IBM风光无限，称霸一时；互联网时代，微软、Intel是名副其实的行业主导者。然而，云计算时代，谁才是主角？
1．Google
Google是最早提倡和实践云计算技术的企业之一，其互联网搜索服务是建立在云计算基础架构之上。经过多年的发展，Google云计算技术逐渐成熟，针对自身特点建立了一套极其有效的商业模式与产品、服务组合。2011年8月，Google以6820万美元收购企业级IP通信解决方案提供商GIPS；2011年5月10日在旧金山召开“Google I/O 开发者大会”，发布了以企业级 Google App 为核心的云计算产品。种种事实表明，Google 云计算目标并不只在于个人用户，它的野心在于覆盖从个人用户至企业用户的广大空间。Google 还积极与其他云计算企业合作。作为全球最具有影响力的高科技企业之一的 Google，正以一种先行者的姿态拥抱云计算时代的到来。
Google标志如图1-9所示。图1-9 Google标志
2．IBM
IBM是云计算领域中名副其实的巨头，2007年高调启动“蓝云”计划，推出一系列云计算产品。2008年，IBM在云计算领域的累积投入超过了10亿美元，将其云计算产品和服务扩展到亚洲、欧洲、非洲、美洲市场。为了进一步抢占全球云计算市场，从2009年开始，IBM加大了在云计算领域上的投入。有消息透露，IBM将投资200亿美元进行并购、开发云计算终端、推出网络软件……摆出了一副势在必得的架势。IBM在IaaS、PaaS、SaaS三个层面都有方案推出，公有云、私有云、混合云一个不落。近两年来，IBM的“智慧”战略如火如荼，智慧地球、智慧城市、智慧通信、智慧医疗……一切都是智慧的。IBM智慧的云计算也是其智慧战略中的重要组成部分，其云智慧正不断向云计算领域延深。
IBM标志如图1-10所示。图1-10 IBM标志图
3．微软
云+端、软件+服务是对微软云计算的最佳诠释，其云计算平台Windows Azure被认为是Windows NT之后，16年来最重要的产品，关乎微软的未来。微软CEO史蒂夫鲍尔默多次公开表示，云计算是微软的又一次机遇。与其他云计算厂商相比，微软在用户上有着明显的优势。微软的操作系统和操作习惯，不管是在个人用户，还是企业用户中都有很广泛的影响力。微软可以借助这些优势迅速推广其云计算产品和服务，微软基于云计算的解决方案正在得到越来越广泛的应用。近日有消息称微软云计算用户已经超过Google App用户。这表明，微软云计算产品的势力范围正在逐步扩大，将对产业链上下游产生深远影响。
微软标志如图1-11所示。图1-11 微软标志1.3云计算的原动力
云计算带来的是IT产业的转型和升级。不仅各个微观经济实体成为了云计算产业链中的参与者，各国政府也同样重视这一产业的重要变革。毕竟，就如同制造业的变革导致了全球范围内的重新分工，云计算的出现也将引发IT产业在世界范围内的再分工。世界各国，尤其是新兴发展中国家不应错过这个难得的机遇以实现自己产业结构的升级。各国政府对于高科技产业的重视程度和投入力度是推动云计算向前发展的重要动力。
在技术层面，云计算之所以在今天产生，是六方面原动力共同作用的结果，如图1-12所示。
①芯片和硬件技术的飞速发展，使得硬件能力激增、成本大幅下降，让独立运作的公司集中可观的硬件能力实现规模效益成为可能。
②虚拟化技术的成熟，使得这些硬件资源可以被有效地细粒度分割和管理，以服务的形式提供硬件和软件资源成为可能。
③面向服务架构的广泛应用，使得开放式的数据模型和通信标准越来越广泛地为人们使用，为云中资源与服务的组织方式提供了可行的方案。
④软件即服务模式的流行，云计算以服务的形式向最终用户交付应用的模式被越来越多的用户所接受。
⑤互联网技术的发展，让网络的带宽和可靠性都有了质的提高，使得云计算通过互联。网为用户提供服务成为可能。图1-12 云计算产生的原动力
⑥Web 技术的流行和广泛接受，改变了人们使用互联网的方式，通过创新的用户体验为云计算培育了使用群1.3.1 芯片与硬件技术
半导体芯片技术遵循着摩尔定律在不断发展，摩尔定律是指集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍。同时计算能力、内存容量、磁盘存储容量也相应地快速提升。多核技术可以在一枚处理器中集成多个完整的计算引擎，它的出现规避了仅仅提高单核芯片的速度而产生过多热量且无法带来相应的性能改善的问题。处理器位数的提高与总线技术的提升，使系统能够支持容量与吞吐量都更大的内存，满足日益增长的应用需求，使更多的任务可以同时运行。随着磁记录技术和机械工艺的不断改进，磁盘的存储容量在增大，数据传输率在提高，寻迹时间在缩短。这些芯片与硬件技术的变革直接作用于计算机系统，使单个系统的能力越来越强，成本越来越低。
除了计算机系统能力的提高外，系统间的通信能力也在增强。IEEE 802.3ae 定义了带宽为10GB的以太网标准，企业级交换机也支持了10GB全速第二层转发。大量相对廉价的x86系统可以通过高速网络被组织成为大规模的分布式系统，通过协同和冗余来获得以往在大型机上才能达到的处理速度和可靠性。但是，大量地运用廉价系统也带来了这样或那样的问题，如大规模系统难于维护、资源消耗高等。在探索解决这些问题的新技术的过程中，云计算应运而生。
芯片与硬件技术的提升也为数据中心的建造创造了便利条件。伴随着速度的不断提升，硬件价格也在不断下降。以前，建设大规模数据中心所需的巨大资金投入，只有极少数企业或者政府机构能够负担得起。现在，由于硬件性能的提升和价格的下降，建造大型数据中心已经不再是不可实现的目标。这就为云服务提供商构建公有云，为企业机构用户构建私有云创造了可能。1.3.2 资源虚拟化
在云计算中，数据、应用和服务都存储在云中，云就是用户的超级计算机。因此，云计算要求所有的资源能够被这个超级计算机统一管理。但是，各种硬件设备间的差异使它们之间的兼容性很差，这为统一的资源管理提出了挑战。
虚拟化技术可以将物理资源等底层架构进行抽象，使得设备的差异和兼容性对上层应用透明，从而允许云对底层千差万别的资源进行统一管理。此外，虚拟化简化了应用编写的工作，使得开发人员可以仅关注于业务逻辑，而不需要考虑底层资源的供给与调度。在虚拟化技术中，这些应用和服务驻留在各自的虚拟机上，有效地形成了隔离，一个应用的崩溃不至于影响到其他应用和服务的正常运行。不仅如此，运用虚拟化技术还可以随时方便地进行资源调度，实现资源的按需分配，应用和服务既不会因为缺乏资源而性能下降，也不会由于长期处于空闲状态而造成资源的浪费。最后，虚拟机的易创建性使应用和服务可以拥有更多的虚拟机来进行容错和灾难恢复，从而提高了自身的可靠性和可用性。
可见，正是由于虚拟化技术的成熟和广泛运用，云计算中计算、存储、应用和服务都变成了资源，这些资源可以被动态扩展和配置，云计算最终在逻辑上以单一整体形式呈现的特性才能实现。虚拟化技术是云计算中最关键、最核心的技术原动力。1.3.3 面向服务架构
面向服务架构（Service Oriented Architecture，SOA）是一种IT架构设计模式，通过这种设计，用户的业务可以被直接转换成为能够通过网络访问的一组相互连接的服务模块。这个网络可以是本地网络或者是互联网。面向服务架构所强调的是将业务直接映射到模块化的信息服务，并且最大程度地重用IT资产，尤其是软件资产。当使用面向服务架构来实现业务时，用户可以快速创建适合自己的商业应用，并通过流程管理技术来加速业务的处理，促进业务的创新。面向服务架构还可以为用户屏蔽掉运行平台及数据来源上的差异，从而使得IT系统能够以一种一致的方式提供服务。
面向服务架构的设计思想引领了Web服务技术的发展，使得开放式的数据模型和通信标准越来越广泛地为人们使用，更大程度地促进了已有信息系统的互联。面向服务架构通过基础设施层、业务层、服务层、流程层的层次划分，将模块化的服务和标准化的流程封装成为可以被用户直接应用的组件，允许用户按照自己的实际情况选择、搭建灵活的IT架构，满足业务需求。
资源和功能服务化是云计算的一个核心思想。面向服务架构为云中的资源与服务的组织方式提供了可行的方案。云计算依赖于面向服务架构的思想，通过标准化、流程化和自动化的松耦合组件为用户提供服务。不过，云计算将不仅是一种设计架构的模式或方法，而且是一个完整的应用运行平台，基于面向服务架构思想构建的解决方案将在云中运行，服务于云外的用户。1.3.4 软件即服务
软件即服务（Software as a Service，SaaS）是一种通过互联网提供软件的服务模式，用户不用再一次性购买软件，而改向服务提供商租用软件，且无需对软件进行维护、服务提供商会全权管理和维护软件。其核心理念是将软件直接提供为服务，从而改变目前常见的软件销售并安装在客户自己的计算机上的这种消费及使用模型。对于中小型企业来说，SaaS消除了购买、安装和维护基础设施、中间件和应用程序的投资环节。从技术方面来看，企业无需再配备专业技术人员进行管理，同时又能得到最新的技术应用。
此外，SaaS也深刻改变了IT业界的商业模式。“长尾理论”被认为是使SaaS在商业上取得成功的理论基础。长尾理论讲求的是充分发掘那80%的零散但充满潜力的市场。从同样的理论出发，利用软件即服务的思想，云计算可以开发那部分曾经无法拥有专业计算中心和Web应用的客户，尤其是中小企业和初创型公司，为他们提供那些曾经只有实力雄厚的大公司才能够负担得起的IT基础设施和应用。
软件即服务技术是云计算的先行者，如软件的远程使用、按需付费模式。然而软件即服务提供商一般仅仅提供某一种特定的应用软件。云计算就是把这种单一的模式更广泛推广的技术，其采用的虚拟化等技术使得普通软件也可以成为服务，如Amazon公司的计算和存储服务就可以适用于企业的更多应用类型。1.3.5 互联网技术
互联网技术指在计算机技术的基础上开发建立的一种信息技术（Information Technology，IT）。
近二十年来，世界各国在互联网基础设施建设方面进行了巨额的投资，互联网的带宽和可靠性都得到了大幅提升，网络的触角所涉及的区域也越来越广。目前，信息技术的发展使得世界上大部分的业务都离不开互联网的支持，互联网已成为世界运转不可缺少的平台。网上纷繁复杂的业务对于互联网上资源的稳定性、可靠性、安全性、可用性、灵活性、可管理性、自动化程度甚至节能环保等特性都提出了苛刻的要求，这一切都在不断推动着互联网技术的发展。正是由于互联网的发展，使得云计算中跨地域的资源共享与服务提供成为可能。
除了骨干网的发展外，互联网的接入方式也发生了质的转变。从PSTN拨号上网到ADSL宽带上网，从单一的有线连接到灵活的无线接入，从高速而廉价的Wi-Fi到潜力巨大的3G和LTE，从单一的计算机接入到手机、汽车及各种家用电器的接入，可以说，互联网已经是随时随处可用了。不论是在办公室、在家，还是在路途中，稳定的互联网接入是用户获取云计算中丰富多彩资源的基础，不断提高的带宽是用户获得完美体验的前提。正是由于互联网接入的普及和改善，使得用户通过互联网使用远程云端的服务成为可能，在用户和云间搭起了宽阔的桥梁。1.3.6 Web技术
回顾一下Web的发展，也是国际上比较通用的说法，Web1.0时代Web内容主要由网站服务商提供，Web2.0时代用户大量参与Web内容的贡献，像博客和微博。到了Web3.0时代，特征就是人、机、物共同参与Web内容贡献，使Web形成对真实世界的全面映射。
大数据来源于人、机、物，同时服务于人、机、物，大数据时代系统软件，特别是操作系统有待进一步发展，人、机、物融合大数据将推动Web进入崭新Web3.0时代。1.4云研究趋势
总的来看，云计算领域有以下7个关键方向急需开展深入而持续的研究。
1．商业模式
云计算的商业模式至少包括服务模式和合作模式两方面。服务模式是针对用户而言的，主要研究云计算在逐步的商用过程中需要解决的问题。合作模式是针对产业链合作而言的，主要研究为搭建合理有序的云计算产业链所能够采取的合作模式。
云计算的产业链特点如图1-13所示。图1-13 服务产业链特点效果图
2．业务产品与技术应用
最终用户所能够感知的云计算就是云计算的业务和产品。有些业务和产品不一定直接以云的形式出现，而是在其中植入了云的技术。其研究内容主要包括：云计算服务的业务种类、业务形态、业务实现模式、产品策略等，云技术对传统产品、业务的发造、优化，云计算可能推生出的新产品、业务等。
3．运营管理
对运营管理的研究主要围绕运营组织和运营管理平台展开，前者研究的是云计算运营商如何在组织架构上适应云计算的技术和商业模式特点，后者的具体内容包括物理资源管理虚拟资源池弹性调度、服务管理、容灾备份、计费、用户管理、安全、报表管理以及业务流程、内部管理机制等。
4．核心技术
IaaS技术流派众多，主要研究的内容有承载平台（计算虚拟化、存储虚拟化、网络虚拟化、桌面虚拟化、负载均衡等）、资源管理平台、业务管理平台、用户服务平台等；对 PaaS的研究主要包括两个方面：一个是经典PaaS的应用、运营管理、优化研究，另一个是针对新的问题域的新的平台技术的研究；SaaS技术则存在多种实现方式，目前广泛研究的技术包括Web、Struts、Hibernate、元数据开始模式等。
安全贯穿于云计算核心技术各个方面的重要环节，主要研究内容包括云计算安全（平台系统安全、用户数据安全、接入认证、网络攻击防护等）、网络安全设备和技术设施“云化”及云安全服务等。
另外，云计算的测试技术也是值得特别强调和研究的，这一方面是因为云计算技术不同于已有技术，另一方面是因为云计算产业尚不成熟。科学、高效的测试可以帮助对云计算技术、产品做出迅速准确评估，也有利于云计算应用快速推广。
5．标准化/互通性/开放性
云计算标准化工作尚处于起步阶段，研究内容涵盖了云计算的各个方面，包括云计算核心技术和服务的标准、云互操作性及接口、云存储、云安全、云测试基准以及云计算环境的管理和互操作性等。
6．体系架构
IaaS、PaaS将成为社会信息化平台性的基础设施。这意味着大量老的应用将转移到新的平台，并会涌现大量新的应用。这样一个平台自身的架构和演进，与现有IT平台的关系，与承载网络的关系等就是云计算体系架构需要研究的内容。
7．法律法规“云”是新生物，它的一个显著特点就是用户将自己的基础设施、数据、应用都托管在运营商的平台上；而云平台又是以池化资源的方式组织的，传统的用户边界、应用边界、设备边界、地理边界都被打破。因此，一旦发生安全事故、服务中断等意外，如何溯源、如何定损、如何界定运营商与用户的责任，都是需要法律法规的。同时，要满足什么条件才能成为“云”运营商？境外运营商如何在国内落地？在运营过程中如何对运营商进行有效监管？这些都需要相应的法律进行规范。1.5云计算技术
如今，IT行业正面临着空间、电源和成本等资源严重不足的巨大压力。随着这些需求的日益增长，行业中出现了一类全新的解决方案，旨在通过云计算技术对数据中心进行改造。要获得云计算的优势，必须在 IT 基础设施中部署一套明确定义的开放标准。英特尔发布了2015年云计算愿景，效果如图1-14所示。其致力于帮助企业实施联合、自动且客户端感知型云计算技术。也就是说，新的 IT 自动化方法有助于以经济高效的全新方式响应用户的需求。联合云支持快速扩展计算资源，而客户端感知型云可为任意终端用户设备提供绝佳的应用。图1-14 英特尔发布了2015 年云计算愿景效果图1.5.1 虚拟化技术
目前普遍使用3种虚拟机技术，分别为VMware Infrastructure、Xen和KVM。
VMware 作为虚拟化技术中的龙头，开发设计的VMware Infrastructure 能创建自我优化的IT基础架构。VMware Infrastructure作为一个虚拟数据中心操作系统，可以将离散的硬件资源统一起来以创建共享动态平台，同时实现应用程序的内置可用性、安全性和可扩展性，其优点如下。
• 通过服务整合降低IT成本并提高灵活性。
• 减少计划内和计划外停机以改进业务连续性。
• 运行较少的服务器并动态关闭不使用的服务器。
在VMware Infrastructure帮助下企业转向云计算的革命性变革成为一个无缝地渐进发展过程，由于成本被降低，而灵活性、效率和性能都获得提升，所以在这一过渡过程中每个阶段内的投入都能及时收回成本。同时，整合技术缩短了数据中心向一个更易于管理，更高成本效益的虚拟平台转变的过程。通过VMware Infrastructure整合资源并且使基础架构自动化，使得计算能力能够按需分配。
Xen是由XenSource所管理的一个开源GPL项目。Xen是openSUSE和Novell主要支持的虚拟化技术，其能够创建更多的虚拟机，每一个虚拟机都是运行在同一个操作系统上的实例。
虚拟机服务器上的虚拟机操作系统以两种模式运行：全虚拟化和半虚拟化。全虚拟化是一种完全模拟所有硬件设备的虚拟化模式；而半虚拟化是一种选择性的模拟硬件设备的虚拟化模式。
虚拟机监控系统（VMM）在服务器硬件和SUSE Linux系统内核间运行。计算机启动时先加载 VMM，接着以特权模式启动虚拟机服务器。特权模式指的是虚拟机服务器可创建并控制虚拟机，且还可对计算机硬件进行直接存取。用户需要设置虚拟机服务器与本地设备驱动程序来匹配实际的计算机设备。
Xen开源社区开发和维护着涉及软件层的VMM和系统管理软件（Hypervisor），同时其也提供功能性的虚拟机服务器。
KVM是指基于Linux内核（Kernel-based）的虚拟机（Vritual Machine），是以色列的一个开源组织提出的一种新的虚拟机实现方案，也称为内核虚拟机。
虚拟化技术通过将工作量灵活地分配给不同的物理机实现资源的共享，在信息处理高峰期，虚拟机承担一定的工作量，而和客户端操作系统的内存（包括未分配工作量的空闲虚拟机的内存，以及分配特定虚拟机器却未被客户端操作系统充分利用的内存）可能会存在“空闲”。即使客户端操作系统需要分配更多的内存，也无法使用其他客户端操作系统中的空闲内存。在这种情形下，客户端操作系统会因物理内存不足转而去利用交换设备。由于本地作为交换设备的硬盘驱动器处理效率远远低于物理内存的效率，因此系统性能将会下降。为了提高系统性能及内存的有效利用率，在此提出的 VSMM 虚拟化交换管理机制，能够在云环境中实现交换设备的虚拟化，以及内存灵活、动态的交换管理。1.5.2 数据存储技术
云计算环境有以下3个优势。
• 在工作量可并行计算的前提下，计算能力是弹性的。
• 数据存储在不信任的主机上。
云计算这个名词给人的印象好像是计算存储资源的位置不确定，但实际上数据是处于特定国家符合当地法律规范的主机中的，所以用户对存储在云中的数据只有有限的控制，数据还是处于一个相对来说不安全的环境中。
• 数据通常是进行远程复制。
数据的可用性是云存储提供商很关心的问题，如果数据不可用将会影响提供商的信誉。提供商采用副本容错的方式保证数据的可用性。
从云计算环境的3个优势分析得出，只有两种数据管理应用程序可能适合部署到云计算中：一种是和事务处理相关的数据管理系统；另一种是和分析相关的数据管理系统。
基于分析的云数据库管理系统应该具有以下性质和特点。
• 效率。使用云计算的费用与请求的网络带宽、存储空间的容量和计算力是成正比的。
• 容错。基于分析的数据库管理系统不能因为某个节点失效而重新执行查询请求，而是允许在节点失效的情况下同样保证查询的正确性。
• 能够在异构的环境中运行。云计算中的计算机性能差别太大，所以必须采取相应的机制，防止某些任务在性能较差的计算机上执行时，由于速度过慢对整个任务的完成造成较大影响。
• 能够操作加密的数据。很多敏感信息都是经过加密后上传到云中的，为了防止非授权的访问，云数据库管理系统要有处理加密数据的能力。
试读结束[说明：试读内容隐藏了图片]