企业迁云实战(txt+pdf+epub+mobi电子书下载)


发布时间:2020-05-25 08:15:15

点击下载

作者:何强,谭虎,何龙 等

出版社:机械工业出版社

格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT

企业迁云实战

企业迁云实战试读:

前言

20世纪90年代末,虚拟化技术与分布式技术成熟后,初步形成了云计算概念的雏形。21世纪初,Salesforce初尝SaaS服务,云计算真正进入人们的视野。从2005年开始,AWS、阿里巴巴、Google等互联网企业为了解决自身资源空闲问题,把长期在电商行业积累的分布式计算、安全等技术和空闲资源进行了升华与利用,第一次形成了大规模的IaaS服务,正式对外部客户提供IaaS服务。从此,云计算时代真正到来。紧接着,很多传统软件企业、IT服务企业以及新兴云计算创业公司纷纷加入到这场云计算的大变革中。

阿里云作为国内云计算行业的领先企业,同样在这场大变革中与众多同行一起探索云计算的未来之路。2009年,阿里云在北京写下第一行代码,标志着阿里云诞生。阿里云从诞生第一天起就以“普惠科技”为使命,希望能为不同类型的企业客户和个人客户带来安全可靠、快速高效、价格合理的技术;同时,能让中国企业站在未来新科技领域的世界之巅,而不是继续扮演追赶者。在这个理想和使命的驱动下,阿里云上下一心,开启了这艘战舰。到2014年,阿里云大规模商业化应用开始,从此一路勇猛前行,连续多个季度保持100%以上的增长率。但是,客户数量的高速增长也给阿里云技术服务团队带来了很大的挑战:如何帮助客户高质、高效地把既有应用系统、数据、数据库迁移到阿里云上;如何实现更好的架构与性能,提升客户原有IT架构的灵活性、稳定性、可靠性和性价比等,都是摆在我们面前的严峻课题。

为了更好地为数量与体量都快速增长的客户提供好的服务,阿里云技术服务团队一直在不断思考和摸索。我们也希望能在市面上找到一些书籍,从中获得帮助。我们发现,随着云计算的成熟,越来越多的书籍对云计算是什么、云计算的实现原理、云计算该怎么用都进行了非常好的描述,而且随着云计算的普及,把自己的核心应用与数据迁移到云上的客户也越来越多,但是市面上一直缺少指导客户或者云计算服务从业人员更好地规划与实施应用、数据、数据库、大数据迁移上云的工程类书籍。因此我们希望把自己的思考和经验总结出来,给那些和我们一样有过困惑和迷茫的人一些帮助,这也是我们编写本书的初衷。所以,本书的宗旨为:希望通过阿里云技术服务团队的多年实战经验,结合阿里云自身云计算的技术特点,提供一本指导企业迁云的工程书,希望能给企业客户和云计算服务从业人员一些启发和帮助,避免他们走弯路。

本书希望从几个核心维度展示我们在企业迁云方面的理解和经验。

·点:简述云计算的基础知识。

·线:分别从应用迁移、数据库迁移、存储数据迁移、大数据迁移、应用优化等多个方面形成一条线,依次介绍各类迁移的方法论、工具、迁移工作中需要注意的问题等。

·面:有了点和线,我们需要把这些内容组成一个面,这就是云上的架构规划与设计。

·体:如果只是单独介绍技术,很难让读者快速抓住和理解企业迁云的实战精髓,因此我们结合了众多实际案例进行逐步解析,形成一个整体,期望读者可以快速结合自己工作中遇到的实际场景与书中案例中的场景,更好、更深刻地理解企业迁云的部署与实施过程。

本书在写作过程中力求结合实战经验,但是也考虑到一些初步接触云计算的读者的需求,所以期望尽可能做到理论知识与实战经验兼顾,力求让不同层次、不同专业的读者都可以容易地理解企业迁云是什么以及如何实战操作。对于初步接触云计算的读者,可以通过第1章对云计算及围绕云计算的相关服务有一个快速了解;对于企业IT部门的管理者,可以通过第2章了解到企业为什么要迁云、企业该如何迁云、迁云后该注意什么、其他企业如何上云等内容;对于企业IT部门负责云计算设计与实施的技术人员以及上云咨询与实施人员,可以通过第3章到第8章的内容了解云上通用架构设计与改造、应用迁云、数据库服务迁云、文件存储服务迁云、云上应用优化、云上大数据的知识,从中找到自己需要的实战经验与理论指导;最后一章是企业迁云的综合案例,这是我们精心准备给所有读者的,大家可以通过完整的案例,了解其他企业是如何完成上云的。

本书由阿里云服务技术中台团队编写,在此衷心感谢团队所有参与本书编写的同事(以下排名不分先后:崔迪(花名“饮冰”)、戴少青(花名“戴少”)、何龙(花名“周翰”)、何强(花名“回雁”)、彭义评(花名“马柯”)、谭虎(花名“净能”)、曾迟(花名“沙陌”)),他们在繁忙的工作之余,利用晚上和周末宝贵的休息时间参与本书各个章节的编写。衷心地感谢这些同事的家人,谢谢你们的理解和支持,没有你们在背后默默地牺牲与奉献,就不会有本书的出版。

同时,要特别感谢阿里云大数据团队对我们提供的无私援助,吴伟(花名“无戈”)、张云远(花名“云远”)、罗海伟(花名“一斅”)和刘红涛(花名“弘锐”)等同学用自己的技术沉淀和项目经验为第8章提供了丰富的素材,并且直接参与到编写工作中,保证了本书的完整与权威性。

此外,阿里云总裁胡晓明(花名“孙权”)、高层主管马劲(花名“竹蜓”)、刘澍泉(花名“炳烛”)、易立(花名“微垣”)和曾震宇(花名“舟牧”)都曾对本书的编写进行亲切指导,并为本书的交付出版进行严格把关。

由于云计算技术的发展日新月异,书中难免有不足的地方,恳请读者批评指正。文中提供的阿里云官网链接如有失效,请自行根据关键字到官网重新搜索。对于本书,各位读者有任何意见和建议,欢迎通过如下途径联系我们:

1)在阿里云云栖社区论坛(论坛名称:阿里云服务)进行留言和互动,督促我们改进,地址:https://yq.aliyun.com/teams/56?spm=5176.100240.searchteam.8.VucTsu。二维码如下:

2)通过电子邮件将问题反馈给我们:ApsaraService8-ASC@list.alibaba-inc.com。金建明阿里云技术服务中台团队2017年元月于杭州第1章 云计算与云服务

信息技术的飞速发展,推动着IT技术的各个方面发生变革。近几年,IT领域正加速步入云计算时代。云计算的提出引发了新的计算变革,催生出新的IT服务模式,进而使工作方式和商业模式发生了根本性改变。追根溯源,云计算与并行计算、分布式计算和网格计算不无关系,更是虚拟化、效用计算、SaaS、SOA等技术混合演进的结果。通过与相关技术、商业模式、创新要素形成的有机互动,云计算已经成为信息产业实现跨越式发展的重要驱动力。1.1 云计算的起源

对企业而言,数据中心的各种系统(包括软硬件与基础设施)是一大笔资源投入。一方面,新系统(主要指硬件部分)一般经过3~5年即面临逐步老化与淘汰,软件则面临不断升级的压力;另一方面,IT的投入难以跟上业务发展的步伐,即使利用虚拟化技术,也解决不了不断增加的业务对资源的变化需求,一定时期内扩展性总是有所限制。于是,企业产生了新的需求:IT资源能够弹性扩展、按需服务,将服务作为IT的核心,提升业务敏捷性,从而大幅降低成本。因此,面向服务的IT需求开始演化到云计算架构上。

云计算架构可以由企业自己构建,也可采用第三方云设施,但基本趋势是企业将逐步采取租用IT资源的方式来实现业务需要,如同使用水力、电力资源一样。计算、存储、网络将成为企业IT运行中可以使用的资源,无须自己建设,可按需获得。从企业角度来讲,云计算解决了IT资源的动态需求和最终成本问题,使得IT部门可以专注于服务的提供和业务运营。

现在,越来越多的企业提供的服务,不管是软件服务、信息分析、视频直播还是联机游戏等,都通过云计算服务实现。因为云计算系统具有庞大的计算能力与存储空间,用户只要通过网络与云计算系统连接,就可以方便地取得云计算服务资源,消费者只需要按自己的使用量付费,就像付水电费那样方便、快捷。

另外,现代企业有一个关键的生产资料和要素,那就是数据。数据已经成为企业的核心资产,而对数据的使用和挖掘能力也日益成为企业的核心竞争力。利用云计算技术与服务能够更方便地收集、计算、挖掘数据,使那些不具备大数据基础设施的企业也能享受到大数据带来的红利。1.2 云计算的概念

根据前面的介绍我们知道,云是一种服务,可以像使用水、电、煤那样,按需使用、灵活付费,使用者只需关注服务本身。云计算的资源是动态扩展且虚拟化的,通过互联网提供,终端用户不需要了解云中基础设施的细节,不必具有专业的云技术知识,也无须直接进行控制,只关注自身真正需要什么样的资源以及如何通过网络来获得相应的服务。

按照服务划分,云计算可以分为IaaS、PaaS和SaaS三个层次:IaaS(Infrastructure as a Service,基础架构即服务)是基础层。在这一层,通过虚拟化、动态化将IT基础资源(计算、网络、存储)聚合形成资源池。资源池即计算能力的集合,终端用户(企业)可以通过网络获得自己所需要的计算资源,运行自己的业务系统。这种方式使用户不必自己建设这些基础设施,而是通过付费即可使用这些资源。

在IaaS层之上的是PaaS(Platform as a Service,平台即服务)层。这一层除了提供基础计算能力,还具备了业务的开发运行环境,提供包括应用代码、SDK、操作系统以及API在内的IT组件,供个人开发者和企业将相应功能模块嵌入软件或硬件,提高开发效率。对于企业或终端用户而言,这一层的服务可以为业务创新提供快速、低成本的环境。

最上层是SaaS(Soft as a Service,软件即服务)。实际上,SaaS在云计算概念出现之前就已经存在,它随着云计算技术的发展得到了更好的发展。SaaS的软件是“拿来即用”的,不需要用户安装,软件升级与维护也无须终端用户参与。同时,它还是按需使用的软件,相对于传统软件购买后就无法退货具有无可比拟的优势。

对于企业而言,可根据需要使用上述某一种层次的云服务。大型企业一般需要综合上述三个层次的云服务,即层次化的云计算服务,一般也称为I-P-S云计算,各层可独立提供云服务,下一层的架构为上一层云计算提供支撑。例如,某视频网站采用了上述的I-P-S云计算架构。其中,由阿里云大型服务器群、高速网络、存储系统等组成IaaS架构提供基础服务;使用阿里云提供的RDS、MQ等服务构建在IaaS层上,这些RDS、MQ提供的服务组成PaaS,把视频的应用逻辑(如视频编解码、视频流接入等)部署上来,提供在线的视频点播、直播等服务。这样一个大型的系统对互联网用户而言,就是一个大规模视频类SaaS应用。

在业内的普遍认识里,云计算按照部署模式的不同,主要分为公有云、私有云和混合云。公有云一般由云计算厂商构建,面向公众、企业提供公共服务,由云计算厂商运营;私有云是指由企业自身构建,为企业内部提供云服务;当企业既有私有云,同时又采用公有云计算服务时,这两种云之间形成一种内外数据相互流动的形态,便是混合云的模式。目前,大型企业迁云时都倾向使用混合云模式,把面向互联网用户的应用系统部署在公共云上,把内部系统或者安全等级要求较高的系统部署在私有云上。

阿里云对云的模式认识稍有不同:阿里云计算是公共服务,即公共云(Public Cloud Service),它向人们提供高科技、低门槛、简单易用的云计算服务和能力,是一种普惠服务。在阿里云公共云上,既有利用云计算检修铁路的铁路工人,也有迅速走红的直播平台小咖秀,还有12306、中石化这样的央企……云计算为大众创业、万众创新提供了沃土。

公共云能够满足大多数客户对计算的需求,但对一些特殊的客户,公共云可能无法满足需求,比如安全方面的限制,这就要为客户提供专门的云计算服务,即“专有云”(英文为Dedicated Cloud Service)。

阿里专有云不是另起炉灶的一套基础设施,而是公共云为满足特定客户需求而进行的延伸,是公共云的特殊形态。众多的大型企业和政府单位,也纷纷借助阿里云的技术建设了自己的专有云:中国海关总署正使用阿里云专有云上的大数据计算能力提升通关查验的效率;中国邮政集团在专有云平台上积极地打造新一代寄送业务平台;中国联通借助阿里云专有云实现了全国卡号系统的互联网云化……

与云原生(Cloud Native)的创业公司不同,传统企业内部的信息化系统已经存在40多年,很多内部IT系统部署在线下机房,包括财务、OA、HR和报销管理等系统。随着互联网业务的蓬勃发展,更多的创新应用在互联网上涌现。企业既需要保证老系统的稳定持续运行,也需要借助云的弹性满足峰值业务访问。云下的传统系统和云上的云原生系统的有机集成,造就了混合云的形态。混合云已经成为大型传统企业进行互联网+业务创新的主要模式。阿里云既支持传统意义的混合云,也建议对于大型企业从公共云到专有云在基础设施层面遵循统一标准,确保互联互通,数据能够流动,系统能平滑迁移。只有保持底层架构一致,上层业务开发的成本才能降到最低。在这样的前提下,企业可以更方便地打通自己的专有云和公共云的通道,轻松实现混合云的架构。

因此,在本书中,我们对云服务的形态,都将统一使用“公共云”和“专有云”来进行区分和称呼。1.3 云服务的发展现状

SasS、IasS、PaaS这三种云服务模式目前处于不同的发展阶段。其中,SaaS和IaaS产业比较成熟,PaaS领域起步最晚,提供该服务的企业并不多。表1-1给出了三种云服务模式现状的比较。

图1-1给出了2015年中国云服务市场规模占比图,从中可以看到,国内的云计算服务以SaaS和IaaS为主,PaaS占比较小。SaaS服务虽然占据了半壁以上江山,但是行业格局依然比较混乱,缺乏领导者;PaaS服务仍处于发展初期,市场认知度比较低,但是未来的增长预期恰恰是最高的;IaaS服务的占比超过1/3,已经得到国内企业客户的充分认可,云主机、云存储等应用形式是用户使用最多的,占比70%以上。表1-1 三种云服务模式现状的比较图1-1 2015年中国云服务市场规模占比图

接下来我们逐一分析各种云服务模式。1.3.1 SaaS

SaaS服务的概念产生于2003年,是最早引入中国的云服务形式。SaaS是一种通过网络提供软件的模式,有了SaaS,所有的服务都托管在云上,用户不用再购买软件,且无须对软件进行维护。现在,一个完整的企业Web应用程序,可以在云上提供一个敏捷、统一的企业协作平台。就像使用自来水一样,企业可以根据实际需要向SaaS提供商租赁在线的软件服务。SaaS可以帮助企业减少费用,管理硬件、网络和内部IT部门。

早期的SaaS服务主要用于销售管理,如八百客、xTools等使用的ASP就是早期的SaaS服务。进入2008年,传统企业集中转型,办公软件企业(如用友、金蝶)开始开发Saas业务。SaaS企业集中布局在CRM、ERP流程管理领域。2013年,SaaS服务开始细分,通信、邮箱、网盘等工具开始SaaS化,基于手机等移动终端的SaaS平台开始出现。随着移动终端的普及,SaaS自2014年以来持续高速增长。

目前,企业级SaaS服务市场规模保持快速增长,持续受到资本青睐,相关参与方不断探索新型服务形式。SaaS厂商发展的基本现状可总结如下:

1)传统软件企业通过拓展服务形式转型为SaaS服务商。

2)创业公司在原有垂直领域SaaS服务基础上,向底层拓展同类PaaS服务。

3)互联网巨头拓展平台,在Saas基础服务上,引入第三方服务商形成SaaS服务入口平台,打造云服务生态。

SaaS未来的发展趋势主要表现在三个方面:

1)智能化推动流程管理效率提升:人工智能等技术的引入将极大提升流程优化效率,改善服务,成为改进SaaS服务的重要推动力。

2)行业垂直SaaS空间大:在垂直行业积累一定客户的SaaS企业,有机会发掘供应链上的其他机会,例如B2B、增值服务等。

3)打通碎片化服务:多数服务商专注单一SaaS流程、面临服务数据互不连通的问题,因此在提供整合碎片化数据、流程的SaaS服务方面存在机会。1.3.2 PaaS

PaaS是指将软件研发的平台作为一种服务,并提供给用户。用户或者企业可以基于PaaS平台快速开发自己所需要的应用和产品。同时,PaaS平台开发的应用能更好地搭建基于SOA架构的企业应用。PaaS作为一个完整的开发服务,提供了从开发工具、中间件,到数据库软件等开发者构建应用程序所需的所有开发平台的功能。

2009年,新浪推出国内首个PaaS平台SAE Alpha。2013年,微软、亚马逊AWS等海外公共云PaaS服务进入中国;之后,BAT(百度、阿里、腾讯)分别推出开发者PaaS平台(百度的BAE、阿里的ACE、腾讯的Qcloud);IM、推送等领域的垂直PaaS平台开始提供服务(个推、融云等)。进入2015年,国内大型云服务商开始开放更多面向开发者的云服务能力(如阿里百川等);同时,垂直PaaS平台也发展迅速,如出现了面向物流网、语音识别等的PaaS平台。

目前,PaaS厂商发展的基本现状主要是在原有技术功能基础上,根据优势拓展服务形式和客户群,拓展方向主要集中在以下3个方面:

·拓展服务功能:从单一PaaS服务扩展多样PaaS服务,形成功能商店。

·拓展服务形式:在原有PaaS服务基础上,拓展同类SaaS服务。

·拓展新客户:在Paas通用模块基础上,为企业提供定制化流程管理。

目前PaaS发展趋势主要表现在三个方面:

1)业务类型同质化:提供单一功能的PaaS厂商,横向发展成长为PaaS工具商店,可能造成PaaS厂商业务重合度高。

2)开发者增值服务成为增长点:在提供功能模块的基础上,形成平台生态,提供满足企业/应用生命周期全流程的技术服务。

3)国际化业务或成新增长点:技术模块在国际化推广过程中受到地理位置、使用习惯的限制较小,突破海外市场将成为PaaS厂商新增长点。1.3.3 IaaS

IaaS供应商为用户提供云化的IT基础设施,包括处理、存储、网络和其他基本的计算资源。用户能够远程部署和运行任意软件(包括操作系统和应用程序),供应商则按照用户使用存储服务器、带宽、CPU等资源的数量收取服务费。

公共云IaaS是一种“重资产”的服务模式,需要较大的基础设施投入和长期运营技术经验积累,该项业务具备极强的规模效应。因此,一旦巨头优势显现后,将产生马太效应,通过价格、性能和服务建立起较宽的“护城河”。亚马逊自2006年推出AWS服务,到2016年4月,其价格已经下调了42次;阿里云从2015年10月到2016年10月,一年内降价高达17次。

IaaS的发展大致可以分为萌芽阶段、IaaS成长阶段和洗牌阶段。

·IaaS萌芽阶段:2008年,IBM在中国建立首个云计算中心,IaaS正式进入中国。随后一年,盛大、阿里云开始研发和试点运营相关云业务。

·IaaS成长阶段:2013年前后,微软、亚马逊AWS IaaS业务正式进入中国。同年,UCloud、青云等IaaS创业公司成立并开始提供服务,腾讯、华为等巨头也纷纷加入云服务阵营。

·洗牌阶段:到2015年,IaaS云行业发展趋于稳定,行业格局和盈利模式日渐清晰,行业领先者开始出现,企业逐渐开始盈利。同时,行业竞争加剧,进入洗牌阶段。

2017年1月,阿里巴巴集团财报显示,阿里云2017财年第四财季(2017年1月1日至2017年3月31日)营收达到21.63亿元,同比增长103%,连续第八个季度增幅超三位数。阿里云云计算付费用户数量同比增长100%,达到87.4万,覆盖金融、医疗、公共交通、能源、制造、政府机构、游戏、多媒体等广泛的行业和企业类型。1.4 云计算的未来

云服务正在快速增长,它越来越广泛地被更多客户接受和使用,成千上万的企业愿意把业务系统部署在云上,上云/迁云已经成为企业IT的大趋势。不仅是企业,越来越多的普通民众也切实感知到云计算和大数据给日常工作、生活带来的变化,人们都在不约而同地问:“云计算的未来在哪里?云计算将带我们走向何方?”阿里云与大家一起探求这个问题的答案,作为每天都在与云打交道的从业人员,我们也希望与读者分享作者团队的见解。

首先,云计算会更智能。谈到这个话题,一定离不开大数据,大数据和云计算息息相关,被认为是硬币的两面。数据爆发式增长和分布式计算能力的提升,让我们拥有了大数据的分析和计算能力,通过专家经验、行业模型和机器学习,结合大量的数据获得了一部分洞察,然后基于洞察进行预测。但是,这只是在人类在DT(Data Technology)时代迈出的第一步。

当面对更大的数据量、更复杂的场景时,我们需要云计算提供更强的计算能力、更大的存储能力以及更好的算法、模型和计算平台,甚至希望减少人的经验在模型训练中参与度,这是大数据走向人工智能的要求。此时,由神经算法网络衍生出的深度学习可以基于大量数据进行自我学习,在图像、语言等富媒体分类和识别上取得良好的效果。谷歌人工智能产品——围棋机器人AlphaGo在击败了世界冠军、职业九段选手李世石后,注册了ID为“master”的帐号,在中国棋类网站连续对决中日韩数十位高手,连续60局无一败绩,甚至在2017年5月直落3盘完败世界排名第一的中国选手柯洁。人人都惊呼:“奇点临近了,人工智能的时代到来了!”AlphaGo的核心就是神经网络和深度学习算法。

阿里巴巴将自己定位为大数据公司,首先是因为我们拥有众多高质量的数据;其次,阿里云已经发布的大数据平台“数加”,覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。同时,与其他云厂商的技术不同,阿里云在人工智能基础上加入大数据,形成了数据智能。阿里云的人工智能机器人ET正是人工智能和大数据结合的产物,ET背后使用了多项人工智能的技术,涵盖自然语言识别、实时视频分析、语音识别及语音合成、人机交互、知识图谱等。

新技术的产生会给云计算带来颠覆性的改变,这些新技术很大程度上将来自于物联网、量子计算、大数据和人工智能等领域。

其次,云计算会更安全。在云计算概念出现的早期,数据泄露和数据丢失等安全问题是最受关注的话题。数据作为企业的核心资产,要保证不丢失、不被偷窥和窃取,甚至要防止云计算厂商监守自盗。今天,大量的企业已经迁移到云上,甚至一些创业公司从创建第一天起就已经在云上。更多企业上云促使更多的云上安全问题暴露,如不安全的接口、DDoS攻击、内部员工的恶意破坏等。

用户数据安全是阿里云商业的前提,用户的业务永续是阿里云产品的座佑铭。为此,2015年7月,阿里云发布《数据保护倡议书》并承诺:“绝不碰客户数据”。同时,阿里云的产品开发、发布、运维和变更的流程均将可用性作为核心的指标进行考核。此外,阿里云开发了专用的安全产品“云盾”,其中集成了阿里巴巴集团多年安防经验,在线为成千上万的客户保驾护航。特别值得一提的是,阿里云也将大数据能力植入到安全体系中,比如研发了“态势感知”这款产品。阿里云的计算集群每天会调用超过数十万个CPU核心用于海量数据的计算,从而分析每一个客户遇到的安全问题,这些数据来自于客户在开通态势感知时授权云盾出于安全的目的进行计算。阿里云在安全态势感知上的挑战,是替整个安全行业在探索大数据的边界和瓶颈。在2017年,云盾的产品会像态势感知一样全面拥抱数据化。

最终,云计算会使生活更美好。得益于云计算,我们的生产和生活开始变得美好:新浪微博在每年春节只需要临时租用云上虚拟服务器,就可以轻松应对成倍的业务压力,这为他们节省了上千台服务器的采购费用;阿里云在杭州实施的“城市大脑”,通过智能调节红绿灯让车辆通行速度最高提升了11%;阿里云ET能够挑战人类的优秀速记员为会议提供速记服务,甚至还能解说体育比赛;支付宝可以用刷脸进行支付……

但是,我们看到,云计算依然有很多需要完善和提高的地方:今天,云计算服务还无法像苹果手机那样实现任何普通人都能轻松地操作;云计算的资源也无法像水、电、煤气那样作为一种公共基础设施而自由使用;云计算中还有许多技术难题等着技术人员去攻克。

云计算是一个技术概念,同时也是一个商业概念,但云计算的本质是计算,正是由于不断地计算,才使得人们一次次突破科技瓶颈,推动科技进步,促进人类文明发展。计算无处不在,生活中处处需要计算。计算的终极意义是发挥数字的力量,解决问题、创造价值,让数字不止于数字,赋予数字以人的喜怒哀乐。

阿里云不满足于仅仅成为一家科技公司,我们一直致力于推动计算成为普惠科技,成为各行各业能够简单获取的能力,进而不断去创造“无法计算的价值”。在科技落后的过去,“未来”往往是一个只存在于想象的憧憬却永远不会在有生之年中实现的概念。今天,云计算给人类插上了想象的翅膀,让我们飞上云端,让更多的不可能成为可能,让我们所谈论“未来”变成看得见、摸得着的更美好的明天。第2章 企业迁云概述

企业使用IT架构的历史,从最初大型机的集中式计算架构到以服务方式提供计算能力的云架构,走过了几十年的历程,每次IT系统升级的变革,都带动着生产力和企业管理的变革与发展。图2-1给出了企业IT系统的发展历史。图2-1 企业IT系统的发展历史

1)从20世纪60年代中期开始,企业开始使用大型机。大型机的使用门槛和成本很高,只有极少数企业能够使用,计算能力被极少数企业占有,而一般企业无法使用这类资源。

2)从20世纪80年代开始,PC和小型机出现,企业通过购买硬件获得计算和存储能力,但存在架构不灵活、资源利用率不高、易被厂家锁定而不可控等问题。

3)从20世纪90年代中期开始,企业开始在互联网数据中心托管和租用硬件,放弃自建数据中心。风、火、水、电由数据中心提供和保障,但是计算设备以及计算系统还需要企业自身提供,企业的IT运营成本并没有明显的下降。计算能力依然被少数大企业占有,一般企业由于资金、技术等因素无法享受到计算带来的便利。

现在已经进入云架构时代,以服务方式提供计算能力,按需获取,使用门槛降低,减少了企业在资金、技术、时间等方面的投入,使计算成为像水电一样的社会公共基础设施。

云架构的弹性带来资源的集约化,实现按需使用、按需付费以及高质量的专业运维带来计算的服务化。通过IT集中式架构向分布式云架构的转型优化,能够支撑高并发、高性能的架构需求,使企业能够放心地拥抱互联网,能够进行基于互联网、大数据的业务创新。

人类已经从IT时代走向DT时代,IT时代是以自我控制、自我管理为主,而DT时代是以服务大众、激发生产力为主。这两者之间看起来似乎是技术上的差异,但实际上是思想观念层面的差异。

对于企业CIO而言,DT时代,他们在思想观念上有哪些方面需要提升呢?笔者认为,至少在企业的IT架构方面,他们需要做以下考虑:

1)建立一个敏捷的IT架构,以满足多变的业务需求。

2)提供充分的扩展性和灵活性,应对业务的快速创新。

3)优化成本、资源,提高业务运营效率。

4)技术和业务的无缝融合,通过容器化、微服务、Devops等先进工具、技术,加快技术迭代周期,降低业务试错成本,用技术拓展商业边界。

企业上云能很好地满足企业CIO的诉求,体现在如下几个方面:

·显著降低TCO(Total Cost of Ownership,总所有成本),无须投入购买大量硬件和软件的费用,减少人员成本,降低运维费用。

·提供系统稳定性,无须关注底层基础设施的运维,云计算提供商可提供专业的运维能力。

·IT资源可弹性提供,实现资源按需购买、灵活调度以及方便系统的扩容和缩容。

·实现数据的集中,企业可以存储更多的数据,方便数据共享,让沉积的数据产生价值。

·架构可复用,统筹规划,统一建设,可减少代码的重复开发,提高研发效率,缩短业务开发周期。架构的可复用也有利于系统的规模化运维。

·企业数据、IT架构整合提高系统能力以及更好地支持业务创新,整合主要体现在数据整合、应用整合、SOA等方面。很多企业在过去几年中或多或少在这几个方面进行了有益的尝试。现在,以企业云化为契机,进行企业数据和架构的整合是一个不错的选择。

正是因为具有上述诸多的优势,企业的IT管理人员正在越来越广泛地接受云计算这一新生事物,互联网行业最天然地拥抱了云计算,而传统行业的IT决策者们也纷纷开始试水云计算。那么,对于CIO和CTO们来说,企业迁云后,IT管理将会发生哪些变化呢?2.1 企业迁云后IT管理的改变

企业迁云后,原有的IT管理模式会得到极大的改变,具体表现在如下三个方面:(1)企业IT投入模式改变

在传统的IT投入模式下,基础设施(机房、电力、带宽、主机、存储、网络、数据库、中间件)的投入占比最大,服务器运维人工成本次之,应用开发的投入占比最少。上云后,投入比例正好相反,基础设施租用费用最少,运维的人工成本也将大量下降,这样可以把更多的资金投入到业务开发上面,企业可以快速满足业务的需求。企业迁云后投入的变化如图2-2所示。图2-2 企业上云后投入的变化(2)IT人员能力要求的改变

企业迁云后,对IT人员能力的要求也将发生变化,如表2-1所示。表2-1 企业迁云后IT人员能力要求的改变

迁云前,IT人员更关注底层基础设施的运维、项目管理,对业务需求的理解和响应比较被动。迁云后,IT人员需要更关注业务的需求,探索新的业务模式,主动发现客户需求,寻找新的技术和解决方案,而不必关注底层平台的运维和资源管理。比如,以往IT人员遇到一个系统的问题,在解决问题的同时往往还要研究清楚问题发生的根本原因是什么,以避免下次发生同样的问题。在云计算的环境下,这种思路也会发生改变,我们需要迅速下线或释放有问题的资源,同时开通相对应的新资源。所以,企业IT人员需要做的是准备好问题发生时的预案并及时执行,至于这个问题是因何产生的,则可以留给云计算厂商的工程师去思考和研究。(3)整个企业IT运营模式的改变

迁云后,整个企业的IT运营模式将发生改变,如图2-3所示。图2-3 企业迁云前后运营模式的改变

在原有的IT管理模式下,由业务部门定义业务流程,IT部门收集业务需求,要通过招标、评审采购、项目管理等流程,同时同步给软件开发商,开发测试完成后,还要经历业务上线到后期转运维等一系列流程,时间跨度很长。迁云后,业务部门和IT部门通过各自的角度定义业务模式,转入流程设计和系统架构设计,通过云平台提供的IT基础设施,由负责软件开发的合作伙伴迅速转入定制开发。企业后续无须对系统进行大量运维,无论是业务部门还是IT部门都更关注业务流程和用户体验,双方共同促进对系统持续的改进。

从上述介绍可以看出,企业迁云会带来投入、管理、运营模式上的极大变化,大大节约了企业的资金和人力成本,使企业能将注意力集中在核心业务方面,从而创造更多的价值。2.2 企业迁云需要注意的问题

云计算作为企业向互联网+转型的核心基础服务,正以前所未有的速度扩张。事实上,就RightScale近期公布的云报告显示,93%的企业已采用了一些云计算的能力。那么,对于一家业务稳定的公司,若被云计算“弹性、灵活、安全、低成本”的优势所吸引,有计划迁移到云端,那么在正式启动迁云工作之前,需要明确以下几个问题,使迁云之路更加清晰、顺畅。(1)企业是否真的需要迁云

不可否认,云计算有很多优势,能为企业带来更多便利,比如省钱、省力,让业务更有弹性、更灵活,可以便捷地获取大数据分析能力。但我们也要清醒地认识到,云计算不是万能的,因此不是每一家企业都需要迁云或者全面迁云。在做出迁云的决策前,请先思考如下5个问题,以确定企业是否真的需要迁云:

1)企业的用户是否分布在全国各地,地域跨度较大?

2)企业是否已在基础IT环节投入了较大的成本但运行效果并不满意?

3)企业的业务是否在快速发展,或者即将进入爆发期?

4)企业是否遇到或可能遇到安全问题,以致影响企业公共业务的运行?

5)企业的竞争对手是否已迁云并取得了较好的效果?

如果上述5个问题中能确定其中一个是肯定的答案,那就可以着手选购云计算服务;否则,就需要再次权衡是否值得付出迁云的成本与风险。(2)选择并确定最优的云架构方案

在明确了企业确实需要迁云之后,接下来就要根据企业的实际情况选择一种最佳的云架构方案。

1)选择混合云\公共云。如果企业拥有大量的自购IT基础设施,有自建或租赁的机房,或有一些敏感数据仍需保留在自己的物理服务器上,则可以通过使用虚拟专用网(VPC)来构建混合云,作为阶段性的过渡方案。如果企业尚未搭建IT基础设施,那么公共云是最佳的选择。

2)设计系统架构

在确定了选择混合云或公共云之后,接下来就要设计系统架构,一般有以下几种方式:

·一般企业会根据在传统IDC搭建IT系统的方式,先做出一个方案,作为上云的基础和比较方案。其中主要应考虑资源的规模、性能要求、扩展性要求等。

·在一些较大的云计算平台(如阿里云)上,会提供多媒体、医疗、游戏、物联网、游戏等多个行业的解决方案,有丰富的典型部署案例可供参考。企业可以照葫芦画瓢,借鉴同行的经验做出自己的方案,并通过服务价格计算器来预估整体预算。

·如果自己没有把握,可以通过售前技术服务进行咨询,大部分云计算平台均提供此类服务。(3)前期测试

确定系统架构后,接下来可根据业务的部署方案选取相应的云产品及服务进行功能、性能和安全性测试。

在阿里云上,所有产品均采取自助式服务,用户只需注册阿里云账号、开通相应的测试服务实例即可。同时,阿里云还提供4款核心云产品的免费试用。通过免费试用,用户可以顺利确定适合自己企业的迁云方案。(4)部署迁移

根据测试结果,用户可以购买需要的产品与配置,开始迁移上云。后面各章将详细介绍部署迁移的过程,这是本书的核心内容,这里不再赘述。

在上述过程中,还有几个注意事项不可忽视。首先,各大云平台会不定期推出一些优惠政策,特别是针对新购客户。例如,阿里云会经常推出企业购买云服务器ECS和云数据库RDS的优惠策略。本着能省就省的原则,建议用户关注这些优惠政策。其次,如果是在云端构建新业务,则需要先完成域名备案。最后,遇到重要活动或事件,很可能需要进行服务保障,这种情况下应提前通知云服务提供方做好准备。以阿里云为例,会提供专业的护航服务,以确保帮助企业用户度过类似游戏公测上线、红包秒杀、双十一促销这样的流量洪峰。2.3 阿里云服务简介

阿里云于2009年正式成立,现已经成为国内领先的云服务提供商。阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算支持不同的互联网应用。目前,阿里云已在杭州、北京、青岛、深圳、上海、千岛湖、内蒙古、中国香港、新加坡、美国硅谷、俄罗斯、日本,以及欧洲、中东等地设立了数据中心,未来还将设立更多新的数据中心。

阿里云目前已有上百款产品,可满足用户在云计算、大数据方面的需求,产品包括域名、备案、解析、计算、存储、网络、数据库、安全、数据分析及互联网中间件。尤其是互联网中间件产品来源于阿里巴巴多年来在互联网应用实践方面的经验积累,非常适合基于互联网平台的电商、金融等企业的业务特点,包含了整套成熟的分布式计算框架(包括分布式服务化框架、服务治理、运维管控、链路追踪和稳定性组件等)。目前,这些产品已经被多家互联网金融客户使用,帮助这些企业级客户轻松构建并托管分布式应用服务体系。针对外部黑客攻击,阿里云有数百名安全相关的技术和运营人员,构建了完备的云盾安全体系,通过大数据分析,实时掌握互联网上攻击的最新情报,并根据这些情报制订防护策略,实时保护客户在阿里云上的资源。图2-4给出了截至2017年4月阿里云的产品分类框架。

阿里云云平台为五层架构(见图2-5),所有云产品都是构建在第三层,即飞天操作系统之上,通过飞天操作系统底层的任务调度、文件系统、远程过程调用、资源管理等实现各种云产品服务。

·第一层:基础设施层,包括数据中心的风、火、水、电以及服务器、网络等设施。

·第二层:大规模x86服务器上部署的单机操作系统层,操作系统为阿里云版Linux。

·第三层:阿里云平台飞天操作系统层,它是整个云平台的核心层,包括集群部署、集群监控、分布式文件系统、安全管理、分布式协同服务、远程过程调用、资源管理和任务调度八大模块。

·第四层:阿里云产品服务层。用户通过这层实现云产品的使用,包括弹性计算、数据库与存储服务、大数据类的数加产品服务、应用服务等。

·第五层:该层是各种应用系统基于阿里云云产品开发可架构,实现对外提供服务的应用层。图2-4 阿里云产品的框架图2-5 阿里云云平台架构

阿里云云平台通过这种五层平台架构,实现了超大规模的集群运算能力,使用户更方便、高效地使用云计算服务。2.4 云端实践

事实上,阿里云已经深入到人们日常生活的各个角落,每天我们从网络上获取的各类服务后端都可能使用的是阿里云计算服务。下面将通过三个例子简要介绍阿里云的实践。2.4.1 12306网站

高峰时期的12306网站可以说是世界上最繁忙的网站,它与公众的日常生活密切相关。2015年春运售票最高峰日出现在2014年12月19日,网站访问量(PV值)达到破纪录的297亿次,平均每秒PV超过30万次,当天共发售火车票956.4万张,其中互联网发售563.9万张,占比59%,创历年春运新高。12306网站顶住了大并发请求的“集中轰炸”,其中很重要的一个因素是采用了阿里云的技术。

12306网站在迁云之前主要面临以下三个方面的问题:

1)火车票查询业务占12306网站全部流量的90%以上,业务高峰时期请求非常密集。查询的性能要求是业务系统中最重要的一个环节,也是往年造成网站拥堵的主要原因之一,如何支撑住峰值流量显得无比重要。

2)12306网站对于安全防护要求很高,对互联网各类工具流量的分析和识别要求非常高。

3)系统可用性要求极高,必须7×24小时不间断服务,没有非计划性宕机时间。

通过利用阿里云的混合云方式,12306网站顺利解决了高并发、大流量的问题:

1)12306把余票查询系统从后台分离出来,在“云上”独立部署了一套余票查询系统,通过阿里云平台来支撑余票查询环节的访问量(占12306网站近90%的流量),并根据系统压力情况随时动态扩容服务器,解决了往年峰值流量造成的网站拥堵问题。

2)使用混合云架构,通过阿里云对12306网站自有机房的容量提供有效扩展,余票查询系统做到了按需获取所需要的服务器资源,并可以动态调整网络带宽,利用这些可扩展的资源解决了高流量和高负载情况下系统因无法快速弹性扩展而导致的性能瓶颈和系统崩溃问题。

3)多数据中心的混合云模式提高了12306网站的灾备能力,云上云下互为灾备,极大提高了业务的持续服务能力。2.4.2 淘宝双十一活动

每年的淘宝双十一活动都是电商和消费者的狂欢日,但都给淘宝网站带来巨大的考验。双十一的活动很多,包括秒杀、红包、直播等,且业务开发更新频繁,同时对稳定性要求很高,必须保证系统时刻稳定可靠。总的来讲,双十一活动主要存在如下特点:

·高并发性能仍然存在瓶颈。

·扩展能力对大系统不很灵活。

·各垂直系统相同模块依然重复。

·各研发部门各自开发相同和相似的功能模块,无法沉淀成阿里统一的应用服务。

·新功能版本开发、更新仍然存在困难。

·基础设施成本很高。

随着云计算的发展,淘宝逐渐开始迁云,到2016年双十一,90%的业务流量都在阿里云上运行。基于阿里云的互联网企业级架构PaaS和底层基础设施IaaS,淘宝已构造出世界级高可用、高并发的网站,如图2-6所示。图2-6 淘宝基于阿里云平台的架构

淘宝通过使用阿里云提供的EDAS(应用分布式框架)、ONS(消息中间件)、DRDS(分布式数据)构成的高性能应用分布式集群框架,构建统一的共享服务层,通过对业务进行服务化的改造,拆分成用户中心、商品中心、交易中心、评价中心等多个共享服务中心,各中心保证服务稳定性、可靠性。淘宝、天猫的业务研发部门要实现如用户登录、商品管理等,只需要调用共享服务层的服务即可。服务调用的链路监控和管理由应用分布式服务统一管控和展现。基础设施使用阿里云的IaaS(基础设施即服务)实现底层资源的弹性。应用中间件通过使用应用分布式框架解决方案,使淘宝在交易订单、商品库存、支付等方面做到了服务化、异步化,实现应用架构的弹性。这样,淘宝整个系统实现了线性无限扩展、海量并发,并且任意节点链路都可以保证高可靠性。应用共享服务中心的建立,也使部门数据能共享打通,数据被自然沉淀,并且系统新版本开发更新更敏捷,业务创新速度更快。另外,大量弹性资源的使用,使资源成本显著降低。2.4.3 视频点播/直播类网站

4G的普及催生了微视频,促进了游戏视频、移动视频业务的发展,新一波创业潮催生的初创公司以及传统行业互联网转型的自媒体、新媒体、播客的发展,这些都进一步推动了视频点播/直播类系统的发展。而该类系统对计算、存储以及带宽有很高的要求。(1)视频点播类系统的特点

视频点播类系统有如下特点:

1)下行流量少,上行流量多,存播比约为1比几十、几百甚至成千上万。

2)对上行带宽要求极大,对CDN要求极大,遇到业务高峰时将对系统产生更大压力。

3)对存储要求极大,多路转码需要分别存储。

4)用户数据需要永久保存,有归档需求。

5)对转码效率要求高,多为离线转码,宽屏影视客户的转码需求更加苛刻。

通过阿里云视频开放平台、CDN视频加速服务、海量弹性带宽和存储可向客户提供整套解决方案,如图2-7所示。图2-7 基于阿里云的视频点播类网站架构

阿里云视频直播解决方案的优势主要在于:

1)阿里云的视频开放平台、CDN流媒体加速,视频播放PaaS平台所提供的转码、图片处理、媒资管理等功能可降低平台开发难度,从而能快速搭建视频播放平台,并且CDN流媒体加速能将海量流量压力分散到全国,通过切片加速方式支持视频内容的时移播放。

2)使用OSS产品按需存储,OSS开放云存储支持多路视频转码的存储。

3)使用ECS云服务器搭建自媒体视频播放平台实现系统弹性扩展。

4)使用MaxCompute(原ODPS)大数据分析平台,对用户观影行为进行分析,进而进行精准营销,推送用户可能感兴趣的视频资源。(2)直播类业务

直播类业务的特点与点播类业务类似。直播类业务的驱动力来自于4G催生的赛事等内容直播以及传统媒体向新媒体的转型。系统架构方案上,同样以转码和CDN为核心,但转码为实时转码,对运算效率要求更高,CDN为实时加速。主要解决流媒体视频直播功能,需要将接收的H.264/AAC等流媒体码流通过实时转码技术转换成HLS、RTMP等协议模式,输出流畅、高清、标清等码流以适配不同终端。同时,为支持视频存档,所有视频在直播的同时还要在OSS、OAS长期保存以备留档、点播。

而现在的直播类业务往往有实时交互的功能需求,系统主要存在如下特点:

1)通信不再是单向为主,而是双向互动,要求即时性强,系统延迟尽量少。

2)CDN加速无法完全解决这类需求,需要靠就近部署服务器解决延迟问题。

3)对带宽要求极大,不论是源站还是CDN节点。

4)业务直播视频对实时转码要求很大。

5)对稳定性要求极强,某地区服务器宕机会影响该地区所有业务。

基于阿里云的直播网站架构如图2-8所示。

试读结束[说明:试读内容隐藏了图片]

下载完整电子书


相关推荐

最新文章


© 2020 txtepub下载