云数据中心网络架构与技术(txt+pdf+epub+mobi电子书下载)


发布时间:2020-06-08 11:47:56

点击下载

作者:张磊 陈乐

出版社:人民邮电出版社

格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT

云数据中心网络架构与技术

云数据中心网络架构与技术试读:

前言

第1章 认识云数据中心网络 1.1 什么是云计算1.2 云计算催生的虚拟化技术1.3 当SDN邂逅云计算1.4 数据中心网络展望

第2章 云数据中心网络面临的挑战

第3章 数据中心网络的总体架构与技术演进 3.1 数据中心网络技术概述 3.1.1 数据中心网络的物理架构3.1.2 数据中心网络的技术演进3.2 金融数据中心网络的总体架构与方案演进 3.2.1 金融企业网络的总体架构3.2.2 金融业务发展诉求与数据中心网络演变3.2.3 金融云数据中心的目标架构与设计原则3.3 运营商数据中心网络的总体架构与方案演进 3.3.1 运营商企业网络的总体架构3.3.2 运营商业务发展诉求与数据中心网络演变3.3.3 运营商云数据中心的目标架构与设计原则

第4章 云数据中心网络的功能组件与业务模型 4.1 云数据中心网络的业务模型 4.1.1 典型OpenStack业务模型4.1.2 FusionSphere业务模型4.1.3 iMaster NCE-Fabric业务模型4.2 云数据中心解决方案的组件间交互 4.2.1 云数据中心解决方案的架构4.2.2 业务发放过程中的组件间交互4.3 云数据中心组件间交互技术解析 4.3.1 OpenFlow协议解析4.3.2 NETCONF协议解析4.3.3 OVSDB协议解析4.3.4 YANG协议解析

第5章 构建数据中心的物理网络(Underlay网络) 5.1 物理组网和基础网络5.2 设计数据中心的物理网络 5.2.1 路由协议选择5.2.2 服务器接入方案选择5.2.3 Border Leaf和Service Leaf节点设计及其原理5.2.4 出口网络设计

第6章 构建数据中心的逻辑网络(Overlay网络) 6.1 Overlay网络6.2 VXLAN基础及相关概念6.3 VXLAN Overlay网络 6.3.1 VXLAN Overlay网络类型6.3.2 网络类型对比6.4 VXLAN控制平面6.5 VXLAN数据平面6.6 业务模型和网络的映射

第7章 构建多数据中心网络 7.1 多数据中心的业务诉求场景 7.1.1 多数据中心的业务场景分析7.1.2 多数据中心的网络需求分析7.1.3 Multi-DC Fabric方案整体架构和场景分类示例7.2 Multi-Site场景和设计 7.2.1 Multi-Site方案的应用场景7.2.2 Multi-Site方案的具体设计7.2.3 推荐的部署方案7.3 Multi-PoD场景和设计 7.3.1 Multi-PoD方案的应用场景7.3.2 Multi-PoD方案的具体设计7.3.3 推荐的部署方案

第8章 构建云数据中心端到端安全 8.1 云数据中心面临的安全挑战8.2 云数据中心的安全架构 8.2.1 安全架构全景8.2.2 安全组件架构8.3 云数据中心的安全方案价值8.4 云数据中心的安全方案 8.4.1 虚拟化安全8.4.2 网络安全8.4.3 高级威胁检测防御8.4.4 边界安全8.4.5 安全管理

第9章 云数据中心部署的成熟实践 9.1 部署规划 9.1.1 总体规划9.1.2 业务网络推荐规划9.1.3 管理网络推荐规划9.2 部署过程 9.2.1 总体部署流程9.2.2 基础网络预配置9.2.3 安装控制器9.2.4 对接调测9.2.5 业务发放

第10章 数据中心网络的开放性 10.1 数据中心网络生态10.2 控制器的开放性 10.2.1 控制器的北向开放性10.2.2 控制器的南向开放性10.3 转发器的开放性 10.3.1 转发器的北向开放性10.3.2 转发器互联互通的开放性

第11章 热点技术一瞥 11.1 容器 11.1.1 容器技术11.1.2 业界主流容器网络方案11.1.3 华为SDN容器网络方案11.2 混合云 11.2.1 混合云技术11.2.2 业界主流混合云网络方案11.2.3 华为混合云SDN方案11.3 AI Fabric 11.3.1 AI数据中心现状11.3.2 AI技术对数据中心网络的诉求11.3.3 AI Fabric的技术方向

第12章 云数据中心网络解决方案的组件 12.1 CloudEngine数据中心交换机 12.1.1 CloudEngine数据中心交换机简介12.1.2 CloudEngine数据中心交换机技术亮点12.2 CloudEngine虚拟交换机12.3 HiSecEngine系列防火墙 12.3.1 HiSecEngine系列防火墙简介12.3.2 应用场景12.3.3 强大的内容安全防护12.4 iMaster NCE-Fabric网络控制器 12.4.1 简介12.4.2 架构12.4.3 功能特性12.5 SecoManager安全控制器 12.5.1 组件简介12.5.2 架构12.5.3 功能特性

缩略语内容提要

本书以云数据中心网络面临的业务挑战为切入点,详细介绍了云数据中心网络的架构设计和技术实现,并提供了部署建议。首先,本书介绍了数据中心网络的整体架构及技术演进,帮助读者了解数据中心网络的发展历程。随后,本书介绍了云数据中心网络的设计与实现,内容包含单数据中心的业务模型、数据中心物理网络和逻辑网络的构建,多数据中心网络的构建以及数据中心的安全方案。在这部分内容之后,本书还提供了基于实际案例的云数据中心部署的实践,以帮助读者更深入地理解如何构建云数据中心网络。最后,本书对数据中心网络的开放性和当前的一些热点前瞻技术进行了讲解和展望。

本书可以为构建安全、可靠、高效、开放的云数据中心网络提供参考和帮助,适合企业和科研院所信息化部门及数据中心的技术人员阅读,也适合高等院校计算机网络相关专业的师生参考。《国之重器出版工程》编辑委员会编辑委员会主任:苗圩编辑委员会副主任:刘利华 辛国斌编辑委员会委员:冯长辉 梁志峰 高东升 姜子琨 许科敏 陈因 郑立新 马向晖 高云虎 金鑫 李巍 高延敏 何琼 刁石京 谢少锋 闻库 韩夏 赵志国 谢远生 赵永红 韩占武 刘多 尹丽波 赵波 卢山 徐惠彬 赵长禄 周玉 姚郁 张炜 聂宏 付梦印 季仲华专家委员会委员(按姓氏笔画排列):

于 全 中国工程院院士

王 越 中国科学院院士、中国工程院院士

王少萍 “长江学者奖励计划”特聘教授

王建民 清华大学软件学院院长

王哲荣 中国工程院院士

尤肖虎 “长江学者奖励计划”特聘教授

邓宗全 中国工程院院士

甘晓华 中国工程院院士

叶培建 中国科学院院士

朱英富 中国工程院院士

朵英贤 中国工程院院士

邬贺铨 中国工程院院士

刘大晌 中国工程院院士

刘怡昕 中国工程院院士

刘韵洁 中国工程院院士

孙逢春 中国工程院院士

苏彦庆 “长江学者奖励计划”特聘教授

苏哲子 中国工程院院士

李伯虎 中国工程院院士

李应红 中国科学院院士

李新亚 国家制造强国建设战略咨询委员会委员、中国机械工业联合会副会长

杨德森 中国工程院院士

张宏科 北京交通大学下一代互联网互联设备国家工程实验室主任

陆建勋 中国工程院院士

陆燕荪 国家制造强国建设战略咨询委员会委员、原机械工业部副部长

陈一坚 中国工程院院士

陈懋章 中国工程院院士

金东寒 中国工程院院士

周立伟 中国工程院院士

郑纬民 中国计算机学会原理事长

郑建华 中国科学院院士

屈贤明 国家制造强国建设战略咨询委员会委员、工业和信息化部智能制造专家咨询委员会副主任

项昌乐 “长江学者奖励计划”特聘教授,中国科协书记处书记,北京理工大学党委副书记、副校长

柳百成 中国工程院院士

闻雪友 中国工程院院士

徐德民 中国工程院院士

唐长红 中国工程院院士

黄 维 中国科学院院士、西北工业大学常务副校长

黄卫东 “长江学者奖励计划”特聘教授

黄先祥 中国工程院院士

董景辰 工业和信息化部智能制造专家咨询委员会委员

焦宗夏 “长江学者奖励计划”特聘教授新一代信息技术·华为数据通信系列专家指导委员会主任

张尧学 中国工程院院士副主任

陈 钟 北京大学教授、博士生导师

马殿富 北京航空航天大学教授、博士生导师技术指导委员会主任

胡克文 华为数据通信产品线总裁副主任

钟开生 华为企业BG Marketing与解决方案销售部副总裁委员

刘少伟 华为数据通信研发管理部部长

赵志鹏 华为数据通信产品线园区网络领域总裁

顾雄飞 华为数据通信产品线广域网络领域总裁

王 雷 华为数据通信产品线数据中心网络领域总裁

邵明嵩 华为数据通信产品线交换机与企业网关产品部部长

解明震 华为数据通信数字化信息和内容体验部部长

王建兵 华为数据通信架构与设计部部长推荐语

该丛书由华为公司的一线工程师编写,从行业趋势、原理和实战案例等多角度介绍了与数据通信相关的网络架构和技术,同时对虚拟化、大数据、软件定义网络等新技术给予了充分关注。该丛书可以作为网络与数据通信领域教学及科研的参考书。——中国工程院院士,东南大学未来网络研究中心主任 李幼平

当前,国家大力加强网络强国建设,数据通信就是这个建设的基石。这套丛书的问世对进一步构建完善的网络技术生态体系具有重要意义。——中国信息通信研究院云计算与大数据研究所所长 何宝宏

该丛书以网络工程师的视角,呈现了各类数据通信网络设计部署的难点和未来面临的业务挑战,实践与理论相结合,包括丰富的第一手行业数据和实践经验,适用于网络工程部署、高校教学和科研等多个领域,在产学研用结合方面有着独特优势,填补了业界空白。——东北大学教授、研究生院常务副院长,国家杰出青年科学基金获得者 王兴伟

该丛书对华为公司近年来在数据通信领域的丰富经验进行了总结,内容实用,可以作为数据通信领域图书的重要补充,也可以作为信息通信领域,尤其是计算机通信网络、无线通信网络等领域的教学参考。这套丛书既有扎实的技术性,又有很强的实践性,它的出版有助于加快推动产学研用一体化发展,有助于培养信息通信技术方面的人才。——清华大学教授、计算机系副主任,国家杰出青年科学基金获得者 徐恪

该丛书汇聚了作者团队多年的从业经验,以及对技术趋势、行业发展的深刻理解。无论是作为企业建设网络的参考,还是用于自身学习,这都是一套不可多得的好书。——北京理工大学教授,电动车辆国家工程实验室主任 王震坡

这是传统网络工程师在云时代的教科书,了解数据通信网络的现在和未来也是网络人的一堂必修课。如果不了解这些内容,迎接我们的可能就只有被淘汰或者转行,感谢华为为这个行业所做的知识整理工作!——平安科技平安云网络产品部总监 丘子隽

该丛书将园区办公网络、数据中心网络和广域互联网的网络架构与技术讲解得十分透彻,内容通俗易懂,对金融行业的IT主管和工作人员来说,是一套极佳的学习和实践指导图书。——兴业银行信息科技部数据中心主任 郑倚志推荐序

以云计算、大数据、区块链和人工智能为代表的金融科技正深刻改变着金融行业的面貌。尤其是2016年8月金融科技被纳入国务院《“十三五”国家科技创新规划》以来,发展金融科技、实施数字化转型成为几乎所有金融机构共同的战略选择。金融行业数字化转型的主要目标是提升信息的处理与运用能力,促进业务创新与流程再造,以实现科技金融、智慧金融和普惠金融。在这一轮波澜壮阔的技术变革浪潮中,数据中心承载着金融企业数字业务的处理,不可避免地站在了潮头。传统金融数据中心的特点是业务量大、可靠性高、安全合规,而如何在保持和强化这些优势的同时,打造一个架构更灵活、资源利用更有效、管控更全面及时、业务响应更敏捷的金融云数据中心,以支撑企业未来持续的业务创新与快速的产品迭代,是摆在金融企业科技工作者尤其是数据中心建设者面前的现实问题。

中国银联自2015年起,在自主研发的云平台下开展了基于SDN(Software Defined Network,软件定义网络)技术的下一代云数据中心智能网络解决方案的研究与实践,并在此过程中与华为公司建立了良好的合作关系。双方从联合开展SDN相关原型样机研制起步,逐步合作,实现了具备云网络资源弹性调度、异构计算资源统一开放接入以及多中心网络敏捷互联能力的金融数据中心云网络服务架构,经受住了云闪付“62”营销、“双11”全网营销等超高峰值业务流量的考验。2019年9月,为进一步深化技术创新合作,双方成立了“银联华为金融网络科技实验室”,立足金融行业技术发展的共性需求,全力打造聚合金融行业新技术解决方案研究、新技术应用实践评测、行业趋势研究、行业智库交流四大功能的,具有全球影响力的先进金融网络科技研究中心。回顾双方多年的合作历程,华为的领导和技术专家在云计算及数据中心网络技术方面超前的战略眼光、丰富的实践经验和深厚的技术底蕴给我留下了深刻印象,他们对技术的执着和面对困难永不低头的精神也让我深感敬佩。

本书浓缩了华为在云数据中心网络这一领域多年耕耘的宝贵经验和成功实践的精华,是业界难得一见的深入阐述云数据中心的网络架构、关键技术、规划部署建议和热点技术的图书,可以帮助从业者全面了解云数据中心网络的业务模型、物理网络和逻辑网络,以及华为CloudFabric智简数据中心网络的主要部署过程。更为可贵的是,本书结合华为创新的实践经验,就云数据中心网络的总体架构进行了详细剖析,指明了演进方向,并给出了目标架构与设计原则的参考建议。可以说,无论是出于学习的目的还是工程实施参考的目的,本书都可以被纳入广大云计算技术与数据中心网络技术人员和爱好者的必读书单。“雄关漫道真如铁,而今迈步从头越。”这是一个新时代,一个奋斗、创新、超越的时代。中国银联积极应对支付产业的变革,正在加快推进向科技公司、数据公司转型的企业战略,而十几万华为人也正以临渊不惧的坚定意志、顽强卓绝的奋斗精神持续开拓新未来,为客户创造新价值,为业界树立新标杆。我相信,在全社会科技工作者的共同努力下,一个万物互联的智能世界终将到来!中国银联助理总裁 戚跃民2019年11月23日于上海前言

本书从云计算的业务特征入手,介绍了云计算对数据中心的影响,进而介绍了数据中心的总体架构和技术方案的演进,以及匹配云计算业务的数据中心物理网络、逻辑网络、多数据中心、安全等方面的设计方案。然后,基于云数据中心部署的实践经验,介绍了部署前的推荐规划以及实施中的关键步骤,最后介绍了数据中心网络的热点技术和华为云数据中心网络的构建方案。

对于网络工程师等ICT(Information and Communication Technology,信息通信技术)从业人员,本书是学习SDN数据中心网络规划设计和工程部署的好向导;对于网络技术爱好者及在校学生,本书也是学习和了解云数据中心网络架构和常用技术、前沿技术的参考书。

本书内容

本书正文共有12章,分别介绍如下。

第1章 认识云数据中心网络

本章介绍云计算的基本特征、虚拟化技术的发展与演进,以及云数据中心网络的一些基础知识,帮助读者快速地对云数据中心网络有一个初步的了解。本章还介绍SDN技术网络发展路线的特点、编排与控制的关系,并且站在业务视角讲述企业在选择不同的方案时的关注点。

第2章 云数据中心网络面临的挑战

本章介绍在云计算时代数据中心网络面临的五大挑战,分别是大数据需要大管道、网络需要池化与自动化、安全需要服务化部署、网络需提供可靠基石和数据中心运维需要智能化。

第3章 数据中心网络的总体架构与技术演进

本章介绍数据中心物理网络的一般架构和主要网络技术的演进,并以金融企业和运营商企业为例介绍典型数据中心网络的架构和演进过程。

第4章 云数据中心网络的功能组件与业务模型

本章介绍含有云平台的场景中,由云平台提供的网络业务的编排模型和业务流程,以及没有云平台的网络自主编排场景中,由SDN控制器提供的网络业务的编排模型和业务流程。

第5章 构建数据中心的物理网络(Underlay网络)

本章介绍物理网络的典型架构、设计原则,以及常见网络技术的对比和选择。

第6章 构建数据中心的逻辑网络(Overlay网络)

本章介绍逻辑网络的基本概念,然后介绍主流的VXLAN技术的基本原理,以及如何使用VXLAN技术来构建逻辑网络。

第7章 构建多数据中心网络

由于业务规模的扩大及业务可靠性、连续性的要求,需要部署多数据中心来满足业务诉求。本章针对多数据中心网络,给出业务需求分析以及推荐的网络架构设计。

第8章 构建云数据中心端到端安全

本章介绍云数据中心面临的安全挑战、安全层面的总体技术方案,并从虚拟化安全、网络安全、高级威胁检测防御、边界安全、安全管理等方面介绍具体的安全技术和实现方案。

第9章 云数据中心部署的成熟实践

本章基于云数据中心部署的实践经验,给出典型云数据中心的业务网络、管理网络的规划方式推荐,并介绍在部署实施过程中的关键配置过程,给出操作举例,最后介绍基于SDN控制器发放常见业务的过程。

第10章 数据中心网络的开放性

本章介绍数据中心网络应具备开放性的必要性,并从SDN控制器的开放性和转发器的开放性两个层面介绍开放性带来的能力和价值。

第11章 热点技术一瞥

本章介绍现阶段在数据中心网络中一些备受业界关注的新技术和发展趋势,包括容器网络、混合云及AI Fabric的基本概念和主流方案。

第12章 云数据中心网络解决方案的组件

本章介绍构建云数据中心网络时可使用到的一些组件的定位、特点和功能架构,包括CloudEngine数据中心交换机、CloudEngine虚拟交换机、HiSecEngine系列防火墙、iMaster NCE-Fabric网络控制器和SecoManager安全控制器。

致谢

本书由华为技术有限公司“数据通信数字化信息和内容体验部”及“数据通信架构与设计部”联合编写。在写作过程中,华为数据通信产品线的领导给予了很多的指导、支持和鼓励,在此诚挚感谢相关领导的扶持!

以下是参与本书编写和技术审校的人员名单。

主  编:张磊、陈乐。

编写人员:张磊、陈乐、张帆、陈山、朱小蕾、蒋忠平、吴学锋。

技术审校:郭俊、王建兵、张磊、陈乐、张帆。

参与本书编写和审稿的人员虽然有多年的ICT从业经验,但因时间仓促,文中错漏之处在所难免,望读者不吝赐教,在此表示衷心的感谢。本书常用图标第1章 认识云数据中心网络数据中心是一种基于云计算架构的新型数据中心,其计算、存储及网络资源松耦合,各种IT设备完全云虚拟化,模块化程度、自动化程度、绿色节能程度均较高。云数据中心网络的特点,首先是高度的虚拟化,包括服务器、存储、应用等虚拟化,用户可以按需调用各种资源;其次是自动化管理程度较高,包括对物理服务器、虚拟服务器的自动化管理,对相关业务的自动化流程管理,以及对客户服务的收费等自动化管理。本章将从云计算和虚拟化入手,介绍云数据中心网络为应对虚拟化带来的种种挑战而引入的SDN技术。1.1 什么是云计算

在历史发展的滚滚长河中,人类追求先进生产力的脚步从不曾停歇。每一次工业革命的出现都代表了一次生产力的发展,从最初的手工走向机械化,进而迈向电气化,乃至当前的自动化和智能化,每一次变革都驱动人类社会迈向新的发展纪元。

自20世纪80年代起,随着全球科技、文化和经济的发展,人类社会逐渐开始从工业社会向信息化社会过渡;到20世纪90年代中期,经济全球化趋势推动信息技术高速发展,以因特网为代表的信息技术开始大规模应用于商业领域。在全球经济持续增长的同时,企业信息化过程中暴露出来的问题亦逐渐凸现。复杂的管理模式、失控的运营成本、困难的扩展支撑使企业对新型信息技术翘首企足,这些痛点推动了云计算的诞生。

NIST(National Institute of Standards and Technology,美国国家标准技术研究院)定义了云计算的五大特征。● On-demand self-service(按需自助):用户自助服务,无须服务商干预。● Broad network access(泛在接入):用户通过各种终端都可以访问网络。● Resource pooling(资源池化):物理资源被多用户共享,应用呈现地域无关性。● Rapid elasticity(资源快速扩缩):快速申请和释放资源。● Measured service(可度量的服务):具有自动化的资源度量、监控、优化机制。“按需自助”及“泛在接入”表达了企业在现有生产力水平下对更高水平生产力的渴望,即对业务自动化的强烈诉求。而“资源池化”与“资源快速扩缩”可被归纳为“弹性的资源池”。“可度量的服务”强调在自动化与虚拟化的背景下,运营支撑工具同样面临巨大的挑战,需要更为智能化、精细化的工具来降低企业的OPEX(Operating Expense,运营成本)。

至此,云计算不再仅是IT领域的专业术语,它代表了一种新的生产力,创造了新的业务模式,带动产业转型,重塑产业链,并开始驱动各行业的业务模式创新,给传统经营方式带来了颠覆性变化,给客户体验带来了革命性变革。抓住机遇者将可能在行业中获得更大的增长空间。1.2 云计算催生的虚拟化技术

虚拟化(Virtualization)是一个广义的术语。根据牛津英语词典的解释,在计算领域范畴内,虚拟是指“物理上并不存在,而通过软件实现并呈现出来的做法”。可以理解为,一个虚拟元素是某个元素的一种特定的抽象。通过虚拟化,人们可以对包括基础设施、系统和软件等计算机资源的表示、访问和管理进行简化,并为这些资源提供标准化接口来接收输入和提供输出。虚拟化技术可减少业务软件对现实环境的依赖,使企业更容易简化操作流程、提高资源利用率、降低成本,以及获得更稳定和更高的可用性。

在过去的数十年中,计算、网络、存储三大领域的虚拟化技术蓬勃发展而又互相依存。其中,计算虚拟化技术的发展无疑是核心中的核心,而网络及存储虚拟化技术的发展则都是为了适应计算虚拟化发展带来的变化与挑战。计算虚拟化可理解为通过使用VMM(Virtual Machine Manager,虚拟机管理器),在一台物理机上虚拟出来并运行一个或多个虚拟系统,从而提高计算机硬件资源的利用率,提升IT支撑效率。

VMM是物理服务器和用户操作系统之间的软件层,通过抽象及转换实现多个用户操作系统及应用共享一套基础物理硬件。因此,VMM可以看作虚拟环境中的“元”操作系统,它可以根据虚拟机的配置分配适量的逻辑资源(内存、CPU、网络、磁盘等),加载虚拟机的客户操作系统,并协调访问虚拟机和服务器上的所有物理设备,如图1-1所示。图1-1 虚拟化

VMM主要有以下两种形式。● Hypervisor VM:直接运行在物理硬件上,聚焦虚拟I/O性能优化,主要用于服务器类的应用。● Hosted VM:运行在物理机的操作系统上,上层功能相对更为丰富,比如支持三维加速等特性,其安装和使用也非常方便,常用于桌面应用。

计算虚拟化技术不止一种,且使用不同的方法、不同层次的抽象,常常可以实现同样的结果。常用的虚拟化技术有以下几类。

1. 全虚拟化

全虚拟化也称为原始虚拟化技术,如图1-2所示,该模型使用一个虚拟机作为Hypervisor,统一协调客户操作系统(Guest OS)与原始硬件(Hardware)。Hypervisor会捕捉和处理那些对虚拟化敏感的特权指令,使客户操作系统无须修改就能运行。由于所有特权指令都要经过Hypervisor统一处理,所以虚拟机的性能会低于物理机,也可能会因实现的方式不同而存在差异,但大致能满足用户的需求。随着硬件的辅助虚拟化技术的引入,全虚拟化技术的性能瓶颈逐渐得以突破。代表产品有:IBM CP/C MS、Oracle VirtualBox、KVM、VMware Workstation和ESX。图1-2 全虚拟化

2. 半虚拟化

半虚拟化也称为超虚拟化技术,如图1-3所示,它与全虚拟化有一些相似,也利用Hypervisor来实现对底层硬件的共享访问。二者的区别在于半虚拟化技术将与虚拟化有关的代码集成到客户操作系统当中,使得客户操作系统能够很好地配合Hypervisor实现虚拟化。通过这种方法,Hypervisor将不再需要重新编译或捕获特权指令,其性能非常接近物理机。最经典的产品就是Xen,因为微软的Hyper-V所采用的技术和Xen类似,所以也可将Hyper-V归为半虚拟化。半虚拟化的缺点在于需要对客户操作系统进行修改,所以其支持的客户操作系统受限,其用户体验相对较差。图1-3 半虚拟化

3. 硬件仿真

毫无疑问,最复杂的虚拟化技术就是硬件仿真。如图1-4所示,这种方法是在物理机的操作系统上创建一个模拟硬件的程序(Hardware VM)来仿真所需要的硬件,并在此程序上运行虚拟机。在不借助硬件辅助虚拟化技术的前提下,使用硬件仿真时,每条指令都必须在底层硬件上进行仿真,这会导致速度非常慢,有时速度不及物理情况下的1/100。但硬件仿真可以实现在一个ARM处理器主机上运行为PowerPC设计的操作系统,且不需要进行任何修改。硬件仿真典型产品有Bochs和Qemu。图1-4 硬件仿真

4. 操作系统级虚拟化

操作系统级虚拟化所使用的技术与上述3种虚拟化技术有所不同。如图1-5所示,这种技术通过对服务器操作系统进行简单的隔离来实现虚拟化。它可实现更小的系统开销、抢占式的计算资源调度,以及更快速的弹性扩缩能力。但在资源的隔离及安全性上还存在一些不足。目前越来越流行的容器技术就属于这种虚拟化技术。图1-5 操作系统级虚拟化

5. 硬件辅助虚拟化

Intel/AMD等硬件厂商通过对部分全虚拟化和半虚拟化使用到的软件技术进行硬件化处理来提高性能。硬件辅助虚拟化技术常用于优化全虚拟化和半虚拟化产品,而不是独创一派。最出名的例子莫过于VMware Workstation,它虽然属于全虚拟化,但是在其6.0版本中引入了硬件辅助虚拟化技术,比如Intel的VT-x和AMD的AMD-V。现在市面上主流的全虚拟化和半虚拟化产品都支持硬件辅助虚拟化,包括VirtualBox、KVM、VMware ESX和Xen。

上述几种计算虚拟化技术特点鲜明,且各有优缺点,随着上层应用诉求的变化,在硬件辅助虚拟化技术的催化下,各领风骚若干年。从2001年VMware发布ESX,扰动了沉寂多年的虚拟化市场,到2003年Xen 1.0开源版本问世,再到2007年KVM合入Linux 2.6.20主线版本,2008年底微软与Citrix合作推出Hyper-V,以及Kubernets等容器技术的加速成熟……时至今日,虚拟化技术才刚刚处于青春期阶段,还在大踏步地发展。在商业模式上,开源与闭源之争也一刻不曾停歇。

各虚拟化技术的优劣比较如表1-1所示。表1-1 各虚拟化技术的优劣比较

除了计算虚拟化,数据中心网络的虚拟化技术也随着计算及存储的变化而快速演进。从多虚一(横向/纵向虚拟化)技术及一虚多(Virtual Switch)技术,到通过Overlay技术实现虚拟大二层网络,以便构建大规模计算资源池及响应VM迁移的诉求,再到通过SDN技术,计算与网络资源联动,实现网络自身功能的抽象、自动化及可度量化,以及意图驱动的网络,数据中心网络正向自动驾驶网络的方向不断发展。相关内容将在本书后续章节详细介绍。1.3 当SDN邂逅云计算

在云数据中心之上,虚拟化的资源被进一步抽象成服务对外呈现出来,供人们灵活地使用。通常我们将云计算服务层次划分为IaaS(Infrastructure as a Service,基础设施即服务)、PaaS(Platform as a Service,平台即服务)和SaaS(Software as a Service,软件即服务),分别对应硬件资源、软件平台资源和应用资源。

云服务的层次不同,对质量属性的要求也有所不同。IaaS层服务致力于提供高质量硬件服务。SaaS、PaaS层服务则更强调软件的灵活性以及整体的可用性,且根据分层解耦及互不信任原则,对单体的可靠性要求有所降低,一般为99.9%(即全年中断不超过8.8 h)。举个简单的例子:人们可能每年都会遇到一两次邮件系统或即时通信软件甚至操作系统故障,却很少遇到真正的硬件系统及驱动软件故障。

从软件技术层面来看,为满足对质量属性的不同要求,云服务的软件架构及技术选择也有所不同。传统软件可划分为IT软件和嵌入式软件两大类。IT软件更注重弹性扩展、快速上线能力,在要求可靠性的场景及故障场景中多采用整体回退、重启等手段,适用于SaaS/PaaS层。而嵌入式软件则更注重对软硬件状态的控制,以得到更高的可靠性,更广泛地适用于IaaS层。

随着IaaS层系统的自动化能力、弹性能力不断增强,以及分布式、服务化、Cloud Native、Service Less等软件技术的飞速发展,SaaS/PaaS层软件正在被颠覆,IT软件正向互联网软件加速转化。依托无状态服务、分布式计算等技术手段以及DevOPS敏捷开发模式,SaaS/PaaS层软件提供业务自助服务、实时在线、快速上线能力。这种转化快速推进了新型互联网商业模式向前发展。

与此同时,人们也开始重新审视IaaS层系统中是否所有场景都对系统的实时性有严格要求,是否都需要对状态进行细化控制。这种思考同样影响着SDN技术的发展,其网络发展路线开始分化为以控制为主和以编排为主两大路线。(1)以控制为主的路线是强调在现有阶段,上层业务还无法做到百分之百无状态,网络仍需要感知计算的迁移状态。同时,为满足故障场景网络的快速倒换,且对上层业务无感知等需求,网络的路由协议等信息仍需要一个统一的管理平台进行细粒度的状态管理。在企业上云的过程中,受各企业软件能力、组织架构等条件的影响,以控制为主的路线中又细分出如下3个方案。● 开源OpenStack云平台+商业网络控制器组合的云网一体化方案,这种方案采用开源的OpenStack云平台+商业网络控制器的组合,通过云平台对网络资源、计算资源和存储资源进行统一管理,实现资源池化。针对网络,云平台通过RESTful接口将网络控制指令下发给网络控制器,网络控制器根据云平台的指令进行网络部署。● VMware、Azure等商业云平台端到端云网融合方案。该方案同样是云平台+网络控制器的组合。相比开源云平台,商业云平台的可用性和可维护性的优势非常明显,所以当前绝大多数企业会采用该方案,只有技术能力极强的企业会采用开源云平台。● 计算虚拟化+网络控制器组合的虚拟化方案。该方案为虚拟化平台(如vCenter和System Center)+网络控制器的组合,未采用云平台对计算和网络资源进行统一管理。采用该方案,虚拟化平台将计算业务下发后,会通知网络控制器,由网络控制器下发对应的网络业务。(2)以编排为主的路线是从未来的上层业务软件架构出发,认为当SaaS/PaaS层软件做到无状态后,IaaS层软件也将进一步简化。IaaS层软件无须再对状态进行管控。与上层系统类似,IaaS层也只需通过工具软件进行编排。

两条路线、四大方案的选择受企业组织架构、现有软件架构、技术及资源投入、云化节奏等众多因素的影响。它们虽各有优劣,但条条大路通罗马,四大方案均可支撑企业业务云化长期演进。下面介绍一下各方案的特点及当前多数企业的选择依据。(1)云网一体化方案(OpenStack+网络控制器)

该方案的主要优点如下。● 主流云平台为开源云平台,开源社区活跃,持续快速更新,可快速构建企业云化能力。● 可根据企业业务实际情况定制开发,开发内容具有自主知识产权。● OpenStack生态良好,模型、接口标准化程度高,分层解耦,便于多厂商互联互通。

该方案的主要不足如下。● 开源软件商业化的过程需要企业对软件进行加固及定制开发。企业需具备一定的技术储备,并在软件开发上持续投入。● 从单数据中心向多数据中心、混合云演进的过程中,当前开源社区还没有成熟的多云编排器,需要企业自己构建。

选择该方案的企业一般有较强的软件开发与集成能力,关注差异化能力及自主知识产权,且对标准化、多厂商互联互通有强烈的诉求。目前此方案多用于运营商电信云、大型金融机构以及互联网企业的数据中心。(2)商业云平台端到端云网融合方案(Huawei FusionCloud/VMware vCloud/Microsoft AzureStack)

该方案的主要优点是:从单数据中心到多数据中心、混合云方案、SaaS/PaaS/IaaS端到端交付,均可全面支持,可以快速构建企业云化能力。

该方案的不足是:存在严重厂商锁定,开放性不足。

选择该方案的企业对云化诉求非常迫切,希望在短时间内快速构建云服务,以支持新的商业模式落地,快速占领市场,同时自身软件技术储备又略有欠缺。目前此方案多用于我国中小型企业或欧美企业的数据中心。(3)虚拟化方案(计算虚拟化 + 网络控制器)

该方案的主要优点如下。● 虚拟化方案中,计算和网络资源相互独立,企业组织结构(IT团队与网络团队)短期内不需要整合。● 在当前云平台、PaaS/SaaS平台众多,且产业尚未成熟的背景下,通过计算虚拟化与网络控制器间的联动,快速构建IaaS平台,实现自动化,满足业务需要,相对风险和门槛较低。● IaaS层开放架构,分层解耦,为后续云平台、PaaS/SaaS平台的灵活选择提供保障。● 基于成熟商业化软件构建,可靠性高且无须定制开发。

该方案的依赖或不足是:IaaS/PaaS/SaaS软件存在多次选型,企业云化节奏较慢。

选择该方案的企业一般组织结构较为复杂,业务应用相对固定,不希望厂商锁定,且对方案的稳定性及可靠性格外关注。目前此方案多用于交通、能源等行业的大中型企业的数据中心。

此外,随着容器技术的发展,计算、存储资源对网络的依赖程度逐步降低。该方案中,网络控制器可演变为编排器,整体方案向工具编排方案演进。(4)工具编排方案

该方案的主要优点如下。● 基于应用视角自定义业务编排能力,贴合企业实际业务。● 基于脚本或图形化编排工具,开发简单,快速上线。

该方案存在如下依赖或不足。● IaaS/PaaS/SaaS层软件均需遵守无状态原则,业务可靠性呈现地域无关性,不依赖于IaaS层(VM迁移)保障。● 业务场景相对简单,业务间相互独立,避免相互影响(冲突、覆盖)。

选择该方案的企业一般对传统业务软件的依赖程度不高或改造成本不高,业务场景清晰,对业务变化的响应速度要求较高,且可通过严格的数据中心建设规范保证业务间独立。目前此方案多用于我国互联网企业或欧美企业的数据中心。

与此同时,不同类型的企业在选择不同的方案后,对网络能力的关注点也略有不同,如表1-2所示。表1-2 企业选择不同云化方案的关注点

总之,在云化演进架构方案的选择上,企业应从自身实际情况与业务诉求出发,选择适合自己的云化转型之路。1.4 数据中心网络展望

1. 意图驱动的网络

SDN/NFV网络技术目前已发展多年,图1-6所示的Gartner技术成熟度模型显示,SDN/NFV技术已跨越裂谷,规模商用时代已经来临。图1-6 Gartner技术成熟度模型

面向未来,随着自动化、大数据、云化技术的不断发展,AN(Autonomous Network,自治网络)将逐步从理想靠近现实,再次驱动产业的快速发展与升级,而从SDN到自治网络还有较为漫长的路要走。SDN技术通过自动化激活了物理网络,但与企业的商业意图以及用户的真实体验还存在很明显的鸿沟。举个例子,企业的商业意图是在某年11月10日快速扩容100台服务器以应对“双11”业务的激增,转化为网络语言则是undo shutdown端口、使能lldp配置、检查拓扑是否正确、开通服务器管理网络等一系列操作。商业意图到网络语言之间还存在很大的转化成本。

这时就需要在物理网络之上构筑一个数字世界。它不仅仅是将一个物理网元数字化,而且是实现商业意图与网络语言的快速映射,并将用户在网络中的体验、应用数字化。这个数字世界以自动化、大数据和云化技术为依托,从原来以数据盒子为中心转向以用户为中心,在客户商业意图和物理网络之间搭建起一座桥梁。能够基于数字化的世界快速提供服务,改善用户的体验,以及进行预防性的维护,这就是意图驱动的网络。

2. AI Fabric

随着互联网技术的发展,数据中心的上层业务正从关注业务发放效率、快速提供服务向从数据中获得智慧、实现商业价值变现等方向转变。AI应用的3个核心要素是:算法、算力和数据。其中,数据是AI应用的核心,所有的AI应用都是围绕数据,通过AI算法进行深度挖掘,提取业务价值。这对数据中心的IaaS平台提出了更高的要求。

首先,AI应用需要IaaS层提供一个高性能的分布式存储服务来承载海量的数据。其次,AI算法还需要IaaS层提供一个高性能的分布式计算服务来进行海量的数据计算。据推算,到2025年,全球产生并存储的数据量将达到180 ZB。这个数据量将远超人类处理能力,其中95%的数据将依赖AI处理。业务的诉求驱动着SSD(Solid State Disk,固态盘)和AI芯片高速向前发展,分布式节点间的通信业务激增使得网络瓶颈愈发凸显。● 当前存储介质(SSD)的访问性能相比传统分布式存储[HDD(Hard Disk Drive,硬盘驱动器)]已提升了100倍。通过访问时延占比分析可以发现,网络的时延占比已从原来的小于5%变化到65%左右。而在网络时延中有两点影响最为突出:网络丢包引起的时延(约500μs)、网络拥塞引起的排队时延(约50μs)。如何避免丢包及拥塞等待成为提升IOPS(Input/Output Operations Per Second,每秒读写次数)的核心。● AI芯片的计算速度相比传统CPU提升了100~1000倍。同时,AI应用的计算量也呈几何倍数增长。以一个大型语音识别应用分布式训练场景为例,当前的训练计算任务量非常惊人,约为20 exaFLOPS。这意味着需要消耗40个CPU服务器,计算超过3亿个参数(单个参数4 Byte)。而每次迭代计算中,CPU的等待时延(约400 ms)已经超过了CPU的计算时延(约370 ms)。若一次训练以百万次迭代计算量为例,则训练时长需要1个月。减少通信等待时长、缩短AI训练的完成时间已成为AI分布式训练的核心。

为了满足AI应用的诉求,网络从协议到硬件都进行了极大的改进。在协议方面,RDMA(Remote Direct Memory Access,远程直接存储器访问)及RoCE(RDMA over Converged Ethernet,基于融合以太网的RDMA)技术的发展缓解了TCP慢启动、吞吐差、多次拷贝、时延高,以及对CPU过度消耗的问题。在硬件方面,以太网设备在构筑无损以太网络方面也取得了重大突破。● 通过虚拟多队列技术实现精准定位拥塞流反压,避免由于反压精度不够,正常流量因反压受损。● 拥塞及反压水线通过动态计算,实时调整,保证在不丢包的情况下实现网络最高吞吐量。● 设备与网卡主动协同,实现流量主动最大配额调度,彻底避免拥塞发生。

由此可见,为适应AI所应用的新一代无损以太网在转发性能、吞吐量、时延等方面已与IB(InfiniBand,无限带宽)网络持平甚至超越了它。而从数据中心的整体运营及维护角度出发,利用以太网可构建统一融合网络(存储网络、AI计算网络、业务网络融合),显然更具成本优势。

AI Fabric即基于无损网络技术的极速以太网解决方案,为AI场景、高性能计算场景及大规模分布式计算场景提供了网络支持。AI Fabric解决方案依靠两级AI智能芯片和独特的智能拥塞调度算法,实现了RDMA业务流的零丢包、高吞吐和超低时延,提升了AI时代的计算和存储效率,最终获得了专网的性能、以太网的价格,整体投资回报率达到45倍。关于AI Fabric的内容将在本书第11章详细说明。第2章 云数据中心网络面临的挑战计算是一种按需分配、按使用量收费的使用模式,提供了一个可配置的资源共享池,用户可以通过网云络访问这个共享池,并获取存储空间、网络带宽、服务器、应用软件等服务。云计算通过对计算、网络和存储资源的资源池化,带来了更大的业务量、更高的带宽和更低的时延。在云计算时代,随着云数据中心规模化商用以及新技术的迅猛发展,传统的数据中心网络正面临着五大挑战。

1. 挑战一:大数据需要大管道

随着互联网技术的不断发展,应用软件的数量呈现爆发式增长,数据中心的业务量激增。在短短一分钟内全球会有超过160万条Google(谷歌)搜索请求、2.6亿封E-mail被发出、4.7万个App被下载、22万张照片被上传到Facebook(脸书)、6.6亿个数据报文在传送。而这种爆发式的增长仍在持续。据统计,全球数据中心IP流量每年增长5倍,预计2020年全球数据中心服务器总量相比2015年将增长10倍,这些都给数据中心网络带来了极大的挑战。大数据需要大管道。

与此同时,随着大量应用迁入数据中心,数据中心流量模型也在发生变化。如图2-1所示,2015年的数据显示,DC内东西向流量(内部服务器之间的流量)已占总流量的90%以上。传统数据中心的树状网络架构已难以满足业务诉求,需要构建新的分布式网络架构,将三层网关下沉至边缘节点,以求最大限度地优化流量路径,满足业务对带宽及时延的要求。图2-1 数据中心流量示意图

2. 挑战二:业务快速上线,网络需要池化与自动化

传统数据中心网络割裂,如图2-2所示。无法满足云数据中心构建大规模资源池的诉求:网络呈现“烟囱式”,计算资源被限定在模块内部,无法统一调度,导致冷热不均。同时,网络间采用分布式路由决策,路由难以优化,网络利用率低。图2-2 传统数据中心网络割裂

传统数据中心的自动化程度较低,无法满足业务快速弹性上线的诉求;应用部署按月粒度开通,无法支撑新业务的发展;应用扩容困难,Scaling Out费时费力(同安装部署一样烦琐);Scaling Up业务中断时间长(装机、迁存储、停业务切换),无法响应业务突发的诉求。

多数据中心资源割裂,管理复杂,无法实现多数据中心资源统一管理。业务跨数据中心部署,多数据中心间业务互访关系、策略管理复杂,数据中心间链路带宽分配不均,整体利用率低,成本高。

3. 挑战三:威胁挑战全面升级,安全需要服务化部署

数据中心安全服务化层级低,OPEX高。根据银行业调查,首先,一半以上的运维及变更操作与安全业务相关,当前存在如下问题。● 安全服务种类有限:开源OpenStack能力弱,仅包含FW(Firewall,防火墙)基础服务,无其他安全服务能力。● 安全服务需网络联动:仅完成FW的配置下发,无法一站式打通网络链路,需要网络设备配合。● 手工配置复杂:安全设备的部署和配置都要手工执行,同时还要配置网络设备,工作复杂。● 设备部署分散:各个风险点均需部署安全设备,难以管理。● 管理入口分散:一次安全防护要登录多个安全设备,分别配置不同的策略,配置流程烦琐。● 大量安全能力冗余:为应对突发流量,每个安全设备均保持过多的冗余能力,资源浪费严重。

其次,威胁不断升级,人工分析效率低,调查处置难,具体如下。● 人工分析效率低:大量安全设备的日志分散存储,靠专业人员分析各种威胁日志,效率低且没效果。● 调查处置难:一旦出现新型攻击,安全设备既无法感知也无法溯源和事后分析。● 安全孤岛:各类型安全设备各自为营,形成一座座安全孤岛,防御效果1+1<2。

最后,安全威胁可视化分析差,无法指导安全运维,具体如下。● 威胁日志看不完:大量安全设备的日志格式不统一,仅靠人工无法看完所有日志。● 关联分析效果差:关联分析软件效果不佳,可分析的威胁较少,分析结果可信任度低。● 展示效果不理想:虽然威胁展示的效果炫,但不直观,无法基于展示来解决安全问题。

4. 挑战四:业务连续性是重中之重,网络需提供可靠基石

针对银行、能源、交通等重点行业,各国在政策法规上都做出了明确要求。以我国为例,中国银行业监督管理委员会于2011年制定了《商业银行业务连续性监管指引》,明确了业务连续性中断事故的定级标准。

特别重大运营中断事件(Ⅰ级):在业务服务时段导致一个(含)以上省(自治区、直辖市)的多家金融机构业务无法正常开展达3个小时(含)以上的事件;在业务服务时段导致单家金融机构两个(含)以上省(自治区、直辖市)业务无法正常开展达3个小时(含)以上,或一个省(自治区、直辖市)业务无法正常开展达6个小时(含)以上的事件。此类事件需要银监会派出专项组对事件进行分析、评估和处置。事件及处置情况需要上报至国务院。

重大运营中断事件(Ⅱ级):在业务服务时段导致一个(含)以上省(自治区、直辖市)的多家金融机构业务无法正常开展达半个小时(含)以上的事件;在业务服务时段导致单家金融机构两个(含)以上省(自治区、直辖市)业务无法正常开展达3个小时(含)以上的事件。此类事件需要银监会派出专项组对事件进行分析、评估和处置。

较大运营中断事件(Ⅲ级):在业务服务时段导致一个省(自治区、直辖市)业务无法正常开展达半个小时(含)以上的事件。

同时,按照金融业务重要程度的不同,将业务分为A+类、A类、B类和C类业务,如图2-3所示。其中,A+类和A类业务需实现同城双活部署,实现RPO=0,数据中心切换时数据不会丢失。而实际上,如图2-4所示,业务中断会给企业及社会带来重大损失,其中,金融业务连续性的实际需求已远超监管要求。数据中心主备、双活容灾服务不可或缺。图2-3 金融业务分类图2-4 业务停机损失数据

如图2-5所示,根据Gartner的计划外宕机分析报告,某银行近期发生的影响业务的事件中,40%是人员失误,且大部分是因为应用与系统故障传播到了网络上,而网络没有做好防护。详细分析问题的根因可以发现,绝大部分故障与二层网络技术相关。数据中心网络应针对二层环路、未知单播泛洪、策略切换、容灾倒换等问题提供抑制或自愈能力。图2-5 Gartner计划外宕机事件分析报告的示例

5. 挑战五:应用动态随迁,流量激增,数据中心运维需要智能化

随着数据中心云化以及NFV(Network Function Virtualization,网络功能虚拟化)技术的发展,当前数据中心内网元管理对象相比传统数据中心网络增加了10倍。加之网络动态感知VM的动态迁移及应用的弹性扩缩,配置变化频繁,流量激增,传统的网络运维手段已无法适应数据中心网络的发展,运维痛点日益凸显。Linkedin 2010—2015年的数据显示,网络故障增加了18倍:人机接口变为机器与机器间的接口,网络不可视;网络、计算和存储边界模糊,定界困难;数据海量,网络故障难以快速定位和隔离。

同时,由于数据中心内应用策略及互访关系日益复杂,70%的故障用传统运维手段无法识别,如图2-6所示。这些故障主要分为以下3类。图2-6 异常流问题● 连接类问题:如VM异常下线、通信间歇中断等问题。● 性能类问题:如负载过高、网络拥塞等问题。● 策略类问题:如不合规访问、端口扫描等问题。

这些都促使数据中心网络引入新的智能分析引擎。依托大数据算法,通过对应用流量与网络状态进行关联分析,及时准确地预测、发现、隔离网络故障,形成网络采集、分析、控制三位一体的闭合系统。与此同时,网络设备也需变得更为智能:针对单一网元故障提供自愈能力;同时,依托Telemetry以及边缘智能技术,实现数据信息的高速采集与预处理,并主动上报分析引擎。

面对上述数据中心网络面临的五大挑战,华为推出了云数据中心的网络解决方案,力图打造基于意图驱动的极简、超宽、安全、可靠、智能的云数据中心网络。● 极简:采用SDN控制器,构建拖拽式定义逻辑网络模型;云网联动感知,分钟级业务上线。● 超宽:采用数据中心交换机,具有业界3倍的交换容量,以及运行了10年的稳定核心;接入Leaf支持10~25GE以太网接口标准平滑演进;采用SDN控制器,管理规模为业界平均水平的10倍,构筑弹性大规模网络,构建零丢包以太网,使用华为独创的拥塞调度算法,AI训练效率提升了40%。● 安全:按PAYG模式提供17类VAS(Value-Added Service,增值业务)服务;业务链实现VAS服务间灵活编排;微分段实现细粒度安全隔离。● 可靠:采用SDN控制器,设备支持故障自愈;网络主动防环;Underlay与Overlay协议、资源隔离防串扰;主备数据中心业务容灾倒换服务。● 智能:采用SDN控制器,应用←→逻辑←→物理网络三层互视,日常监测业务运行情况、消耗逻辑资源和物理资源情况;VM间真实路径探测,助力业务故障快速定位;智能运维系统,分钟级故障定位。

同时,面向企业EDC、运营商电信云,以及AI分布式计算/存储等场景,针对性地推出HA Fabric、Multi DC Fabric、AI Fabric 三大解决方案,助力企业快速云化。本书的后续章节会对数据中心网络的解决方案进行整体介绍,同时也会展示华为构建云数据中心网络的一些方案。

试读结束[说明:试读内容隐藏了图片]

下载完整电子书


相关推荐

最新文章


© 2020 txtepub下载