作者：殷一平 张四海 王振
出版社：人民邮电出版社
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
无线大数据：运营商转型启示试读：
前言
这是最好的时代，这是最坏的时代。——查尔斯·狄更斯，《双城记》（1859）
虽然稍显俗套，但我还是觉得用这句话来开篇很合适：对于大数据应用领域，这是最好的时代，产学研界都已经认识到大数据的威力和重要性，都在努力从这个大数据金矿中挖掘出更多价值；这是最坏的时代，各路人马出于各种目的似乎都想贴上大数据的标签，却并没有充分认识到大数据的局限之处，导致投入可观却常常收效甚微。
对于中国的移动通信行业，这同样是最好的时代。根据2017年中国移动、中国联通和中国电信的年报，在该年度中国三大运营商都[1]取得了可观的营收和丰厚的利润。其中，中国移动优势明显，营运[2]收入达7 405亿元、净利润为1 143亿元；中国电信营收3 662.3亿元，[3]净利润为186.2亿元；中国联通2016年营收2 490亿元，净利润为[4]23.8亿元。这三大运营商营运总额高达13 557.5亿元，净利润总计为1 353亿元，每日净利润超过1亿元。在2017年，三大运营商都十分重视对4G业务的推广，4G用户群体迅速壮大。目前，中国移动4G用户达到6.5亿户，中国电信4G用户达到1.82亿户，中国联通4G用户达到1.76亿户，三大运营商4G用户合计10.08亿。截至2017年底，中国移动移动电话客户达到8.87亿户，净增3 838.20万户，其中4G用户净增1.14亿户；4G网络建设上卓有成效，新增4G基站29万个，总量达到180万个，覆盖人口超过13亿，建成全球规模最大的4G网络。中国电信2017年移动电话客户净增3 496万户，达到2.5亿户，市场份额比2015年底提高了0.7个百分点，已达16.2%，4G用户数量迅速增长，2017年净增6 017万户，市场份额达到18.1%，中国电信已建成国内FDD 4G全覆盖网络，成为全球最大的FDD 4G运营商。截至2017年年底，中国联通移动电话客户达到2.84万户，净增2 034.1万户，4G用户净增7 033万户。
在主营业务方面，流量扛起大梁，逐渐成为运营商收入的主要来源。可以预见，未来流量经营将成为三大运营商的主营业务，不排除后续会出现针对“流量经营”的多种业务模式。据中国移动报告中显示，无线上网收入达到3 473.29亿元，较去年上升27%，占通信服务[2]收入比达到52%，超过通信服务收入的一半，成为第一大收入来源。中国电信这边手机上网收入达到908.65亿元，全年手机上网总流量同比增长33.1%，其中4G手机上网总流量同比增长180%，4G用户每月[5]户均流量达2.01GB，移动ARPU稳步提升。中国联通手机上网收入同比增长28.8%，达到921.4亿元，手机数据流量达到77 860亿MB，同比增长384%。中国联通手机客户每月户均流量达到2.4GB，同比增长359.0%，仍具有巨大的增长潜力。中国联通4G客户每月户均流[4]量高达4.4GB。
三家企业同样积极拓展新业务。中国移动积极拓展数字化服务，[6]建成了全球最大的物联网专用核心网络，物联网连接数超过1亿。互联网业务体验持续改善，访问成功率进一步提高，TOP100网站首屏打开时间进一步缩短；自有视频业务使用创新技术进行分发缓存，下载速率提高3倍；手机支付稳步发展，“和包”交易额超过2.1万亿元。中国电信天翼高清全年收入同比增长24%，用户净增2 443万户，用户到达规模超过8 000万达到8 576万户；翼支付业务月均活跃用户同比增长超过3倍，全年交易额同比增长近30%；物联网业务也[7]迅速起步，实现全网集约运营，全年用户净增1 321万户。云和大数据业务保持快速发展势头，全年收入同比增长55%。中国联通也正在发展创新型业务，企图抵消固网语音收入的下降。中国联通发挥光纤网络和信息化优势，聚焦产业互联网和平台类业务，全面提升核心能力。互联网数据中心及云计算业务实现收入人民币94.5亿元，同比增长33.7%。信息通信技术业务实现收入人民币59.4亿元，同比增长37%，同时在教育信息化领域保持快速发展势头和市场领先地位，在医疗信息化领域也加快规模发展。
但也许这也是最坏的时代。全球通信行业已经告别了黄金时代，用户和数据流量的增长未能抵消全球通信运营商总体收入的滑坡趋势，中国的三大运营商日赚3.65亿的高光数据背后，是利润空间快速萎缩、转型升级刻不容缓的现实。“居安思危”这句古训，对目前的移动通信行业更加具有警示作用。
首先，三大运营商在固网宽带领域的竞争日趋白热化。由于政策等原因，中国移动进军固网宽带市场较晚，但是利用价格优势，实现了捷足先登。2017年年底，宽带用户达到了1.13亿户，净增3 506.7万户，击败了中国联通，成为固网宽带市场第二大运营商。这对电信[8]和联通的固有优势造成了严重的冲击。
2017年年底，中国移动有线宽带客户达到1.13万户，净增3 506.7万户。家庭数字化产品“魔百和”用户达到5 725万户，家庭宽[2]带综合ARPU达到33.3元，较上年增长17.5%。在固定网络方面，中国电信全年有线宽带用户净增1 041万户，达到1.34亿户，其中FTTH[4]用户达到1.26亿户，净增2018万户。全年有线宽带接入收入767.44亿元，与2016年持平。2017年，联通固网宽带接入收入427亿元，下降22.6%，同比保持平稳。固网宽带用户净增130.3万，达到7 653.9[3]万户，其中FTTH用户占比达到74%。“智能沃家”用户在固网宽带用户中的渗透率达到30.9%，同比提高9.8个百分点。
其次，三大运营商还不能完全做到“一切以用户价值为依归”，其很多产品都不对潜在用户开放，缺乏互联网精神，合作不够深入。虽然开放、共享、协作、共赢的理念在当今商业模式中已经被广泛接受，过去运营商“各自为政”的电信增值业务多已销声匿迹，运营商在通信领域也逐渐开放（比如组建铁塔公司，宽带向民资开放，中国联通和中国电信进行网络“共建共享”），但在互联网转型的过程中依然存在着过去简单粗暴的竞争现象，与真正的互联网精神背道而驰。例如，邮箱、即时通信、云盘、阅读、音乐、视频等相继出现在运营商的产品目录当中，也包括面向移动互联网基础服务而生的流量宝等流量经营平台。但这些产品始终处于不温不火的状态，很难出现像微信这样的互联网爆款产品。其背后的原因不言自明。
如果运营商在互联网化转型中能够取他山之石，积极地开放合作、资源共享，充分利用运营商先天的网络资源优势，不仅能在流量经营方面占得先机，甚至有可能在邮箱、云盘、大数据这种与互联网[9]紧密结合的产品领域打破现有的市场格局。退一步而言，运营商至少可借鉴互联网领域常见的资本合作、业务独立的模式，在资本层面[10]扫清隔阂，为互联网业务营造一个合理的竞争环境。
中国的移动通信运营商应该以领先的综合智能信息服务运营商为战略定位，聚焦客户信息化创新，加快推进网络智能化、业务生态化和运营智慧化，满足用户丰富多样、随需使用、品质体验的信息通信消费需求，引领数字生态，打造卓越企业，筑力网络强国，服务社会民生。同时，贯穿“智能”这一主线，按照网络智能化、业务生态化、运营智慧化的三大方向，以资源要素升级、业务产品升级、运营能力升级为着力点，强化市场驱动、技术驱动、创新驱动，推进网络重构、业务重构、运营重构与管理重构，引领用户信息消费潮流，不断提升企业价值。这其中，网络智能化是基础，推进网络重构，打造简洁、集约、敏捷、开放、安全的新型网络；业务生态化是核心，推进业务重构，形成业务和应用生态化发展布局；运营智慧化是关键，推进运营与管理重构，实现协同高效的一体化智慧运营。中国的通信运营商在数据资源、技术资源、资本资源方面具有厚重的积累，在现今的产业政策环境下，面对的需求压力其实也不算巨大，在这种相对宽松的环境下，实现企业转型具有极大的可行性。
本书首先阐述通信运营商，特别是中国的通信运营商所面临的挑战，以及当前企业迫切需要转型的动机。当前的中国通信运营商都已经认识到大数据的能力所在，也都在努力开展一定的科技研发和业务创新，但是相比百度、阿里和腾讯三大巨头来说，其步伐相对缓慢，前景也不够清晰。其后本书论述了作为企业转型所必需的基础数据采集和处理能力，并以某省级通信运营商公司作为实际案例。在具体转型规划上，从提升自身实力和外延数据服务两个角度进行论证，旨在为中国通信行业的未来之路提供有益的建议。参考文献
[1]赵超.对比三大运营商“期末成绩单”——从数据中看拼杀[N].人民邮电报，2018-02-01.
[2]2017年中国移动年报.
[3]2017年中国联通年报.
[4]2017年中国电信年报.
[5]中国电信主要运营数据.
[6]中华人民共和国工业和信息化部运行监测协调局，2017年通信业统计公报.
[7]宁玮.电信运营商物联网平台型商业模式研究与评价[D].长沙：湖南大学，2016.
[8]宽带发展联盟，2017年中国宽带普及状况报告.
[9]辛鹏骏.移动互联网时代电信运营商商业模式创新研究[D].成都：电子科技大学，2012.
[10]许丽萍.OTT异军突起——运营商转型融合通信[J].上海信息化，2016(09)：40-43.第1章 大数据时代下电信行业转型的优势
The winter is coming.——HBO，《权力的游戏》（2016）
如今，我们已经进入了大数据时代，几乎所有产业都认识到了大数据的重要性，数据能驱动产业发展、数字化创新将成为各行业发展不可错过的东风。据Gartner数据显示，全球数据每两年翻一倍，每年新产生的和复制的数据将从2013年的4.4ZB增长到2020年的[1]44ZB。海量数据背后蕴藏着的是机遇，抓住这个机遇，企业才能从容应对时代发展与市场竞争。在基于大数据的业务创新方面，互联网行业具有先发优势，目前处于领先地位。然而，通信行业，特别是中国通信行业，在大数据领域虽然起步稍晚，却具有其无可比拟的数据优势。越来越多的移动设备和覆盖越来越广的通信网络，为运营商提供了丰富的数据来源。抓住大数据带来的机遇，推动技术进步，开拓业务范围，才能在市场竞争中不落于下乘。1.1 后发优势
移动互联网、物联网、云计算等各类通信及处理技术的快速发展，导致了数据流量的爆炸式增长和数据结构类型的复杂多样化。这些数据都需要通过移动通信网络进行传输和存储，驱使移动通信系统进入大数据时代。对于大数据，麦肯锡全球研究所给出以下定义：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。这些巨量数据的传输对移动通信系统的传输能力提出了巨大的挑战，促使通信技术从4G迈向5G，乃至可能的6G时代。其中5G系统的关键技术，如大规模MIMO、密集小区覆盖等，首先需要解决的还是提高数据速率。
但是，大数据时代的到来，与其说给移动通信系统带来了严峻的挑战，还不如说带来了巨大的机遇。这个机遇就在于移动通信系统中存储的巨量用户数据，它们是通信运营商把握发展契机、紧跟数据时代发展的核心资源。当然，谈起大数据资源，首先想到的多为各大互联网公司。的确，它们是大数据领域的先发者，无论是在数据处理水平还是应用的成熟度上，它们都处于领先的地位，因此对其所从事的垂直领域具有较大的发言权。但从全面性、完整性等角度来看，移动通信运营商的数据蕴含着更大的潜力与价值。通信领域的众多研究人员已经认识到这种潜力，在研究上率先前行，提出无线大数据的概念[2]。对于无线大数据，目前学术界与工业界均没有给出一个确切的定义。除了考虑到大数据的4V特性，即数据体量（Volume），数据速度（Velocity），数据种类（Variety）与数据真实性（Veracity），无线大数据还有其他的本质特性（这些本质特性就是可以用于无线通信的大数据，而且这些数据难以被现有的通信网络系统在可以接受的时间内传输、接入、处理与服务）等。目前的理解是，无线移动通信服务对象的大量数据与为其服务衍生的频谱、传输、接入、网络的大量数据，统称为无线大数据，主要包括以下特征。
·巨量数据：根据爱立信的预测，从2017年底到2023年底，全球移动数据总流量预计将增长8倍。到2023年底，每月产生的移动数据总流量将接近110EB。2017年第三季度，全球数据流量季度同比增长[3]约10%，年度同比增长约65%。
·业务类型演进：受互联网高速发展的影响，通信业务从传统的语音、短信业务向具有互联网特征的新业务拓展，如即时通信类业务、交互类业务、在线的流媒体业务等。而传统无线通信网在通信机制、互联互通规则等方面的设计理念与互联网完全不同，现有网络基础难以适应新业务的要求。
·无线数据多样化：各类无线终端产生的不同业务类型导致了数据类型的多样化，包括结构化数据、半结构化数据和非结构化数据，[4]其中非结构化数据已占95%以上。多种数据格式带来的不兼容问题以及读取和存储的随机性带来的数据管理问题，使得无线通信系统的传输带宽、控制信令开销、资源分配等面临严峻挑战。
·空-时-频域的动态变化：用户的随机趋同性使得网络的业务密度分布在空-时-频域上呈现不均匀的特性，数据流量在空-时-频域上的大动态变化使得无线网络在站点部署、热点覆盖、频谱等资源分配问题上需要进行更灵活的和智能性决策。
可以看出，超高的用户站点密度、超宽的频谱宽度以及繁多的业务类型，构成了无线大数据的本质特征。类似于城市交通、金融、电力、地理等行业大数据，无线通信行业的大数据时代正在拉开序幕，其客观存在对无线通信网络提出了更高的要求，必须对网络架构、接入策略、传输机制等关键技术以及信息理论问题开展深入研究，以满足大数据时代的需求。同时，这些海量数据本身就蕴藏着巨大的价值，但价值密度低，如何挖掘、利用这些数据进行网络系统的设计与优化则显得非常关键。
套用目前的流行说法，中国的移动通信是，2G跟随、3G突破、4G同步、5G引领，每十年上一个台阶。那么，在数据时代的中国移动通信行业，下一个十年的关键词中，无线大数据应该占有重要成分。1.1.1 数据优势
数据每时每刻都在产生，体量庞大、来源多种多样，同时具有实时性、真实性，蕴含着巨大的价值，完全符合大数据的5V特性，电信运营商的数据是名副其实的新时代数据金矿。我们先从应用层面，从运营商对外服务方面介绍如下几大优势。
从容量（Volume）角度来看，中国三大运营商目前拥有13亿移动用户和3亿固网宽带用户，用户规模十分庞大，相对其他行业具有显著优势。同时，这些用户每时每刻都产生大量行为数据，如语音、短信、移动业务、宽带业务等。
从多样性（Variety）角度来看，运营商数据、类型丰富且全面。互联网企业只能通过自身的门户或APP业务与用户进行交互并收集数据。运营商所掌握的数据既包含传统的结构化数据，也包含音视频多媒体、互联网应用、传感器等非结构化数据。例如，可以获得何人、何时、何地、何种终端、访问哪类网站、搜索某类产品、关注热点话题等用户基于网络所产生的绝大多数应用行为。
从实时性（Velocity）角度来看，很多互联网应用都通过手机终端采集用户位置信息，但只有用户开启数据连接（Wi-Fi/3G/4G）时，所采集的信息才会从手机上进行传输。运营商则可以通过蜂窝网络协议，在用户只是开机的状态下就能够获取其位置轨迹，从而保障了数据的实时性和连续性。在面对高实时性要求的应用场景时，运营商数据显然更加具有优势。
从真实性（Veracity）角度来看，中国现已全面施行移动用户实名制登录的政策，对非实名制用户将采取限制通信、暂停业务等手段，督促全体用户依法实名登记。这样不仅能保证运营商用户信息的真实性，也使得各类数据都可以一一对应到自然人身上。
从价值（Value）角度来看，运营商系统中的用户标识包括手机号码、身份证号码、终端ID、Cookie等各种类型，这使得运营商的数据能够与金融、互联网、酒店、交通等各行各业的数据进行精准识别与有效关联，从而打破行业间的数据孤岛，形成真正意义上的大数据云，实现跨界合作，创造巨大的商业价值。
无线大数据的关联性，主要体现在其与无线通信的关联性，体现在传输层、网络层与应用层。数据来源来自于无线通信，而其应用也包括提高无线通信的性能。
传输层数据包括信道大数据、频谱大数据与多用户接入大数据等。信道大数据的来源主要是通信期间的实时信道测量，并且基于大数据分析揭示无线信道建模中的规律。通过对于规律的分析结果，可以进一步优化通信方式。对于频谱大数据，其采集是通过一定面积内的无线环境进行数据收集。可以基于各种大数据分析方法提高集群中缓存节点的确定、分配和分配精度。对于多接入大数据，其采集是基于频谱接入的信息统计。基于此可以提高蜂窝小区接入点的性能，通过所有的AP发送频谱广播占用信息和系统信息的预定义的持续时间，以确定可访问部分的射频资源块。
网络层数据包括对于通信网络中的用户与网络进行流量分析的结果，也包括数据使用、移动模式与应用程序使用三个方面的数据提取。通过数据分析，有助于网络运营商设计适当的机制，进行资源供应和移动性管理资源。可以进行基础网络规划或资源分配调度改进和优化，进行通信网络的优化设计。但是如何利用大数据优化网络仍然需要在理论和实践方面有所突破。
应用层数据的来源主要是各类无线通信应用产生的大数据，包括通话记录、Wi-Fi/GPS踪迹记录、蜂窝网络流量分析、社会服务信息、物联网数据与无人飞行器等。基于这些大数据，可以判定用户移动的模式、统计用户的相关行为分布、对于个体行为进行分析预测。在物联网中，基于聚集在启用基站的外部数据源，可以进行无线网络优化。对于无人机内/间通信数据，基于大数据分析结果，可以进一步提高网络性能。
无线大数据的多重性表现为关联多重和应用多重。如前所述，关联分为传输层数据、网络层数据与应用层数据；在应用层面上，无线大数据也呈现出显著的多重性。从无线大数据的应用上分，在传输层、网络层和应用层都可以进行很好的应用。无线大数据具有不同的维度，从各个维度进行切入分析可以提取各个维度不同的特性，因此根据不同的优化目标可对数据提取不同的特征，满足不同的应用需要。例如，对于用户的信道测量数据，可以分析不同信道增益在不同时间的变化规律，可以分析用户不同时间的运动轨迹特性，可以分析不同基站其接入用户的不同时间的变化规律等。对于不同用户各个业务网络数据流，可以分析不同用户业务数据流的特性、不同用户业务分布的特性、不同业务用户分布的特性、不同业务数据流的总量等。1.1.2 数据来源
移动通信运营商作为基础网络服务的提供商，其本质是为人与人、人与设备以及设备与设备之间提供信息通道。在此过程中，运营商本身既是大数据的传输者和存储者，也是生产者。例如，某些数据由用户自身产生，如IT系统数据中的用户基本属性、业务订阅信息、计费信息、终端信息等数据可用来形成较为完善的用户基础画像，描述用户的相应特征。而接入网与核心网数据中的用户使用语音、短信、数据业务时所生成的数据，如移动信令、用户上网行为等，在经过解析和数据处理后，可实现对用户位置轨迹及应用偏好的场景化描述。用户还可以访问运营商自有互联网系统和平台，如网上营业厅、掌上营业厅、翼支付等。这些数据为运营商自有互联网应用的数据，包括用户访问的方式、地址、时间、办理业务的偏好、消费习惯等，存在于各互联网应用的后台，其特点是保留很完整，也无需通过复杂的数据解析和处理即可获得。
关于无线大数据的来源，从科学研究和工程应用这两个角度可以有不同的解读。在2017年未来移动通信论坛发布的无线大数据白皮书中，从来源方面将无线大数据分为三种类型：原始无线大数据、派[2]生无线大数据、开发无线大数据。原始无线大数据表示数据集是由大规模的无线用户通过无线/移动通信服务产生的，包括无线接入行为、无线应用需求等。派生无线大数据来自无线大数据代表的频谱，传输、接入、网络数据开发和生产为无线用户提供有效的通信服务。这些数据包括频谱利用率的分布、超密集部署蜂窝小区的空间统计和传输信号的资源分配。开发无线大数据是指在测试和评估未知频谱的性能时，新的传输技术、创新的接入和革命性的网络结构的过程中产生的数据集。无线大数据也可以根据他们的特定领域进行分类，包括蜂窝网络、Wi-Fi热点和智能手机用户，还有智能电网、无线传感器网络、物联网等。
从移动通信系统的层级来分，无线大数据可以从传输层、网络层与应用层来划分。传输层大数据包括信道数据、频谱数据与多用户接入数据等。无线信道建模主要包括确定性模型与随机模型，前者需要较多的频谱资源，后者不够准确，但成本较低。因此，如何使用大数据分析实现这两方面的权衡，是一个新的研究课题。基于用户接入大数据可以设计优化提高蜂窝小区接入点的性能。网络层无线大数据可能是大数据在无线通信中最容易展示威力的领域，包括大数据驱动的网络体系结构、网络流量分析、网络优化等。在面向无线大数据的无线网络体系结构设计中，特别是在可扩展性、灵活性和能源消耗等方面，有必要进一步开展数据分析。无线大数据最重要的应用之一，是通过大数据分析为基础网络规划或资源分配调度进行改进和优化。基于大数据驱动的移动网络优化，利用从用户设备与移动网络收集的数据特点，进行通信网络的优化设计。但是如何利用大数据优化网络仍然需要在理论和实践方面有所突破。
应用层大数据多种多样。由于篇幅原因，这里只给出用户移动数据、社会网络数据、物联网数据及无人汽车数据等的介绍。
用户移动数据对于无线通信的资源管理、网络规划、内容分发与切换策略都有重要的意义。对此，目前的研究工作主要关注于通话记录中的移动提取、Wi-Fi/GPS踪迹记录与蜂窝网络流量分析。用户移动数据的首要问题在于预测的准确性。采用基于马尔可夫链的方法，可以达到对于静止用户87%的准确估计，对于运动用户95%的准确估[5]计，据此可以得出运动的移动性与历史记录相关性较大。基于移动电话终端的数据集合，可以估计和推断许多社会学中的数据集合，如人口统计与移动分析等。此外也可以通过蜂窝数据网络分析用户的移动性。蜂窝数据网络数据能够提供用户的位置与移动性信息，基于此能够判定用户移动的模式。基于用户的到达时间、停留时间与其他运动方式的估计，还可以得到用户的相关行为分布。
社会网络数据由于其海量数据，从中得到个体的行为非常有挑战性。为解决不同服务间的通信问题，可以通过对于分立的服务进行连接，建立一个全局社会服务网络。对于社会网络中的有效视频分发，可以采用基于云的视频推荐模型，设计分布式学习算法处理海量数据。
物联网由于大规模传感器的存在，可以收集空间中的大规模数据；可以建立社会物联网收集数据的系统架构，基于大数据分析在智能城市场景中实时描述人类的行为；可以使用外部数据集，用水、停车场、社交网络（推特）、车辆流动的痕迹和公路车辆系统比较的历史数据与新数据来分析用户行为；基于聚集在启用基站的外部数据源，还可以进行无线网络优化。
无人飞行器也是一个大数据的重要载体。对于城市与其他地区进行遥感，可使得无人机获取海量数据。基于增强学习的框架设计更好的传播策略，以适应无人机内/间群数据发布。如何进一步利用这些大数据进行中继以提高网络性能，也是值得认真思考的问题。1.2 国外通信行业转型1.2.1 欧洲（Orange）
欧洲第三大运营商Orange公司把创新作为转型的探路棒，应用大数据、物联网、人工智能等新技术，提升自身服务水平，推出顺应[6]科技发展潮流的新产品，包括智能家居、车联网、AI助手等。Orange公司利用新技术提升产品质量，同时也在探索新的业务领域，开发新的服务产品，为企业发展不断注入活力。
在移动业务方面，Orange通过对用户数据进行分析，发现服务[7]中存在的问题，进而有的放矢地改善服务质量。例如，通过对话单进行分析，可以检测到用户在何时何地发生通话中断，若某段网络上有大量用户发生通话中断，那么其中一个可能的原因是网络负荷过重，网络需要扩容。利用大数据手段，Orange可以及时有效地解决网络故障，提升用户体验。
在物联网方面，2014年，Orange推出智能家居解决方案——HomeLive系统，它和调制解调器Livebox共同组成的智能家居生态闭环，为用户提供了价格低廉且完整的智能家居产品。Livebox是整个家庭网络的网关，集成了宽带网络业务、电视业务和固话业务，是家庭网络服务的基础，与之前同类型产品相比能为用户提供更快更好的网络服务。HomeLive系统是一套完整的智能家居解决方案，HmoeLive基座是整个系统的核心，用于连接其他设备，如门窗探测器、智能插头等。相比于市场上其他智能家居产品，Orange开发的Homelive系统在断网的情况下，依然能将异常情况及时地以短信方式汇报给用户。Livebox和HomeLive共同组成的智能家居系统，能以较[6]为低廉的价格为用户提供高质量的服务。
在人工智能方面，Orange已与德国电信达成合作，计划于2018年年初推出AI助手“Djingo”，该产品可以为用户提供交互式的音频服务。用户可以通过智能手机、独立音箱或电视遥控器使用“Djingo”，用语音激活“Djingo”后，可以控制其实现发送短信、搜[7]索播放视频及音乐等功能。1.2.2 美国（Verizon）
作为美国四大运营商之一的Verizon Communications（威瑞森通信）一直在技术创新方面表现积极，力图使用数据分析、人工智能、车联网等技术为其业务发展寻找新的增长点。利用自身已有数据，Verizon努力从通信运营商向信息服务商转型，利用新技术，开发新[8-9]产品，拓展新业务领域。
Verizon努力开拓其广告业务，成立精准营销部门，依托其数据优势，利用美国天睿软件公司（Teradata）的企业级数据仓库挖掘用户数据，分析用户的潜在商业需求。首先，该部门可以提供精准营销洞察服务，分析商业数据，挖掘用户的商业需求，为其他公司提供商业咨询服务；其次，可以提供精准营销服务，作为广告投放平台，对用户开展精准营销。例如，在超级碗（Super Bowl）和美职篮（NBA）比赛中，Verizon分析了用户的来源地和商业需求，为球队选择赞助[10]商提供相关建议。
车联网也是Verizon努力开拓的新领域。2015年，Verizon推出了车联网产品“Hum”，通过第二代车载自诊断系统设备，“Hum”可以让未能装备车联网功能的汽车也能享受智能服务。其智能服务包括：精准路边定位，当车辆出现故障时，在需要拖车的情况下可以提供当前车辆的准确位置；事故报警及紧急救援，当探测事故发生，及时通知紧急应答中心，服务人员可以及时与车主联系，为用户提供实时协助，服务人员也可以看到车辆的位置数据，若车主没有应答，也可以提供如报警等进一步的帮助；车辆健康监测，通过APP将车辆健康数据推送给车主，以便及时解决车辆故障，避免故障升级；机械师热线，通过“Hum”用户可以直接联系到由美国汽车维修资格认证协会认证的专业维修技师，获得定制化、及时、中立的汽车维修及保养建议；泊车工具，驾驶者可以在手机APP上实时看到当前停车位置以及停车时间；维护提示及警报，系统检测油位变化、轮胎旋转等情况，若出现异常情况，及时对用户做出提示，此外，系统能够从网络上获知车辆故障以及车企的召回信息，并对用户进行提醒；被盗车辆定位助手，用户可以通过“Hum”获知车辆的定位信息，辅助用户追回被盗车辆；旅行及维修折扣，“Hum”能向用户推送旅馆、租车、汽车维修[11-12]养护等优惠信息。1.2.3 日本（NTT）
日本最大运营商NTT DOCOMO在2015年提出其发展战略“+d”，强调运营商要努力开展合作，在合作中创新业务类型，拓宽[13]业务领域，实现增值。物联网、云技术等领域，是当前NTT DOCOMO业务创新的重点，旨在打破传统“四合一”服务（即包括固话、移动、宽带和电视的打包业务）的局限，着力于提升用户体验，基于新技术开展新业务。NTT DOCOMO计划开拓包括媒体、金融、商务、医疗保健、M2M（Machine to Machine）、聚合平台、环境生[14]态、安全8个领域的新业务。
在医疗方面，NTT DOCOMO与医疗设备巨头欧姆龙（Omron）成立合资公司DOCOMO Healthcare。公司致力于通过智能手机连接医疗设备和智能穿戴设备，使用户能够通过手机实现医疗信息和身体数据的处理管理，NTT DOCOMO可以为用户提供健康建议和医疗咨[10]询，还可以给第三方提供访问用户数据的接口。
在电子商务方面，NTT DOCOMO也积极与其他企业开展合作，为他们提供数据分析技术。NTT DOCOMO与日本麦当劳合作，在日本的3 300家麦当劳门店设置了NFC手机支付读取终端，并部署了客户关系管理系统，采集用户消费数据，包括用户的消费次数、地点、[11]金额、食物清单等。NTT DOCOMO为麦当劳量身打造了一套消费者信息挖掘系统，通过挖掘门店采集的交易数据，分析不同顾客的偏好，进而有针对性地向他们推送不同的促销信息。例如，对于周末白天多次购买咖啡的消费者，则向其推送周末上午的咖啡兑换券；对于长时间不光顾的消费者，则向其推送过去消费者消费记录中偏好购买的汉堡等产品的打折优惠券等消息。个性化的优惠券推送能够明显提升营销效果，进而提高门店的销售量。
曾经构建出通信业生态闭环的NTT DOCOMO如今告别封闭，与其他企业积极合作，不拘泥于传统通信业务，开拓新的业务领域，努力向信息提供商转变。
目前，在全球的120家运营商中，有48%的运营商已经开始实施[15]大数据战略，通过提高数据管理和分析能力，试图将企业身份从电信网络运营商转变为信息运营商，进而打造全新的商业生态圈[16]。参考文献
[1]Shibata T，Kurachi Y.Big data analysis solutions for driving innovation in on-site decision making[J].Fujitsu Science Technology Journal，2015，51(2)：33-41.
[2]FuTURE FORUM，2017无线大数据白皮书.
[3]爱立信移动市场报告，2018-6-21.
[4]张平，崔琪楣，侯延昭，等.移动大数据时代：无线网络的挑战与机遇[J].科学通报，2015(5)：433-438.
[5]Francesco Calabrese，Giusy Di Lorenzo，Liang Liu，and Carlo Ratti.Estimating Origin-Destination Flows Using Mobile Phone Location Data.IEEE Pervasive Computing，2011(10)：36-44.
[6]Ovum.Orange布局智慧家庭——已筑成高价值商业模式[J].通信世界，2017(27)：40.
[7]谢丽容.法国电信Orange Business Services首席执行官：灵活运用大数据[N].通信产业报，2012-12-03(023).
[8]运营商发力人工智能[J].通信企业管理，2017(06)：54.
[9]西班牙电信成立大数据部门[J].通信企业管理，2012(11)：58.
[10]宋杰.Verizon Telematics车联网发展模式[J].通信企业管理，2017(12)：61-63.
[11]孙卫华.中国电信运营商在车联网产业中的策略研究[D].天津：天津科技大学，2014.
[12]王强.国外电信运营商大数据应用模式的启示[J].世界电信，2017(03)：74-80.
[13]宋向东.NTT DOCOMO重磅推出医疗保健服务[J].通信世界，2014(05)：34.
[14]何叶，王丹.NTT DOCOMO的融合通信之道[J].通信企业管理，2015(04)：36-37.
[15]赵伟明.4G背景下电信运营商发展策略分析[D].天津：天津大学，2016.
[16]张君.中国电信运营商的竞争与发展策略研究[D].武汉：华中科技大学，2009.第2章 数据为王
工欲善其事，必先利其器。——《论语·卫灵公》
通过做好大数据应用来提升企业核心竞争能力，是电信运营商进行转型升级的重要举措之一。通信网络是承载国民经济信息化的基础平台，电信运营商在大数据资源上具有明显的优势，因为相对于互联网巨头，电信运营商的数据真实性高，并且包含着用户的全维度行为信息。但是，随着大型互联网公司综合各类服务中产生的数据形成大数据平台，通过对用户画像来弥补真实性的不足，电信运营商大数据资源的真实性和全面性的优势正在消失。电信运营商想要将大数据资源转化为核心竞争力，就要抓住短暂的时间窗口，做到以下几点。（1）加强数据汇聚和服务开放。以搭建企业平台为目标，建设企业级大数据平台，推进全网数据采集、汇聚和有效关联，形成企业公共数据环境，面向不同服务对象提供数据服务和应用开放能力。针对数据的管理要建立统一的指标体系，完善主数据管理体系和数据质量管理体系。尽快建成大数据统一平台，有效支撑企业智慧运营和对外数据服务。（2）内部应用大数据技术。整合内外部数据，共享数据工具，推进数据跨域关联和建模挖掘分析，为营销服务和网络运营注智，开展精准营销、精细服务和精益运营，通过资源精确配置、效能精确评估、风险精确监控和辅助企业管理决策，做好大数据技术的使用者，固本强身，充分享受大数据带来的福利。（3）作为大数据资源与技术的提供者，与外部合作实现共赢。开发合作是电信运营商实现价值和功能转化的必经之路。不同于互联网企业，电信运营商在新兴信息化市场竞争中处于劣势，要想在竞争中立于不败之地，就要将大数据服务更多地拓展到网络外的领域，向外部企业提供服务，充分发挥大数据提供者的作用，用大数据提升政务、公共服务、商业企业等发展水平。（4）成为未来大数据连通不可或缺的基础平台。大数据的价值在于交叉融合，电信大数据是连通人与机器的管道，通过电信大数据将社会上各个数据孤岛连接起来，将会产生巨大的社会价值。特别是在中国，基础电信公司作为国有企业，有责任也有能力担当未来大数据时代的连通枢纽。2.1 大数据建设
大数据不是简单的数据堆积，企业在应用大数据的同时必须清醒地认识到大数据与传统业务型数据的区别，理解其对于存储和处理技术的特殊要求。大数据主要是通过设备、服务器和应用自动产生的，这些数据以非结构、半结构为主。对大数据的挖掘过程更多的是对各类数据进行整理、交叉分析和对比检验，对非结构化数据的特征进行提取，以及对半结构化数据的内容检索和理解等。
在发现大数据的价值后，各类公司存储的数据越来越多，此时传统数据库在存取和处理大数据上开始显露疲态。传统数据库的核心思想在近半个世纪前形成，主要面向交易型需求设计开发，用来开发人机会话应用。其底层的物理存储格式是行存储，比较适合数据的频繁增删改操作，但对于统计分析类的查询，则效率很低。针对大量非结构、半结构数据，传统数据库不仅优势发挥不出来，其针对传统业务的优化还成为其在大数据应用方面的劣势。针对这一现状，以Hadoop为标杆的各种分布式数据存储系统被开发出来，大数据的存储系统也逐渐与传统的数据库存储划开了界限。后期随着数据挖掘算法和可视化工具的加入，大数据存储系统组件演变成大数据平台，如腾讯的开源大数据平台Angel以及Apache软件基金会的Apache Beam[1]平台等。2.1.1 大数据管理的挑战
企业在管理大数据、建立大数据平台的过程中会遇到诸多挑战，可以大致归纳为4点。首先，数据的采集清洗工作量巨大。数据的采集清洗过程是将来源广、体量大的数据源通过各种接口引入存储系统，并且对其进行标准化处理的过程。企业收集的数据来源复杂，需要将它们高效地收集起来并且做好规整化，在数据量少的情况下这一过程可以通过人工协助来完成，但是当数据量大，并且数据产生的速度远远超出人力整理的速度时，开发高效的采集接口和通用的清洗程序就显得尤为重要。数据的大量存取是大数据平台最原始的功能需求。除了保证海量数据存入和取出的效率度要求，企业用户一般还需要数据备份功能，以提高数据的容灾性能。
其次，数据和运算能力的权限控制也是重要挑战。数据安全对于企业至关重要，企业需要划分员工接触的数据范围，在平台对外提供服务时，需要限制用户能够使用的数据集，向外提供的数据集要首先做好脱敏，避免关键技术和用户隐私等信息泄露。在数据集生成和分发方面，也要考虑到被使用者基于反向推断来估计整体统计特性的可能。
再次，大数据的运算能力需要合理划分。对运算能力的高效管理可以避免不必要的资源浪费，提高计算资源利用率。根据大数据分析平台的框架结构和实际需求设计合适的资源调度算法，可以减少程序[2]执行时间，提高计算资源利用效率。
最后，最大的挑战来自于对数据的分析挖掘。每一年学术界和企业界都会开发新的算法或改进现有算法，企业如果想要跟上行业的发展速度，就需要不断跟进最新算法，利用好现有算法，按照实际需求去挖掘数据价值。2.1.2 运营商大数据平台的设计原则
运营商大数据平台可基于数据集中、能力开放、云化的原则进行总体设计，以实现企业内部各类数据的安全接入、存储、共享、分析、应用和管理的目标，构建企业级的、面向未来的数据中心，建立开放、共享的公共数据环境，为企业内部各部门开展应用提供能力保障。平台整体架构层次清晰，各层分工明确，且满足当下大数据环境下的数据处理要求。系统所集成的技术原则上要符合未来大数据的技术发展[2-3]方向，并且选用成熟、稳定的技术或组件。
电信运营商大数据平台可由数据采集系统、数据处理系统、数据存储系统、能力开放平台和资源管理系统5个部分组成，如图2-1所示。图2-1 电信运营商大数据平台架构（1）数据采集：通常采用Sqoop、Flume、DataX、Emcd、Kettle等成熟的工具和技术将传统关系型数据库、文件、消息等类的数据迁移到大数据集群中，能满足跨数据平台的数据交互，如HADOOP、ORACLE、MYSQL、MPP等平台间交互，在数据采集的过程中会对数据进行简单的清洗和转换。（2）数据处理：数据进入计算环节后会按照实时（Storm、Spark-Streaming）和离线场景（HIVE、Impala、Spark-SQL）进行分类，如离线计算则会采用离线框架对数据进行计算、加工。（3）数据存储：数据处理完后储存在HDFS、HBASE、MYSQL、ORACLE中。（4）数据挖掘：最终用户通过可视化报表工具、数据挖掘工具（Mahout、MLlib）、搜索引擎（Solr、ElasticSearch）、统计语言（SparkR）对数据进行访问。（5）资源管理：在集群管理方面引用资源平台（YARN）可对多用户以多队列实现虚拟CPU、内存，按照FIFO、Capacity、Fair的方式进行任务调度和资源管理。权限控制方面通过引进Sentry对用户访问权限进行限制。2.2 数据采集
数据采集系统是平台的基础组成部分之一，是数据流入大数据平台的通道。它提供多种数据接入工具，将企业前端、后端、管控等部门重要系统数据进行汇聚，通过离线采集和实时采集相结合的方式，[4,5]将原始数据汇聚到统一平台，打破信息孤岛。2.2.1 数据采集接口
电信运营商的数据来源较为复杂，表2–1列出了某运营商的部分数据来源。数据来源系统包括上网日志、网运DPI、OIDD平台、ODMS和计费系统等，接口方式的实时性也有区别。表2-1 数据采集接口
数据接口众多、格式各异的根源是电信行业业务种类繁多，各类服务产生数据的大小、格式和实时性都大相径庭，这给数据采集带来[6]了很大的挑战。2.2.2 数据采集技术
通信运营商内部的业务系统纷繁复杂，各个地区、各个部分建设的软硬件系统都很多，要仔细分类，并细致地调查和统计其功能和特点等。从本书的数据采集角度而言，只需要做个最简单的分类，即分为现网系统和大数据分析系统。这里需要澄清的是，当说到现网系统时，每个人的理解可能并不一致，本书范围内的现网系统指的是提供通信服务的基站、网络、软件等，而大数据分析系统是指运营商内部单独建设起来，用于内部各种分析以及各种创新业务发展的数据分析软硬件系统。本书的数据采集是指从运营商的现网系统将合适的、必要的数据采集到大数据分析系统中。因为现网系统中数据存储技术五花八门，存储系统各式各样，所以，实现高效可靠的数据采集并不容易，因此本书对此也做了简单介绍。例如，现网系统中的数据可能存储在数据库、文件系统和硬件设备中等，而大数据分析系统也具体可分为传统计算平台和Hadoop/Spark计算平台等，于是常见采集技术就是数据库之间的同步技术、数据库与HDFS交互技术、增量文件采集技术等。
2.2.2.1 基于关系型数据库之间的同步技术
Oracle数据库是运营商系统中比较常见的数据库产品。Oracle库与库之间的技术数据同步技术包括dblink、Oracle Golden Gate等。基于dblink能像访问本地数据库一样便捷地访问远程数据库表，dblink采集主要适用于Oralce数据库之间的数据同步，目前在业务处理中比较常见，一般应用于数据的全量表同步。Oracle Golden Gate（以下简称OGG）软件是一种基于日志的结构化数据复制备份软件，通过解析源数据库在线日志或归档日志获得数据的增量变化，进而将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OGG可以在异构的IT基础结构（包括大部分常用操作系统平台和数据库平台）之间实现大量数据亚秒级的实时复制。OGG采用数据库文件方式的同步工具，因其同步效率较高，且对源头系统的影响较小，故目前应用在生产系统数据备份及同步及时性较高的增量数据同步场景，如属性表、订单项、清单类数据同步场景中。
2.2.2.2 基于Sqoop的库表与HDFS交互技术
因业务的发展、应用的多元化，特别是大数据的冲击，企业的数据量成几何倍数增长，数据形式也越来越多样化，如文本类、视频类、互联网爬虫数据等这些非结构化数据，因此大数据平台在数据应用中引入了Hadoop开源框架进行数据处理。因此需要解决Hdfs文件存储和关系型数据库与分布式文件系统数据库之间的数据同步问题。
Apache Sqoop（SQL-to-Hadoop）旨在协助RDBMS与Hadoop之间进行高效的大数据交流，便捷地把关系型数据库的数据导入到Hadoop和与其相关的系统（如HBase和Hive）中，同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。目前Hadoop平台上存储的所有用户资料、补贴、销售品、订单、详单、DPI、信令等结构化和非结构化的数据都是采用Sqoop组件进行采集，以满足后续的Impala、Spark、Hive等处理技术数据源要求。
2.2.2.3 基于Flume的增量文件采集技术
应用系统云化、采用分布式架构、节点增多的现状给日常运维人员带来很大难度，如日志分散、存储压力、格式不统一规范、日志无统一查询渠道、异常信息不能自动推送等。因此需要建设日志库平台，重点支撑四个方面的业务场景，即运维人员操作轨迹分析、员工操作轨迹分析、营业厅业务办理轨迹分析和用户网页访问轨迹分析。例如，当某营业员反映部分业务受理慢，客户排队等候时间长，并提供了具体订单号后，运维人员可根据业务日志分析出客户从进厅到离厅的业务办理轨迹，识别出耗时环节、客户等待时间、纯系统操作时间，从而判断出受理慢的真实原因，为IT系统优化和管理优化提供依据。
Cloudera提供的Flume NG是一个可靠可用的分布式系统，具备
试读结束[说明：试读内容隐藏了图片]