一本书搞懂企业大数据(txt+pdf+epub+mobi电子书下载)

作者：董超

出版社：化学工业出版社

格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT

一本书搞懂企业大数据试读：

前 言

当前全球正处在新一轮科技革命和产业变革的关键时期，以大数据为代表的信息技术产业变革，使各个企业在信息技术发展上处于新的起跑线，如何充分挖掘利用大数据资源，是企业当前面临的重大课题。

在互联网时代，数据本身就是资产，而大数据则意味着这些资产正在变得庞大无比，在现实生活中，善于运用大数据的企业已经从数据中获得了丰厚的回报。

对一个企业来说，不断地为产品扩展销售渠道和提升服务质量是至关重要的。在进行大量数据分析的前提下，更好的分析数据，获取用户信息才能够更精准的获取市场动态，并且掌握市场对产品和服务的需求，从而优化产品及服务，提升产品的销售量。

大数据的战略意义，一方面在于掌握庞大的数据信息；另一方面则在于大数据与产业的结合，对海量数据进行专业化处理，实现数据的“增值”和应用的“价值”。随着资源整合和产业链拓展，大数据应用正在成为新的经济增长点，逐渐在智能家居、智能制造、智慧出行、智慧医疗、互联网金融等应用中找到用武之地。

2016年3月17日，《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布。“十三五”规划纲要中指出，实施国家大数据战略。把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。

基于此，编者根据多年的经验，通过浅显易懂的方式编写了《一本书搞懂企业大数据》一书，把高深莫测的企业大数据知识普及给读者，供大家参考，以便起到抛砖引玉的作用。《一本书搞懂企业大数据》主要包括认识大数据、企业迈入大数据时代、企业大数据的技术架构、企业大数据的运营、金融业与大数据、工业与大数据、零售业与大数据、大数据面临的问题及应对等内容。《一本书搞懂企业大数据》由安德互联数据服务有限公司董事长、高级架构师、大数据分析师董超主编，在编写过程中，深圳市安德互联数据服务有限公司及业内大数据相关公司的专家学者和从业人员参与了本书的资料收集和编写工作，具体参加编写和收集资料的还有卢桂林、傅冬晓、骆相松、王浩鹏、朱祚缤、黄文平、刘诚、罗星宇、史建湘、马静怡、叶坚镇、许泽香、王彦井、杨启江、李维正、郭梅、张杰、智慧、李军、李辉、张海雷、陈超、孙小平、匡仲潇及冯永华，同时特别感谢河海大学陈锴同学做了大量的资料收集和编写工作，阿里巴巴高级技术专家崔亮、小米科技广告部资深研发工程师冀康、58赶集集团商业技术部高级技术经理邓柱中参与了本书的审定工作，最后全书由董超统稿审核完成。在此，对他们一并表示感谢！由于作者水平所限，不足之处敬请读者指正。编者

第一章认识大数据

互联网技术的飞速发展和应用，不仅改变了生产和消费的行为及商业模式，同时也带来了信息数据在数量、频度和使用等多方面的巨大变革。从数据角度看，整个世界已跨入“大数据”时代。阅读指引大数据是继云计算、物联网之后信息技术领域又一次颠覆性的技术变革。随着社交网络、电子商务、互联网和云计算的兴起，音频、视频、图像、日志等数据量正在以指数级增长，呈现了爆炸性增长的趋势。图示说明：① 大数据意味着包括交易和交互数据集在内的所有数据集，其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。大数据通常有如下特征：数据体量巨大、数据种类繁多、流动速度快、价值密度低。② 大数据的挖掘是指对之前已经做好统计的大数据基于不同的需求，利用数据挖掘算法进行挖掘。③ 为了提高数据挖掘的质量而产生的数据预处理技术有如下四种方法：数据清理、数据集成、数据变换、数据归约。④ 在大数据战略的引领下，依托纲要的贯彻实施，我国将在大数据产业规划编制、地方大数据试点、大数据关键产品研发和产业化、大数据基础设施建设、大数据标准体系建设等方面取得显著进展。第一节　大数据的基本认知

随着新一代信息技术的迅猛发展和深入应用，数据的数量、规模不断扩大，数据已日益成为土地、资本之后的又一种重要的生产要素，与各个国家和地区争夺的重要资源，谁掌握数据的主动权和主导权，谁就能赢得未来。认知1：大数据的定义

大数据还没有统一的标准定义。尽管大数据的定义各家歧异，但基本上，大数据领域里的每个人都同意一点：大数据不仅仅是指更多资料。

1.百度搜索的定义

百度搜索认为：大数据（Big Data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

2.互联网周刊的定义

互联网周刊的定义为：“大数据”的概念远不止大量的数据（TB）和处理大量数据的技术，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。

换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。

3.研究机构的定义

研究机构认为：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。相关链接　　大数据中多种多样的数据单位适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。它们按照进率1024（2的十次方）来计算：1 Byte = 8 bit1 KB = 1024 Bytes = 8192 bit1 MB = 1024 KB = 1048576 Bytes1 GB = 1024 MB = 1048576 KB1 TB = 1024 GB = 1048576 MB1 PB = 1024 TB = 1048576 GB1 EB = 1024 PB = 1048576 TB1 ZB = 1024 EB = 1048576 PB1 YB = 1024 ZB = 1048576 EB1 BB = 1024 YB = 1048576 ZB1 NB = 1024 BB = 1048576 YB1 DB = 1024 NB = 1048576 BB认知2：大数据的类型

大数据的类型大致可分为如图1-1所示的三类。图1-1　大数据的类型认知3：大数据的特征

大数据意味着包括交易和交互数据集在内的所有数据集，其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。大数据通常具有如图1-2所示的“4V”特征。图1-2　大数据的“4V”特征

1.数据体量巨大

大数据通常指10TB（1TB=1024GB）规模以上的数据量。之所以产生如此巨大的数据量，原因如图1-3所示。图1-3　大数据体量巨大的原因

根据国际数据资讯公司监测，全球数据量大约每两年翻一番，预计到2020年，全球将拥有35ZB的数据量，并且85%以上的数据以非结构化或半结构化的形式存在。

2.数据种类繁多

随着传感器种类的增多及社交网络、智能设备等的流行，数据类型也变得更加复杂，主要包括如图1-4所示的内容。图1-4　数据的类型

比如，商业银行业务发展涉及的数据类型已从以二维表结构方式表达的结构化数据，扩展到包括日志、微博、视频、图片等半结构化和非结构化数据。

3.流动速度快

流式数据是大数据的重要特征，当处理的数据由PB级代替了TB级时，“超大规模数据”和“海量数据”是快速动态变化的，数据流动的速度快到难以用传统的系统去处理。

比如，商业银行的数据创建、存储、处理和分析的速度在大数据时代将持续加快，某些数据必须实时地进行分析，才能及时、有效地对业务管理产生价值。

4.价值密度低

数据量呈指数增长的同时，隐藏在海量数据中的有用信息却没有相应比例增长；相反，价值密度的高低常常与数据总量的大小成反比，这样反而使我们获取有用信息的难度加大。

比如，商业银行监控视频，连续数小时的监控过程中可能有用的数据仅有几秒钟。小看点大数据的“4V”特征表明其不仅仅是数据海量，对于大数据的分析将更加复杂、更追求速度、更注重实效。认知4：大数据的作用

在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。具体来说，大数据具有如图1-5所示的作用。图1-5　大数据的作用

1.大数据正成为新一代信息技术融合应用的结点

移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。小看点大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境分。

2.大数据是信息产业持续高速增长的新引擎

面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。具体表现如图1-6所示。图1-6　大数据引领信息产业持续高速增长

3.大数据利用将成为提高核心竞争力的关键因素

各行各业的决策正在从“业务驱动”转变“数据驱动”，具体如：（1）对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；（2）可以为商家制定更加精准有效地营销策略提供决策支持；（3）可以帮助企业为消费者提供更加及时和个性化的服务；（4）在医疗领域，可提高诊断准确性和药物有效性；（5）在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

4.大数据时代科学研究的方法手段将发生重大改变

例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。认知5：大数据的商业价值

大数据是看待现实的新角度，不仅改变了市场营销、生产制造，同时也改变了商业模式。数据本身就是价值来源，这也就意味着新的商业机会，没有哪一个行业能对大数据产生免疫能力，适应大数据才能在这场变革中继续生存下去。

大数据的商业价值如图1-7所示。图1-7　大数据的商业价值

1.对顾客群体细分“大数据”可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。

2.模拟实境

运用“大数据”模拟实境，发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器，汽车和智能手机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。

云计算和“大数据”分析技术使得商家可以在成本效率较高的情况下，实时地把这些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以数据化。“大数据”技术可以把这些数据整合起来进行数据挖掘，从而在某些情况下通过模型模拟来判断不同变量（如不同地区不同促销方案）的情况下何种方案投入回报最高。

3.提高投入回报率

提高“大数据”成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把“大数据”成果和“大数据”能力比较薄弱的部门分享，帮助他们利用“大数据”创造商业价值。

4.数据存储空间出租

企业和个人有着海量信息存储的需求，只有将数据妥善存储，才有可能进一步挖掘其潜在价值。具体而言，这块业务模式又可以细分为针对个人文件存储和针对企业用户两大类。主要是通过易于使用的API（Application Programming Interface，应用程序编程接口），用户可以方便地将各种数据对象放在云端，然后再像使用水、电一样按用量收费。

目前已有多个公司推出相应服务，如亚马逊、网易、诺基亚等。运营商也推出了相应的服务，如中国移动的彩云业务。

5.管理客户关系

客户管理应用的目的是根据客户的属性（包括自然属性和行为属性），从不同角度深层次分析客户、了解客户，以此增加新的客户、提高客户的忠诚度、降低客户流失率、提高客户消费等。对中小客户来说，专门的CRM（客户关系管理）显然大而贵。不少中小商家将飞信作为初级CRM来使用。

比如把老客户加到微信群里，在群朋友圈里发布新产品预告、特价销售通知，完成售前售后服务等。

6.个性化精准推荐

在运营商内部，根据用户喜好推荐各类业务或应用是常见的，比如应用商店软件推荐、IPTV视频节目推荐等，而通过关联算法、文本摘要抽取、情感分析等智能分析算法后，可以将之延伸到商用化服务，利用数据挖掘技术帮助客户进行精准营销，今后盈利可以来自于客户增值部分的分成。

以日常的“垃圾短信”为例，信息并不都是“垃圾”，因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后，可以给需要的人发送需要的信息，这样“垃圾短信”就成了有价值的信息。在日本的麦当劳，用户在手机上下载优惠券，再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息，例如经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券给用户。

7.数据搜索

数据搜索是一个并不新鲜的应用，随着“大数据”时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来，即实时广告业务和应用内移动广告的社交服务。

运营商掌握的用户网上行为信息，使得所获取的数据“具备更全面维度”，更具商业价值。典型应用如中国移动的“盘古搜索”。第二节　大数据的处理流程

在科技发展的同时，各种各样的行业和领域也在蓬勃发展，大量而又多多样的数据渗透进了这些领域，又相应的产生了更多的数据。如今，已然是一个大数据横行的天下，数据已成为非常重要的生产因素。

大数据的整个处理流程可以概括为如图1-8所示的四步。图1-8　大数据的处理流程流程1：大数据的采集

大数据的采集需要有庞大的数据库的支撑，有的时候也会利用多个数据库同时继续大数据的采集，现在很多商家如一些购物网站都会通过关系数据库来存储事务数据，对于一些用户使用量或者访问量比较多的网站，事务数据的数量惊人。

在大数据的采集过程中，因为这些网站的访问以及操作还在继续，对于大数据的采集中会有并发的访问量，对于数据库的负载以及多个数据库之间进行切换等都存在挑战，也是很多数据库系统需要考虑的设计因素。流程2：大数据的预处理

将各个分散的数据库采集来的数据全部导入一个大的数据库，这样才能对数据进行集中的处理，也可以依据一些数据的特征或者需要进行大数据的分析的目的，初步的对各种数据进行粗选，这就是大数据的预处理。当然，因为数据量比较大，各个采集端的数据流入分析数据库中，也要考虑大数据库的容量。流程3：大数据的统计

对已经汇总的数据进行分析并进行分类，这是大数据分析的过程，主要根据数据的特点进行筛选，可以利用一些大数据分析的工具，例如Infobright列式存储工具，对数据进行的不同分类之后，为下一步的批处理做准备。

大数据的统计过程中，因为涉及的数据量大，对于统计工具的使用以及需要分类的关键字等要求比较高，能不能让数据都精确的归类到相应的批次，这也决定了之后进行数据挖掘价值准不准确的基础。流程4：大数据的挖掘

大数据的挖掘是指对之前已经做好统计的大数据基于不同的需求，利用数据挖掘算法进行挖掘。数据挖掘的算法都比较复杂，这也是考验人工智能发展的一个环节，只有精确合适的算法才能得出有价值的数据分析结果，大数据的挖掘的过程中涉及的数据量和计算量也是庞大并且复杂的。小看点一个大数据的普遍的流程就是以上四个，这个过程要涉及庞大的数据以及使用到不同的数据分析工具，是一个复杂的工作流程。第三节　大数据的处理技术

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量的新技术，它们成为大数据采集、存储、处理和呈现的有力武器。

大数据处理的关键技术主要如图1-9所示。图1-9　大数据处理的关键技术技术1：大数据采集技术

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化及非结构化的海量数据，是大数据知识服务模型的根本。

大数据采集一般分为如图1-10所示的两个层次。图1-10　大数据采集的层次

1.大数据智能感知层

主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。

必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。

2.基础支撑层

提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。

重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。技术2：大数据预处理技术

现实世界中数据大体上都是不完整、不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量，因此，产生了数据预处理技术。数据预处理有如图1-11所示的四种方法。图1-11　大数据预处理技术

1.数据清理

数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如图1-12所示的目标。图1-12　数据清理的目标

2.数据集成

数据集成例程将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。

3.数据变换

通过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。

4.数据归约

数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，且结果与归约前结果相同或几乎相同。小看点数据预处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。技术3：大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用，其作用如图1-13所示。图1-13　大数据存储及管理技术技术4：大数据分析及挖掘技术

由于数据来源渠道多样，要想将搜集来的数据变成有价值的数据，必须通过数据分析与挖掘技术的处理。

1.大数据分析技术

大数据分析技术主要包括如图1-14所示内容。图1-14　大数据分析技术

2.大数据挖掘技术

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

从挖掘任务和挖掘方法的角度，着重突破如图1-15所示的内容。图1-15　大数据挖掘技术着重突破的内容

图示说明：（1）数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观地感受到结果。（2）图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。（3）预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。（4）语义引擎需要设计达到足够的人工智能以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。（5）数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。技术5：大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于如图1-16所示的三大领域。图1-16　大数据的重点应用领域

比如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。第四节　大数据的发展趋势

近几年，我国对大数据发展高度重视。在2015年，国务院明确了关于促进大数据发展的总体战略，国家相关部门积极推进有关工作。未来几年，大数据产业整体发展将呈现出以下七大趋势。趋势1：国家战略推进大数据行动

我国对大数据发展高度重视。2015年8月，《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号）发布，明确了发展大数据的指导思想、发展目标和发展任务，为未来我国大数据发展与应用指明了方向。2015年10月，《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》发布，提出要“实施国家大数据战略，推进数据资源开放共享。”在国家战略的引领下，相关部门正在组织开展相关工作，20多个省市已经发布了促进大数据发展的政策文件。

展望未来，在大数据战略的引领下，依托纲要的贯彻实施，我国将在图1-17所示的方面取得显著进展。图1-17　大数据的发展趋势

同时将有更多地方加快推进大数据发展，并在如图1-18所示的领域进行品牌宣传支持和培育出一批具有代表性的大数据应用。图1-18　大数据未来的发展领域趋势2：需求导向助力大数据贴近应用

虽然各方面已经认识到大数据的重要性，但是对大数据应用的思路、模式、方法多不清楚，影响了大数据的落地。其中的重要原因之一在于未能将大数据应用与工作生活实际需求结合起来。2015年，我国提出了“十三五”期间创新、协调、绿色、开放、共享五大发展理念，发布了《中国制造2025》和“互联网+”行动指导意见，在稳增长、调结构、促改革、惠民生等方面提出了许多具体的发展场景，为大数据走入工作、走入生活明确了指向和目标。

未来几年，大数据将在如图1-19所示的几个方面不断发展。图1-19　大数据将贴近应用趋势3：将推动智能制造和制造强国建设

加快建设制造强国，是构建产业新体系、增强我国综合国力的重要战略，实施智能制造工程，是构建新型制造体系、建设制造强国的重要内容。大数据作为新一代信息技术和产业发展的重要方向，对制造业研发设计、生产制造、经营管理、销售服务等全产业链具有重要影响，是实现智能制造的核心动力，为建设制造强国提供了难得机遇。《中国制造2025》中明确要求促进大数据在企业研发设计、生产制造、经营管理、销售服务等全流程和全产业链的综合集成应用。

展望未来，以《中国制造2025》实施为依托，将有越来越多的企业更加注重整合、分析制造设备数据、产品数据、订单数据以及生产过程中产生的数据，能够使生产控制更加及时准确，生产制造的协同度和柔性化水平显著增强，从而给制造业配备上“大脑”，使之能灵活应对各种业务场景，实现真正的智能。如图1-20所示。图1-20　大数据推动智能制造趋势4：公众参与推动政务大数据发展应用

由各级各类政府部门及公共机构掌握的政务数据，是现阶段我国数量最庞大、价值密度最高的一类数据资源，该金矿若能被挖掘利用，将有效提高我国社会信息化水平和全社会发展质量。《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》（国办发〔2015〕51号）已在此方面提出细致明确的工作内容。从实践看，政府部门自身的信息技术应用能力有限，要在短时间内实现政务大数据的充分应用将面临较高门槛。因此，发挥公众力量将是必然选项。

比如，2015年，上海市尝试开放涵盖政府部门、事业单位、公共服务企业等单位10大领域、总容量达上千GB的交通大数据，征求缓解拥堵、便利出行的大数据应用方案，率先进行了有益尝试。

展望未来，将有更多政府部门主动引入社会力量，通过合理有序开放政务数据资源及政府购买服务、协议约定、依法提供等方式，依靠公众智慧，推动政务大数据的发展与应用。趋势5：加速推动信息惠民向纵深发展

要构建以人为本、惠及全民的民生服务新体系，就必须依托大数据，发现民生需求，丰富服务种类，提高服务质量，在图1-21所示的方面不断满足人民群众日益增长的个性化、多样化需求，加快民生服务普惠化。图1-21　大数据将加速民生领域发展《促进大数据发展行动纲要》中明确提出了医疗健康服务大数据、社会保障服务大数据、教育文化大数据、交通旅游服务大数据4项公共服务大数据工程，《国务院关于积极推进“互联网+”行动的指导意见》（国发〔2015〕40号）也要求用好大数据等手段，加快发展基于互联网的医疗、健康、养老、教育、旅游、社会保障等新兴服务。

展望未来，结合大数据战略和“互联网+”行动的实施，各个地方将加快大数据在民生领域的应用探索和普及推广，使大数据更加深入地走进百姓日常生活中，真正实现智慧生活、信息惠民。趋势6：加快探索交易中心模式走向成熟

大数据交易可以打破信息孤岛及行业信息壁垒，汇聚海量高价值数据，对接数据市场的多样化需求，完善产业生态环境，实现数据价值的最大化，对推进大数据产业创新发展方面具有深远意义。

我国多地对大数据交易非常重视，已经建立或宣布建立的有中关村数海大数据交易平台、贵阳大数据交易所、武汉东湖大数据交易中心、河北大数据交易中心等交易载体，京东等企业也开始为数据提供方和需求方提供数据交易的开放。

客观来看，国内大数据交易还处于初级阶段，规范尚未统一，发展模式也处于摸索过程中。未来，伴随各行业数据交易需求的日渐强烈，大数据资产属性日益凸显，在数据隐私保护、数据交易规范等日臻完善情况下，将诞生一个万亿级的交易市场。

展望未来，依托各地已建、在建的交易载体，数据交易市场试点将快速推进，数据资源交易机制和定价机制将初步建立，数据交易行为将走向成熟。趋势7：人工智能市场化、产业化取得新进展

2105年已经成为人工智能技术标志性的一年。

比如，国外的IBM、谷歌、Facebook、微软等巨头企业以自己的人工智能实验室为依托，在照片识别、机器翻译、决策助手等领域推出了一大批有显著创新性的技术和产品；一些创业公司的研发成果也被应用到大数据智能采集与分析，以及医学诊断、环境科学、无人驾驶、虚拟现实/增强现实等领域。国内的百度宣布，其“百度大脑”目前已达到3～4岁小孩的智力水平。这些成果的取得与大数据密不可分。《国务院关于积极推进“互联网+”行动的指导意见》中已明确将人工智能作为重点布局的11个领域之一。同时，IBM提出了认知计算的概念，要加快推动人工智能在医疗保健、零售、金融、饮食等垂直行业的市场化进程，使人工智能和实际应用实现了紧密联系。

展望未来，人工智能领域的发展必然会引发各大企业和各国家、地区的重视，市场化、产业化步伐有望进一步加快，而大数据将在此领域发挥更加重要作用。相关链接全球大数据的发展趋势大数据技术将在开源环境下不断提升，大数据产业将依赖快速聚集的社会资源，在数据和应用驱动的创新下，不断丰富商业模式，构建出多层多样的市场格局，大数据产业生态也将得到不断完善。大数据产业将成为引领信息技术产业发展的核心引擎，推动社会进步的重要力量。一、开源成为技术创新主要模式经过多年来的高速发展，大数据相关的数据采集、存储、分析、可视化等多个基础性技术领域已经取得较大的突破，形成了实用性强、稳定度高的技术能力，大数据整体技术体系已初步构建完成，未来大数据技术的发展方向将主要集中在非结构化数据的价值提取方面。从大数据技术的发展历程上可以看出，大数据核心技术如分布式存储、云端分布式及网格计算均依赖于开源模式，即通过开放式的平台，吸引全球开发者通过开源社区来进行代码的开发、维护和完善，从而集全球智慧推动大数据技术的不断进步，当前全球各大企业加大了对开源社区的赞助和智力投入，开源社区在大数据技术进步中将占据核心地位，开源模式将成为大数据技术创新的主要途径。同时，大数据的技术发展与物联网、云计算、人工智能等新技术领域的联系将更加紧密，物联网的发展将极大提高数据的获取能力，云计算与人工智能将深刻地融入数据分析体系，开源模式在新技术的发展中举足轻重。二、大数据聚集资源能力更加明显大数据技术已经在商贸、交通、城市管理等多个领域中得到了应用，各产业领域未来的发展方向几乎都能和大数据挂钩，社会各界对大数据的未来充满信心，大数据产业正成为社会各类资源的聚集地。随着大数据产业的不断成熟，其对社会资源的吸引力将进一步加大。各国政府均将发展大数据作为推动信息技术产业发展的重心，大数据成为“政策资源”的聚集地。美国、欧盟、日本、韩国等发达国家及地区均将发展大数据作为重要的国家战略，印度、俄罗斯等国家更是将发展大数据产业视作实现经济赶超的黄金机遇。中小微企业和创业者对大数据热情高涨，大数据成为“智力资源”的聚集地。大数据产业是典型的知识密集型服务业，智力是大数据产业发展的推动力。当前，越来越多的中小微企业和创业者投身到大数据产业，力图依靠新兴技术获取快速发展。社会各界加大了对大数据的投资，大数据成为“金融资源”的聚集地。近年来，全球各大企业对大数据的投入不断增加，不仅设立自己的大数据研发和应用中心，还通过并购等方式加大对大数据产业的布局。大数据创业企业也吸引了更多的市场关注，因而更容易获得投资机构的资金支持。三、数据和应用将成为驱动创新的主动力当前，大数据的技术体系逐步完善，大数据技术的开源模式有效降低了产业技术的壁垒，基础技术在大数据创新中的作用依然存在，但其重要性将逐步降低，大数据创新将更多地依赖于数据驱动和应用驱动。数据驱动创新源于大数据的基础技术体系。在大数据技术体系中，数据的采集是一切的基础，而数据存储、分析、可视化均与数据模式紧密相关，传统的结构化数据将不再成为大数据中重点关注的内容，而大量存在的非结构化数据和半结构化数据带来的技术和应用领域是大数据的蓝海。多样类型的数据分析、复杂的数据组合、多源的数据融合等问题将成为大数据创新的重要聚焦点。应用驱动创新源于大数据的价值释放机制。大数据应用的基础是数据的采集、存储等环节，而大数据的市场价值主要体现在对海量数据的分析和可视化。在不同行业中，大数据应用需求也不尽相同，数据的分析手段、可视化方式均有所区别，因此符合实际应用需求的价值获取将是未来大数据关注的重点，应用将驱动大数据解决方案提供商采取不同的数据源，使用不同的数据分析方法，进而推动产业创新。四、商业模式伴随连接层次的加深不断创新在大数据技术体系中，数据是各方连接的中心，而核心价值也是在不同的连接中体现的，大数据的商业模式将根据连接方式的不断拓展而持续创新。大数据中初级的连接方式是数据源和中心的连接，从而带来了数据托管和数据交易商业模式。数据托管是当前最为成熟、最为普遍的大数据商业模式，本质是发挥规模效应从而降低数据信息的存储和查询成本。数据交易平台促进了大数据链的上下游整合和横向的多种产业整合，当前如亚马逊、微软等企业均建立了数据商店。大数据中级的连接方式是数据和价值的连接，数据关系挖掘和沉淀价值利用的商业模式应运而生。关系挖掘是当前主流的大数据商业模式，是数据科学的主要应用方式，通过数据发现隐藏的相关性，从而实现商业指导、精准服务、决策服务。沉淀价值利用是将传统无意义或垃圾数据进行利用，从而得出有价值的结论，是大数据技术能力的重要体现。大数据中高级的连接方式是需求和供给的连接，其商业模式如数据社交O2O。在这种模式中，数据成为连接网络各个节点的中介，个体作为网络节点可以通过数据相连，而大数据可以促进网络中个体间的交流，从而有效降低需求和供给之间的连接成本。五、市场格局将呈现多层多样竞争态势大数据正处在快速发展期，市场上呈现出各类企业竞相参与共同发展的态势。随着大数据的不断成熟，市场格局也将随之变化，呈现出截然不同的态势。在数据采集领域，互联网企业根据自身的优势展开激烈的竞争。大数据数据源主要来源于三个方向：互联网数据、政府数据和企业数据，由于后两类数据的采集主体一般不变，市场相对稳定，而对于互联网数据，全球各大互联网企业已经认识到数据的价值，将在数据获取入口等方面展开激烈的竞争，小型企业在该领域很难有所作为。如我国百度、腾讯、阿里分别重点掌握着搜索、社交和电商数据。在数据存储和交易领域，市场将呈现平台化发展趋势，大型企业将占据一定的优势。未来，随着云端数据中心的不断推进和企业存储能力的开放，数据存储将会更趋于集中，大型数据平台将应运而生。在该领域，传统大型IT企业和大型互联网企业将依靠其技术能力和数据资源，占据绝大多数的市场份额。在数据分析和可视化等领域，市场将呈现多样化、定制化发展趋势，各类企业特别是中小企业将成为市场的主力。一方面，大数据技术的开源特征和企业级计算能力的开放使得大数据分析的技术门槛逐步降低；另一方面，应用需求的多样化使得定制化服务成为主流，小型企业能够获得更多的市场发展空间。当前，很多大数据创业企业均是针对该领域企业，为其提供各类多样化、定制化的服务方案。六、数据安全保障能力得到提升健全的数据分级制度为数据开放提供保障。当前大数据应用主要集中在互联网领域和政府治理两个方面。对于互联网数据，其中包含着大量的个人用户数据，个人隐私的保护不仅关系到个人的财产安全，还关系到社会的诚信建立和歧视消除，关系到大数据未来的健康发展。对于政府数据，其中包含着事关国家发展的数据，其可能对国家安全产生影响。数据开放已成为各界共识，健全的数据分级制度将在政府和产业界的共同努力下得以实现。更加完善的技术审查制度为技术开放带来支撑。大数据技术的开源性是技术开放的核心体现，其具有两方面作用：一是降低了企业进入大数据领域的技术门槛，使得大数据领域充满活力，促进产业的快速发展；另一方面也使不法分子有了获取不当利益的技术手段，如通过大数据技术定向获取个人隐私，这将极大地危害整个产业发展，可能促使技术能力逐渐转为封闭。为了保证产业的快速健康发展，更加完善的技术能力提供和完备的审查机制将是政府和产业界的工作重点。总体看，2017年全球大数据产业规模将继续扩大，加速发展趋势不变，我国应着眼于产业发展趋势，进一步布局大数据领域发展。一是促进政产学研用联合，积极利用开源模式和开放社区资源，加强大数据共性基础技术研发。二是制订实施政府数据开放计划，确立数据开放的机制、重点开放领域和实施步骤，推动公共数据资源适度、合理地跨部门分享和向社会开放。三是充分发挥政府及公共服务部门的引领和表率作用，加强大数据分析和应用，选择关系国计民生的重点行业领域，以应用模式创新和商业模式创新为重点，开展试点示范。四是妥善处理好发展创新和安全规范的关系，审慎监管、保护创新，探索和完善安全管理规范措施，切实保障数据安全。第二章企业迈入大数据时代

随着网络、特别是移动互联网络的快速发展，大数据已渗透到了我们工作与生活的方方面面，也正使得我们生活、工作以及思维方式发生巨大变化。无论是一个国家、一家企业，还是我们每一个人，都将受到大数据时代的影响。阅读指引从来没有哪一次技术变革能像大数据革命一样，在短短的数年之内，从少数科学家的主张，转变为全球领军公司的战略实践，继而上升为大国的竞争战略，形成一股无法忽视、无法回避的潮流。图示说明：① 在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。② 基于云计算的大数据环境影响到企业信息收集方式、决策方案选择、决策方案制定和评估等决策实施过程，对企业的管理决策产生影响。③ 大数据通过相关性分析，将客户、用户和产品进行有机串联，对用户的产品偏好，客户的关系偏好进行个性化定位，生产出用户驱动型的产品，提供客户导向性的服务。④ 在大数据战略的引领下，依托纲要的贯彻实施，我国将在大数据产业规划编制、地方大数据试点、大数据关键产品研发和产业化、大数据基础设施建设、大数据标准体系建设等方面取得显著进展。第一节　大数据转化企业思维

对于企业而言，尤其是中小型企业，身处大数据浪潮当中要想自身也利用大数据来参与市场竞争，首先要做的就是思维转换。谁具备了大数据思维，谁就能成为未来最大的赢家。转化1：样本思维向总体思维的转变

以往，在研究社会现象的总体特征时，采样为获取数据的主要手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。

在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法。具体如图2-1所示。图2-1　大数据时代的总体研究法

相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。转化2：精确思维向容错思维的转变

在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。

然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这将给人们带来如图2-2所示的影响。图2-2　大数据时代带来的思维影响

在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。转化3：因果思维向相关思维的转变

在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。

而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。

通过关注线性的相关关系，以及复杂的非线性相关关系，有如图2-3所示的好处。图2-3　关注线性相关关系的好处

相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。转化4：自然思维向智能思维的转变

不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。

但是，大数据时代的到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。

众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。具体如图2-4所示。图2-4　大数据的智能思维能力“智能、智慧”是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。小看点大数据时代将带来深刻的思维转变，不仅将改变每个人的日常生活和工作方式，改变商业组织和社会组织的运行方式，而且将从根本上奠定国家和社会治理的基础数据，彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况，使得国家和社会治理更加透明、有效和智慧。相关链接中小企业的“数据借力”之道对中小企业而言，购买大数据，雇佣专业团队成本偏高，建立大数据思维、理智对待大数据应用的热潮才能将数据对企业决策的影响最优化。中小企业“数据借力”可以尝试以下几种方法：第一，做好数据价值调研。企业在购买搜索关键字、投放DSP（精准定位人群）的广告等大数据业务前，要先做调研，对数据是否能带来期望的商业回报做到心中有数。比如，可以考察行业内是否有较多成功案例再做决定。若成功案例不多，必然有一些难以跨越的障碍，购买前就需要三思。第二，确认核心数据属性，建立海量数据与核心数据以及内部数据与外部数据间的关联标准。在此方面企业可遵循以下步骤：第一步，确立核心数据标准。比如，CRM（客户关系管理）和客户营销数据一定是核心数据。第二步，归档外围数据。比如，将线上线下举办的推广活动中收集的消费者的信息，归纳入CRM的系统。第三步，扩展常规上下游渠道的数据。比如，做快销行业的企业，就可以尽量获取沃尔玛、家乐福的数据，并与自己的CRM结合，为企业下一步做市场营销、推广、产品创新等建立指导。第四步，与社会化媒体数据建立联系。社会化媒体产生的数据是外围数据的一个重要来源，对于中小企业而言，它们在客户的获取和营销上没有强大的运营平台，因此社会化媒体产生的数据，对它们来说尤为重要。但如果只搜集而没有跟这些数据的发布者建立联系，那么这些数据就毫无价值。第三，用虚拟人脉交换来获取数据。对中小企业而言，数据的缺失是一种常态，但它们可以通过扩展人脉，来加强对数据的获取能力。比较常见的做法是建立企业自媒体。传统的虚拟人脉的建立主要基于社交媒体上的互粉、互相介绍，而企业自媒体的人脉互相交换，则能更好地各取所需，在不同行业领域交换。企业还可以通过线下人脉寻找优质的高端群体用户。优质用户虽然人数不多，但通过收集其详细资料、分析其行为爱好，将相关分析存储到自己的系统中，就能形成优质的大数据资源。第四，在关注大数据的同时要关注好小数据。企业的大数据起步，要从小数据开始，从核心数据开始。以业务为主导做好小数据，有助于企业做好企业内部的精细化管理、对市场的观察，以及未来发展方向的规划。第五，赋予高管更多的权力。做好大数据应用需要企业内部建立大数据文化，比如，灵活的部门间协作机制，管理人员使用数据分析模型的习惯养成等。这就要求企业赋予高管更多的决策权，以帮助其突破制度限制、协调资源、协同合作，更积极主动地应对大数据挑战。大数据不是大企业所拥有的特权。所有企业都可以通过各种手段因地制宜地打造自身在数据获取和分析上的能力，以面对新经济环境的挑战。第二节　大数据变革企业管理

大数据的爆炸式增长在大容量、多样性和高增速方面，全面考验着现代企业的数据处理和分析能力；同时，也为企业带来了获取更丰富、更深入和更准确地洞察市场行为的大量机会。变革1：企业管理思想的转变

大数据时代的来临改变了企业的内外部环境，引起了企业的变革与发展。企业越来越智能化，管理实现了信息化。企业中的数据收集、传输利用需要现代管理思想的支撑。具体表现如图2-5所示。图2-5　大数据转变企业管理思想

传统的企业封闭式管理模式已经不能应对瞬息万变的全球化经济，现代企业在大数据时代下要对自身的运营管理模式进行深度改革，在管理上紧跟时代的步伐，通过数据反映管理问题，根据数据信息转变管理模式。

实际上，基于大数据的新型企业管理理念正在迅速发展，这种新理念也将为企业带来新的、更高的商业价值。现代企业应具备如图2-6所示的新型管理模式。

试读结束[说明：试读内容隐藏了图片]

下载完整电子书