作者：金江军
出版社：中信出版社
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
大数据党政领导干部一本通试读：
前言
数据是基础性资源，也是重要的生产力。大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。
党的十八届五中全会提出实施国家大数据战略。党的十九大提出推动互联网、大数据、人工智能和实体经济深度融合，建设网络强国、数字中国和智慧社会。深化开展大数据在党政部门的应用，是推进国家治理体系和治理能力现代化的重要手段。大力发展以大数据产业为代表的数字经济，是加快新旧动能转换、建设现代化经济体系、推动高质量发展的重要举措。
2015年8月底，国务院印发了《促进大数据发展行动纲要》。《“十三五”行政机关公务员培训纲要》提出加强大数据思维方面的培训。为了让广大领导干部全面、系统地学习大数据方面的知识，树立“用数据说话，用数据管理，用数据决策，用数据创新”的大数据思维，笔者编写了本书。
本书首先论述了大数据的兴起背景、重要意义、主要特点和相关技术，以及领导干部的大数据思维和政府大数据，介绍了美国、英国、德国、法国、澳大利亚、日本、韩国、中国的大数据应用和大数据产业发展情况，以及贵州、京津冀、珠江三角洲、上海、河南、重庆、沈阳和内蒙古八个国家大数据综合试验区的建设情况。然后，本书阐述了如何以大数据提高党的执政能力，以大数据促进决策科学化，实现市场的精准监管和社会的精准治理，提升公共服务水平，促进健康城镇化，推进国家治理体系和治理能力现代化。最后，本书论述了如何以大数据推进工业、农业、商贸流通和旅游业等传统产业优化升级，如何发展大数据产业和数字经济。
本书结合《促进大数据发展行动纲要》《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》和《大数据产业发展规划（2016—2020年）》等国家有关政策文件，通过讲理论、讲方法、讲技术、讲案例、讲政策，系统地阐述了什么是大数据，党政机关和企业如何应用大数据，地方政府如何发展大数据产业和数字经济。
许多党政部门和企事业单位对我们的大数据专题调研工作给予了大力支持与积极配合，中央党校一些省部班、中青班、厅局班和县委书记班学员对本书提出了宝贵的意见和建议，在此一并表示感谢。由于笔者研究水平、编写时间有限，书中纰漏在所难免，敬请广大读者予以批评指正。金江军2018年1月1日 第一章绪论
大数据（big data）是信息化发展的新阶段。随着信息技术和人类生产生活交汇融合，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、国家管理、人民生活都产生了重大影响。世界各国都把推进经济数字化作为实现创新发展的重要动能，在前沿技术研发、数据开放共享、隐私安全保护、人才培养等方面做了前瞻性布局。大数据发展的背景和意义
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。发展背景
随着全球信息化的深入发展、互联网的普及和物联网的广泛应用，世界各国的数据量急剧增长。大数据的概念最早是由美国易安信（EMC）公司于2011年5月提出的。2011年6月，国际数据（IDC）公司发布了题为《从混沌中汲取价值》的报告。根据该报告，全球数据量大约每两年翻一番。全球过去三年内产生的数据量比以往4万年产生的数据量还要多。2010年，全球数据量跨入ZB（泽字节）时代，预计到2020年全球数据量将达到35 ZB。数据量的计量单位如表1–1所示。表1–1 用以表示数据量的单位
随着电子商务、物联网、社交网络等的发展，新的数据源和数据采集技术不断出现，使数据类型不断增多，各种非结构化的数据增加了大数据的复杂性，使传统数据库技术无法对其进行高效的分析。在互联网时代，数据的移动已成为信息系统最大的开销。信息系统需要从“数据围着处理器转”转变为“处理器围着数据转”。
麦肯锡公司认为，许多行业都可以利用大数据提高市场资源配置效率，减少不必要的浪费，促进新想法和新见解的产生。大数据技术的应用对各个行业都具有重要意义，在某些行业将产生更大的收益。虽然许多行业都呈现出大数据增长的态势，但不同行业的数据量有所不同，数据产生和存储的类型也有所区别。政府、金融、电信、互联网、航空等行业的数据量规模较大，比其他行业更加具有通过大数据来创造价值的潜力。例如，金融、电信行业拥有大量用户，通过客户细分和自动化算法可以从利用大数据中获取非常大的收益。互联网公司收集了大量的用户在线行为数据，必将通过应用大数据而大幅获益。
值得指出的是，大数据的真正意义不在“数据量大”，而在于通过数据分析、比对、挖掘等发现新知识、创造新价值、提升新能力。重要意义
在全球范围内，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势，有关发达国家相继制定实施大数据的战略性文件，大力推动大数据的发展和应用。目前，我国互联网、移动互联网用户规模居全球第一，拥有丰富的数据资源和巨大应用市场优势，大数据部分关键技术的研发取得突破，涌现出一批互联网创新企业和创新应用，一些地方政府已启动大数据相关工作。坚持创新驱动发展，加快大数据部署，深化大数据应用，已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要与必然选择。1.大数据成为推动经济转型发展的新动力
以数据流引领技术流、物质流、资金流、人才流，将深刻影响社会分工协作的组织模式，促进生产组织方式的集约和创新。大数据推动社会生产要素的网络化共享、集约化整合、协作化开发和高效化利用，改变了传统的生产经营方式和经济运行机制，可显著提升经济运行水平和效率。大数据持续激发商业模式创新，不断催生新业态，已成为新旧动能转换的重要驱动力。大数据产业正在成为新的经济增长点，将对未来信息产业格局产生重要影响。2.大数据成为重塑国家竞争优势的新机遇
在全球信息化快速发展的大背景下，大数据已成为国家重要的基础性战略资源，正引领新一轮科技创新。充分利用我国的数据规模优势，实现数据规模、质量和应用水平同步提升，发掘和释放数据资源的潜在价值，有利于更好地发挥数据资源的战略作用，增强网络空间数据主权保护能力，维护国家安全，有效提升国家的竞争力。3.大数据成为提升政府治理能力的新途径
大数据应用能够揭示传统技术方式难以展现的关联关系，为有效处理复杂的经济社会问题提供新手段。树立“用数据说话，用数据管理，用数据决策，用数据创新”的大数据思维，有利于促进决策科学化，行政管理精细化和精确化，公共资源配置合理化，公共服务人性化，创新市场监管和社会治理模式，提高政府运行整体化和智能化水平，加快构建整体政府、智慧政府、开放政府和服务型政府等新型政府，推进政府治理体系和治理能力现代化。
随着我国信息化建设的深入，许多政府部门和企事业单位都积累了海量的数据资源，迫切需要利用大数据技术对这些数据资源进行处理、分析和挖掘，提高政府部门的行政效能，提高企业的生产经营水平，使海量的数据资源转化为巨大的社会财富。大数据发展日新月异，我们应该审时度势、精心谋划、
超前布局、力争主动，深入了解大数据发展现状和趋势及其
对经济社会发展的影响，分析我国大数据发展取得的成绩和
存在的问题，推动实施国家大数据战略，加快完善数字基础
设施，推进数据资源整合和开放共享，保障数据安全，加快
建设数字中国，更好服务我国经济社会发展和人民生活改
善。——习近平总书记在主持中共中央政治局第二次集体学习时的讲话大数据特点和相关技术主要特点
信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家的基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动，以及经济运行机制、社会生活方式和国家治理能力产生重要影响。大数据的特征可以归结为五个V和一个C。（1）差异化（variety）程度高。数据种类繁多，来自不同的单位和部门，在编码方式、数据格式、数据标准等方面存在差异，大数据集包含大量的异构数据。（2）数据量（volume）极大。随着物联网技术的广泛应用，通过各种设备产生的海量数据，其数据规模极为庞大，远大于目前互联网上的信息流量，PB级别是常态。谷歌每天处理的数据量超过20 PB，为了存储这些数据，谷歌公司在全球建设了一批数据中心，如图1–1所示。图1–1 谷歌的数据中心（3）处理速度（velocity）快。涉及感知、传输、决策、控制开放式循环的大数据，对数据实时处理有着极高的要求，通过传统数据库查询方式得到的“当前结果”很可能已经没有价值。为了提高大数据集的处理速度，目前人们普遍采用云计算、实时数据库等技术。（4）时效性（vitality）强。大数据分析结果，只有在特定的时间和空间中才有意义。如果在需要时拿不到大数据分析结果，大数据分析就失去了现实意义。（5）分析结果可视化（visualization）。可视化在数据工作流中将同时起到解释和探索的作用，数据科学家会将可视化作为寻求问题以及探索数据集新特性的一种方式。数据可视化可以帮助领导干部直观地进行决策。（6）复杂度（complexity）高。通过数据库处理持久存储的数据不再适用于大数据处理，需要新的方法来满足异构数据统一接入和实时数据处理的需求。大数据分析需要建立复杂的专业模型。
对于党政部门来说，发展大数据无论对“稳增长、调结构、转方式、惠民生、扩内需”，推进供给侧结构性改革，还是推进国家治理体系和治理能力现代化，都具有十分重要的现实意义。相关技术
大数据相关技术包括数据仓库、数据集市、联机分析处理、数据挖掘、数据可视化、Hadoop等，我们简要分析一下后三种技术。1.数据挖掘
所谓数据挖掘（data mining，DM），是指从数据库的大量数据中揭示出隐含的、先前未知的且有潜在价值的信息的过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。例如，零售公司跟踪客户的购买情况，发现某个客户购买了大量真丝衬衣，这时数据挖掘系统就在此客户和真丝衬衣之间创建关系。销售部门就会看到此信息，直接将真丝衬衣的当前行情以及所有关于真丝衬衣的资料发送给该客户。这样零售商店通过数据挖掘系统就发现了以前未知的关于客户的新信息，并且扩大了经营范围。2.数据可视化
数据可视化是指将数据库中的每一个数据项作为单个图元（primitive）元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示。用户可以从不同的维度观察数据，从而对数据进行更深入的观察和分析，如图1–2所示。图1–2 数据可视化示例
目前数据可视化技术分为基于几何的数据可视化技术、面向像素数据的可视化技术、基于图标的数据可视化技术、基于层次的数据可视化技术、基于图像的数据可视化技术和分布式数据可视化技术等。
随着虚拟现实技术的发展，大数据分析结果可以在虚拟空间中展现，用户可以在虚拟空间中直观地观察大数据分析结果。3. Hadoop
Hadoop由Apache软件基金会研发，是一个能够对大数据进行分布式处理的软件框架，能够以一种可靠、高效、可伸缩的方式对大数据进行处理。
Hadoop的可靠性高，它假设计算元素和存储会失败，为此会维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级的数据集。
近年来，物联网、云计算、移动互联网、人工智能、虚拟现实等新一代信息技术飞速发展。大数据与这些新一代信息技术密切相关，例如，物联网可以采集数据，云计算可以处理数据，移动互联网可以传输数据，人工智能可以分析数据，虚拟现实可以展示数据。领导干部的大数据思维
领导干部的大数据思维是指领导干部要用数据说话，用数据管理，用数据决策，用数据创新，善于运用大数据解决经济社会发展过程中出现的实际问题，通过大数据创新党建模式、经济调节模式、市场监管模式、社会治理模式和公共服务模式等。用数据说话
从历史文化传统来看，许多中国人善于感性思维，不善于理性思维。许多领导干部往往凭感觉说话，喜欢用“大概”“可能”等模糊词语来描述事物，难以准确掌握真实情况。有些领导干部说话头头是道，但拿不出令人信服的数据，难以服众。为此，领导干部要改变过去凭感觉说话的习惯，要用数据说话。在工作中，领导干部要对数字敏感，善于用数据摆事实、讲道理，用数据分析现状，用数据发现问题，用数据分析态势。用数据管理
历史学家黄仁宇提倡的“数目字管理”，其实就是指用数据管理。1979年，黄仁宇出版了《万历十五年》，从大历史的角度提出一个新的看法，即走向衰败的原因无关道德和个人因素，而是在技术上不能实现“数目字管理”。
我国许多政府部门的管理之所以比较粗放，就是因为信息化建设水平低，没有用大数据进行管理。其实，如果用大数据进行管理，许多市场监管和社会治理的漏洞都可以堵住，如偷税漏税、骗保、重婚等。
近年来，数据驱动管理理论在西方国家行政管理学界逐渐兴起。许多行政管理领域的专家学者已经意识到大数据对政府管理的重要性。领导干部要学会通过大数据提高行政效能，以大数据推进国家治理体系和治理能力现代化。用数据决策
许多领导干部凭经验决策，习惯采用“拍脑袋”的决策方式，容易造成决策失误。因为我国现在正处于经济社会转型时期，经济社会状况的变化速度很快，政策形势的变化速度也很快，经验往往靠不住。如今，领导干部决策失误，是要终身问责的，一旦决策失误，轻则挨处分，重则降职甚至免职，影响今后的仕途。为此，领导干部必须要用数据决策，把相关数据作为决策的客观依据，提高决策水平，促进决策科学化。用数据创新
党的十八届五中全会提出五大发展理念，其中第一大发展理念就是创新发展。党中央、国务院把创新驱动发展战略作为中国今后一段时期的经济社会发展战略。对于领导干部，要推进政府创新，包括政府管理创新、公共服务创新等。在大数据时代，要运用大数据创新市场监管模式，创新社会治理模式，创新公共服务模式等，实现对市场的精准监管、社会的精准治理，“让数据多跑腿，群众少跑腿”。欧美发达国家都非常重视用大数据开展政府创新工作，纽约警察局的CompStat、巴尔的摩市政厅的CitiStat，都曾获得哈佛大学肯尼迪政府学院的政府创新奖。中国各级党政部门也要积极运用大数据，创造性地处理公共事务。
山东省委常委、青岛市委书记张江汀认为，大数据不仅是一项新技术，更是一种思维方式。大数据思维要在过去传统管理思维的基础上，更加注重数据支撑、理性分析、实证研究和区别对待，实现管理的现代化、科学化和精细化。政府大数据
数据是行政管理的基础，是政府的重要资产。目前，中国发展政府大数据有需求、有基础，是必要的，也是可行的。发展政府大数据的必要性
自2014年3月“大数据”首次写入《政府工作报告》以来，李克强总理在许多场合提及大数据，并反复强调要用好大数据这一基础性战略资源。
发展政府大数据是促进政务信息资源开发利用的必然要求，是提高政府决策科学化水平的必然要求，是提高政府管理精细化水平的必然要求，是促进现代服务业发展的必然要求。1.发展大数据是促进政务信息资源开发利用的必然要求
加强信息资源开发利用、提高开发利用水平，是落实科学发展观、推动经济社会全面发展的重要途径，是增强我国综合国力和国际竞争力的必然选择。2004年12月，中共中央办公厅和国务院办公厅印发了《关于加强信息资源开发利用工作的若干意见》（中办发[2004]34号），提出加强政务信息资源的开发利用。作为一种新型的信息资源开发利用技术，大数据技术是政府信息资源开发利用的重要手段。2.发展大数据是提高政府决策科学化水平的必然要求
随着信息化建设的深入，越来越多的政府部门进入“数据大集中”阶段，特别是垂直管理的政府部门。例如，国土资源部实施国土资源遥感监测“一张图”战略，基本建成了国家、省、市三级国土资源数据中心体系。政府数据中心不应只是存储数据的地方，而应采用大数据技术，对现有的海量数据资源进行分析和挖掘，辅助各级党政领导进行科学决策，避免领导干部因决策失误而被问责。3.发展大数据是提高政府管理精细化水平的必然要求
实践表明，采用大数据技术，开展数据驱动的城市管理，可以取得非常明显的成效。例如，纽约市警察局建立CompStat系统之后，凶杀案从1994年的1561宗下降到2009年的466宗；巴尔的摩市建立CitiStat系统，可以分析全市居民通过311电话反映的普遍问题，进而采取有针对性的措施处理这些问题。要实现中国目前城市管理的粗放式向精细化转变，必须发展大数据。4.发展大数据是促进现代服务业发展的必然要求
从发达国家的经验来看，开放政府数据可以有效促进现代服务业（特别是咨询行业）的发展。例如，美国国家海洋和大气管理局（NOAA）免费向社会开放气象数据，仅2008年就为发电厂节省了1.66亿美元。由于施行气象数据免费开放政策，2000年美国天气风险管理行业的产值是欧洲的60倍、亚洲的146倍。这是因为欧洲虽然开放气象数据，但使用者仍然需要支付一定的费用购买气象数据，而亚洲的许多国家则不开放气象数据。发展现代服务业是我国调整经济结构的重要途径，政府部门开放非涉密的公共数据，鼓励社会机构对公共数据进行开发利用，有利于促进我国现代服务业的发展。
充分运用大数据的先进理念、技术和资源，是提高政府服务和监管能力的必然要求，有利于政府充分获取和运用信息，更加准确地了解市场主体需求，提高服务和监管的针对性、有效性；有利于顺利推进简政放权，实现放管结合，切实转变政府职能；有利于加强社会监督，发挥公众对规范市场主体行为的积极作用；有利于高效利用现代信息技术、社会数据资源和社会化的信息服务，降低行政监管成本。发展政府大数据的可行性
一方面，中国政府的数据量已经初具规模。另一方面，大数据技术逐步成熟。1.中国政府的数据量已经初具规模
自2002年国家信息化领导小组出台《关于我国电子政务建设指导意见》以来，许多政府部门开展了大规模的电子政务建设。经过15年的电子政务建设，各级政府部门积累了大量数据。目前，绝大多数中央部委和省级政府部门的核心业务都有数据库支撑，核心业务数据库覆盖率超过80%。公安部建成了覆盖13亿人口的国家人口数据库。国家工商总局建成了企业法人数据库，民政部和中央编制办公室初步建成了社会团体和事业单位信息库，全国四级国土资源主管部门积累了近6000 TB的数据，国家统计局建成了统计信息库，国家发改委等国家部委建成了自然资源和空间地理基础信息库。此外，金融、税务、质检、人力资源和社会保障、教育等部门也都建成了一批数据库。2.大数据技术逐步成熟
近年来，IBM、甲骨文、谷歌等国际跨国IT（信息技术）企业积极开展大数据技术研发、企业并购和产品推广。例如，谷歌公司的MapReduce可以用于1 TB以上的数据处理，甲骨文公司的大数据机，IBM公司的数据实时分析产品InfoSphere Streams，Apache公司的Hadoop分布式数据处理系统。在国内，达梦、神舟通用、人大金仓等国产数据库软件企业也积极开展大数据技术研发和大数据产品研制，推出针对不同行业的大数据解决方案。目前，国内已经涌现出一大批大数据产品、服务和解决方案提供商。大数据在政府部门的应用情况
目前，大数据已在公安、工商、税务、旅游等部门得到应用，各政府职能部门大数据应用领域如表1–2所示。大数据中心是智慧城市的重要基础设施，要加快构建基于大数据的“城市大脑”。表1–2 政府职能部门大数据应用示例
大数据可以给政府部门带来以下六大价值。（1）领导决策科学化。大数据可以使领导干部的决策方式从“凭经验”转变为“用数据说话”，杜绝“拍脑袋决策，拍胸脯保证，拍屁股走人”现象，提高决策科学化水平，避免领导干部因决策失误被问责。（2）行政管理精细化、精确化。大数据可以使政府管理从“粗放管理”转变为“精细管理”，从“人海战术”转变为“精确管理”，提高政府管理水平。不少市场监管部门都反映人手不够，管不过来，必须运用大数据对市场主体实现分级分类管理，使有限的执法力量用在刀刃上，对违法分子进行精确打击。（3）公共资源配置合理化。大数据可以使医院、学校等基本公共服务资源、配套设施、执法力量配置科学化、合理化。例如，随着城镇化发展和人口跨区域流动，一个城市到底应该新建多少所医院、多少所中小学，建在什么地方比较合理，都应该用数据说话。（4）公共服务人性化。通过大数据分析，政府部门可以为企业和社会公众提供个性化、主动的公共服务，提高企业和社会公众对政府的满意度，使其有获得感。例如，根据公安部门的人口信息，可以识别出即将年满60周岁的人群，告知他们什么时间之后就可以到什么地方去办理老年证、需要提交哪些材料。（5）政府运行整体化。目前，我国条块分割的行政管理体制，容易导致行政碎片化。行政碎片化、信息化建设各自为政，是导致政府部门之间“信息不对称”的重要原因。而政府部门之间“信息不对称”是导致市场监管和社会治理漏洞的主要原因。通过政务信息资源的整合、信息系统的互联互通，实现跨部门信息共享和业务协同，可以破解行政碎片化问题，构建整体政府。（6）政府运作智慧化。大数据是智慧政府的关键技术之一。政府的“智慧”在很大程度上来源于大数据分析之后掌握事物全局情况、发现事物发展规律。大数据可以帮助公务员自动完成一些比对、分析工作，减少公务员的工作量。例如，通过跨部门数据比对和信息核查，自动剔除不符合条件的申请者。由人口、法人单位等基础信息库和电子证照、社会信用等专题数据库，自动生成一些信息，避免基层办事人员重复录入。 第二章国外大数据发展情况
为了促进经济发展，提高政府管理水平，美国、英国、德国、法国、澳大利亚、日本、韩国等许多发达国家都制定了大数据方面的发展战略和政策措施，积极推进公共数据资源开放，发展大数据产业。目前，大数据在许多发达国家的政府和企业都得到了应用。美国大数据发展情况开放政府计划
2009年5月，美国联邦政府宣布实施“开放政府计划”（Open Government Initiative），这项计划提出利用整体、开放的网络平台，公开政府信息、工作程序和决策过程，以鼓励公众交流和评估，增进政府信息的可及性，强化政府责任，提高政府效率，增进与企业及各级政府间的合作，推动政府管理向开放、协同、合作迈进。
与此同时，联邦政府开通了美国政府数据网站（www.data.gov）。只要不涉及隐私和国家安全的相关数据，均需在该网站公开发布。截至2017年8月，该网站拥有180多个机构提供的195384个数据集，涉及农业、气候、消费者、生态系统、教育、能源、金融、健康、地方政府、制造业、海事、海洋、公共安全、科研等领域，如图2–1所示。图2–1 美国政府数据网站
建立美国政府数据网站的目的是使美国民众更容易获取联邦政府各行政部门所产生的高价值的、机器可读的数据集。作为美国奥巴马政府提出的“开放政府动议”的优先项目之一，美国政府数据网站可以提升美国民众发现、下载和使用数据集的能力。这些数据集是联邦政府产生和拥有的。美国政府数据网站提供联邦政府数据集的描述（元数据）、关于如何访问数据集的信息、使用政府数据集的工具。随着数据集的增加，数据目录将不断增长。
公众的参与和协作是美国政府数据网站成功的关键。美国政府数据网站通过提供可下载的联邦政府数据集，美国民众可以以此建立应用，开展分析和研究，使他们能够更好地参与到政府工作中去。美国政府将依据民众的反馈、评论和建议对美国政府数据网站进行持续改进。
美国政府数据网站的一个主要目标是改善美国民众访问联邦政府数据的条件，打破政府和公众之间的数据壁垒，通过鼓励创新的想法（如Web应用）创造性地使用这些数据。美国政府数据网站努力使美国政府更加透明，并致力于使美国政府的开放程度达到前所未有的水平。来自美国政府数据网站的开放性将增强美国的民主，提高美国政府的效率和效能。
美国政府数据网站是可交互的、可探索的、社会化的政府数据网站。该网站提供了一个社区论坛，在这个论坛上，大家可以相互交流数据检索和使用心得。美国老师可以在教学过程中使用美国政府数据网站提供的数据，丰富学生的知识。美国政府数据网站具有语义网功能，方便美国民众获取所需的数据。该网站提供应用程序接口（API），美国民众可以开发自己的App（应用程序）。大数据研发计划
2012年3月，美国政府发布了“大数据研发计划”（Big Data Research and Development Initiative），旨在通过对采集来的庞大而复杂的数据进行分析，从中获得新的知识和洞见，加速科学发现，强化本土安全。
美国国防部、能源部、国家科学基金会、国家卫生研究所和联邦地质调查局等部门启动了一批大数据研究项目或行动计划，成立了一批大数据研究机构，如表2–1所示。表2–1 美国一些政府部门的大数据项目
美国能源部投入2500万美元用于建立可扩展的数据管理、分析和可视化研究所，帮助科学家对能源部超级计算机上的数据开展管理和可视化工作。核聚变研究室和高级科学计算研究室合作开发了一种新型数据管理技术，用于解决独特的数据融合问题。高能物理计算计划能够协助能源企业进行大数据管理。美国核数据计划是一个涉及7个国家实验室和两所大学的项目，旨在维护并提供连接专用数据库的路径。这些数据库跨越多个核物理领域，能够编译和交叉检测所有与原子核性质相关的实验结果。
大数据科学与工程核心技术研究计划由美国国家科学基金会和国家卫生研究所共同承担，主要研究大数据管理、分析、可视化，以及从大量多样、分散、异构的数据集中提取有用信息的核心技术，支持科学、工程、医学领域技术工具的开发和评估方面取得突破性进展，确保美国未来几十年在基础科技方面保持领先水平。
美国国家癌症研究所运用大数据开展癌症研究，实施了癌症成像存档（The Cancer Imaging Archive，TCIA）项目和癌症基因组图谱（The Cancer Genome Atlas，TCGA）项目。其中，TCIA项目提供癌症图像数据共享服务，促进医学信息开放和共享，为癌症研究和临床实践提供支持。TCGA项目将通过对大规模基因组测序等基因组分析技术的应用，加强对癌症从分子层面的认知。
国家心肺和血液研究所正在开展网格和数据的集成分析、匿名共享，提供心血管数据存储、整合、分析等服务。
影像信息学工具和资源交换中心（The Neuroimaging Informatics Tools and Resource Clearinghouse，NITRC）通过共享软件工具和数据集，促进影像信息学工具的传播、共享和演化。目前，450多个软件工具和数据集在该中心注册，点击率超过3010万。扩展影像学档案工具箱是一个开放源代码的影像信息平台，它可以提供保质保量的医学影像和相关数据。
国家通用医学科学研究所病例研究项目试图开发一个高度可靠、有效、灵活、准确且反应迅速、能够向病人报告健康状况的评估工具，帮助研究人员收集、存储和分析与病人健康状况有关的数据。
美国联邦地质调查局（USGS）约翰·威斯利·鲍威尔分析及合成中心通过给科学家提供地球科学领域大数据集以及各种数据整合、分析工具，促进地球科学家在气候变化、地震、生态学等领域不断产生创新性思维。
美国国土安全部卓越可视化和数据分析研究中心（The Center of Excellence on Visualization And Data Analytics，CVADA）通过对大量的异构数据进行研究，使急救员可以及时发现人为或自然灾害、恐怖事件、边境安全问题以及大规模网络威胁。
国家航空航天局（NASA）正在开展地球科学数据和信息系统（Earth Science Data and Information System，ESDIS）和全球对地观测系统（Global Earth Observation System of Systems，GEOSS）项目。ESDIS项目将用超过15年的时间处理、存档和发布地球科学卫星数据，提升科学家在气候和环境变化研究方面的能力。GEOSS是一个通过国际合作共享和整合地球观测数据的项目。NASA已经联合美国环保署、美国国家海洋和大气管理局（NOAA）以及其他机构和国家的力量，整合卫星、地面监测数据和建模系统，预测森林火灾、人口增长等。研究人员可以在短期内整合各种复杂的空气质量数据，更好地了解和解决空气质量对环境与人体健康的影响。
2011年3月11日，日本大地震发生后仅9分钟，NOAA就发布了详细的海啸预警。随即，NOAA通过对海洋传感器获得的实时数据进行计算机模拟，其制作的海啸影响模型出现在YouTube等网站。NOAA的快速反应得益于其全球范围内庞大的海洋传感器网络。通过这些置于海面和海底的传感器，NOAA源源不断地获取全球范围的海洋信息，并将这些信息存储在位于美国新泽西州的数据中心。NOAA的数据中心存储着超过20 PB的数据，是美国政府最大的数据库之一。为了在更短的时间内分析出准确的海啸活动趋势，NOAA一直在努力提升其对大数据进行处理的能力。
2013年11月，美国信息技术与创新基金会发布了题为《支持数据驱动型创新的技术与政策》的报告。该报告指出，“数据驱动型创新”是一个崭新的命题，其中最主要的包括“大数据”、“开放数据”、“数据科学”和“云计算”。一方面，数据规模不断膨胀，且可获性越来越大，极大地刺激了新技术和新方法的发展。另一方面，这些技术反过来又提高了原始数据的使用价值，激励着更广泛、更大规模的数据收集和应用。建议政府大力培养所需的有技能的劳动力，推动数据相关技术的研发。政府不仅要收集和提供数据，还要制定推动数据共享的法律框架，并提高社会公众对数据共享重大意义的认识。
2014年5月，美国发布《大数据：把握机遇，守护价值》白皮书，阐述了美国大数据应用与管理现状、政策框架和改进建议，指出在发挥大数据正面价值的同时，应该警惕大数据应用对隐私、公平等长远价值带来的负面影响，建议推进消费者隐私法案，通过全国数据泄露立法，将隐私保护对象扩展到非美国公民，对在校学生的数据采集仅应用于教育目的，在反歧视方面投入更多的专家资源，修订电子通信隐私法案。
2016年1月，美国联邦贸易委员会发布了一份题为《大数据：包容工具抑或排斥工具》的研究报告，分析了大数据的生命周期，大数据技术应用给消费者带来的利益和风险，探讨了应当如何利用大数据使人们既能充分享受其给社会带来的利益，又能最小化其法律和道德风险。英国大数据发展情况
英国政府开通了政府数据网站（www.data.gov.uk）。该网站具有搜索功能，使数据容易获取。这意味着英国人民可以在详尽的信息基础上对政府政策提出建议，从首相那里听到更多的透明政府议程。
截至2012年11月底，英国政府数据网站拥有8776个数据集，涉及商业和经济、环境、地图、犯罪和公正、政府、社会、国防、财政、城镇、教育、健康、交通等领域，如图2–2所示。
英国政府数据网站罗列了各个数据发布者的数据集，提供了数据发布者索引。用户也可以在线搜索数据发布者。网站对每个数据集的浏览次数进行了排名。排在前20名的列为“受欢迎的数据”（Featured Dataset）。用户可以在网站上申请新数据，开发API。
英国政府数据网站上的数据不仅涉及公共信息，还有大量原始数据。这些原始数据可以被用来建立有用的应用程序以帮助社会，或者审视随着时间的推移政府的有效政策是如何变化的。图2–2 英国政府数据网站
2012年5月，英国成立世界上首个非营利的开放数据研究所（The Open Data Institute）。该研究所的一项重要使命就是把大数据应用到各行各业、各个领域。
2013年年初，英国商业、创新和技能部宣布投资6亿英镑发展8类高新技术，其中在大数据技术方面投资1.89亿英镑。2013年5月初，牛津大学成立英国首个综合运用大数据技术的医药卫生科研中心。该中心将运用大数据帮助科学家更好地理解人类疾病及其治疗方法。例如，通过搜集、存储和分析大量的医疗信息，确定新药物的研发方向，从而减少药物开发成本，同时为发现新的治疗手段提供线索。2015年，英国政府在大数据技术开发方面投入了7300万英镑，用于在55个政府数据分析项目中应用大数据技术，以大学为依托投资兴办大数据研究中心，支持牛津大学、伦敦大学等高校开设大数据专业等。
英国航空公司通过与全球知名酒店合作，获取相关数据库内存储的海量会员信息数据，来向乘客推荐相应的差旅住宿服务，使会员感受到更好的服务。英国航空公司积极与数据公司合作，将大数据技术应用在商业领域，预测潜在的人流和物流信息，以此将数据分析结果转化成实实在在的商业利润。
目前，大数据已经在英国税务、农业、城市规划、医疗卫生等领域得到应用。英国税务和海关总署通过大数据查出了200亿英镑的逃税与诈骗。英国政府建立了医疗健康大数据平台care.data，通过医疗卫生数据资源的统一归集、共享、分析，更好地认识疾病，研发药物和新的治疗方式，认识公共卫生和疾病发展趋势，在有限的预算中更好地分配医疗资源，监控药物和治疗的安全状况，比较英国各地区的医疗水平。
近年来，通过大数据提高政府部门的工作效率，发展大数据产业，直接或间接地为英国增加了490亿~660亿英镑的财政收入。通过使用大数据技术，英国政府每年可节省约330亿英镑。2016年，英国数字科技收入超过1700亿英镑。
2017年3月，英国政府发布了《英国数字化战略》（UK Digital Strategy），提出了以下7大战略任务。（1）连接性：为英国建立世界一流的数字化基础设施。（2）技能与包容性：为每个英国人提供掌握其所需数字化技能的途径。（3）数字化部门：让英国成为建立并发展数字化业务的最佳平台。（4）宏观经济：帮助每一家英国企业顺利转型为数字化企业。（5）网络空间：让英国提供全球最为安全的在线工作和生活环境。（6）数字化治理：确保英国政府在全球在线便民服务方面处于领先地位。（7）数字经济：释放数据在英国经济中的重要力量，提高社会公众对使用数据的信心。德国大数据发展情况
2013年4月，德国政府在汉诺威工业博览会上正式提出了“工业4.0”战略。通过大力发展智能制造，构建信息物理系统（Cyber Physical System，CPS），进一步提高德国制造业的竞争力，在新一轮工业革命中占领先机。
信息物理系统是一个综合计算机、互联网和工业设备的复杂系统，是典型的工业互联网。通过综合采用计算机、通信和控制（Computing、Communication、Control，3C）技术，实现工业系统的实时感知、动态控制和信息服务。
工业4.0项目是德国政府《高技术战略2020》确定的十大未来项目之一，由德国联邦教育研究部与联邦经济技术部联手资助，预计资金投入两亿欧元。该项目特别注重吸引中小企业参与，力图使中小企业成为新一代智能制造技术的使用者和受益者，同时成为先进工业生产技术的创造者和供应者。工业大数据是德国工业4.0的核心。
从工业1.0到工业4.0的发展，如图2–3所示。图2–3 从工业1.0到工业4.0
2016年3月，德国联邦经济与能源部发布了《数字化战略2025》。该战略提出实施十大行动计划，具体包括构建千兆光纤网络；开拓新的创业时代，支持初创企业发展；建立投资及创新领域监管框架；在基础设施领域推进智能互联以加速经济发展；加强数据安全，保障数据主权；促进中小企业、手工业和服务业商业模式数字化转型；帮助德国企业推行工业4.0；注重科研创新，数字技术发展达到顶尖水平；实现数字化教育培训；成立联邦数字机构。延伸阅读：大数据帮助德国足球队赢得了2014年世界杯比赛在2014年世界杯比赛开始前，德国足协就与SAP公司合作开发了一个名为“Match Insights”的足球大数据分析系统，用以迅速收集、处理、分析球员和球队的数据，优化球队配置，提升球队作战能力，并通过分析对手的数据，找到世界杯比赛中的制敌方式。该系统通过摄像头、传感器等工具捕捉到球员跑动速度、位置、控球时间、防御范围、动作细节等大量数据并传入数据库。基于SAP HANA的大数据分析工具可迅速对这些数据进行后台处理。德国队教练可以迅速掌握比赛状况，每个球员的特点和表现，球员的防守范围，对方球队的空当区等信息，更有效地对球员上场时间、位置、技战术等情况优化配置，以提升球队表现。在了解自己的基础上，德国队还利用这一大数据工具对对手进行分析，并根据分析结果确定相应的战术。例如，德国队通过大数据分析发现，法国队非常注重中场，但在两翼留有空当，德国队确定了针对这些区域出击的战术。此外，德国队教练把球员技术数据、场上情况和解决方案发给球员，帮助球员更全面、清晰、详细地了解和调整自己技战术与场上表现。法国大数据发展情况
2011年7月，法国政府启动了“Open Data Proxima Mobile”项目。该项目希望通过实现公共数据在移动终端上的使用，从而最大限度地挖掘它们的应用价值。项目内容涉及交通、文化、旅游和环境等领域。项目完成后所有法国公民以及在法国旅游的欧洲公民都将能通过个人移动终端使用法国的公共数据。所有公共数据都是免费的，应用程序均操作简单。不仅便于大众使用，还能为私人企业提供很多商机。
2011年12月，法国政府开通了政府数据网站data.gouv.fr，便于公民自由查询和下载公共数据。该网站上线当天发布的第一批资源中就包含35.2万组数据，覆盖面广，包括国家财政支出、空气质量、法国国家图书馆资源等。网站上的数据都是经过每个政府部门的专员统计和收集的，会不断更新。
2013年2月，法国政府发布了《数字化路线图》，明确了大数据是未来要大力支持的战略性高新技术。法国政府以新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列投资计划，旨在通过发展创新性解决方案，并将其用于实践，促进法国在大数据领域的发展。
2013年4月，法国经济、财政和工业部投入1150万欧元用于支持7个未来投资项目。此前，法国软件编写联盟曾号召政府部门和私人企业合作，投入3亿欧元资金用于发展大数据产业。澳大利亚大数据发展情况公共数据资源开放
为了鼓励社会公众获取和利用政府数据，依据澳大利亚政府的《开放政府申明》，在政府2.0工作组的要求下，澳大利亚金融和放松管制部（Department of Finance and Deregulation）开通了政府数据网站（www.data.gov.au），为查找、访问和利用来自澳大利亚各级政府的公共数据集提供了一个简单的方法。
截至2017年8月，澳大利亚政府数据网站有来自不同部门30多个领域的2.82万个数据集，涉及商业、通信、社区、文化、教育、应急、就业、环境、金融、通用、地理、政府、健康、历史、土著、工业、信息通信技术、法律、测量、新闻、规划、政治、物业、休闲娱乐、安全、科学、社会、技术、旅游、交通运输等领域，如图2–4所示。图2–4 澳大利亚政府数据网站
澳大利亚政府数据网站既提供可直接下载的数据集，在某些情况下，也链接到其他数据目录或来源。用户可以通过在数据页上留下评论或评级的方式留下对数据的反馈意见，也可以建议网站还需要提供哪些数据。该网站显示各个数据集的格式，根据数据集下载情况显示哪个数据集最受欢迎。公共服务大数据战略
2013年8月，澳大利亚财政部下属的政府信息管理办公室发布了《澳大利亚公共服务大数据战略》，旨在推动澳大利亚政府采用大数据分析手段来进一步提升公共服务水平。《澳大利亚公共服务大数据战略》由如下6个部分组成：（1）序言；（2）引言：什么是大数据，作为一种资产的数据，隐私，安全，数据管理；（3）机会和效益：服务提供，政策制定，统计资料，商业和经济机会，技能，生产效益；（4）愿景：展望未来；（5）大数据原则；（6）行动。
在“愿景”部分，《澳大利亚公共服务大数据战略》提出，澳大利亚政府将采用大数据分析来加强现有服务，提供新的服务，以及提供更好的政策建议，同时注重最佳的隐私保护并充分利用已有的信息通信技术（ICT）投资。澳大利亚政府将力争在采用大数据分析提高行政效率、开展公共部门合作和创新方面成为一个世界级领导者。这个愿景支持以下能力：加强服务；新的服务和商业合作机会；改进的政策制定；隐私保护；充分利用政府在信息通信技术方面的投资。
在“大数据原则”部分，《澳大利亚公共服务大数据战略》提出了在公共服务中开展大数据应用的六大原则：数据是一种国家资产，通过设计保护隐私（privacy by design），数据完整、程序透明，共享技能、资源和能力，与产业界和学术界合作，促进数据公开。
在“行动”部分，《澳大利亚公共服务大数据战略》提出了以下6大行动计划。（1）制定大数据最佳实践指南。澳大利亚政府信息管理办公室的大数据工作组将与澳大利亚税务局下属的数据分析高级中心（Data Analytics Centre of Excellence，DACoE）一起合作制定最佳实践指南，该指南旨在改善政府机构在大数据分析方面的能力。内容包括：帮助政府机构识别在哪些方面大数据分析可以支持服务的改进，以及制定更好的政策；为大数据分析计划提供必要的管理；帮助政府机构识别高价值的数据集；为政府机构使用第三方数据集以及第三方使用政府数据提供建议；通过设计保护隐私；促进隐私影响评估（PIA）、同行评审和质量保证程序；利用云计算为政策和指南提供参考等。（2）识别和报告大数据分析的障碍。大数据工作组将与DACoE合作，找出政府机构有效利用大数据的障碍，包括技术、政策、法律技能、资源、组织和文化障碍等。尽管不是所有的障碍问题都能解决，但是政府信息管理办公室将发布一份详细阐述这些障碍，以及可能的缓解措施、补救战略和行动的报告。（3）提高大数据分析技能和经验。大数据工作组将与DACoE一起确定并支持一批大数据试点项目，包括利用大数据分析已有项目，以及由一些选定的政府机构主导的新的大数据项目。这些试点项目将通过促进学习、创新和协作来加强大数据相关技能的开发。此外，大数据工作组将与DACoE一起推广多种大数据分析专业技能，这些技能比传统的ICT教学内容更宽泛，包括信息和通信技术、信息学和统计学、数学、社会经济学、商学、语言学和影响评估技能。（4）制定数据分析指南。大数据工作组将与DACoE一起制定数据分析指南。该指南将侧重于大数据项目管理，并将OAIC在隐私保护方面的建议和指南纳入其中。该指南还包括有关NSS和交叉组合数据整合监督委员会（Cross Portfolio Data Integration Oversight Board）及其秘书处作用的信息。该指南将NSS的《为统计研究目的服务的联邦数据集成高级原则》纳入其中，包括当实施涉及整合由联邦机构持有的数据的大数据项目时，联邦机构与秘书处打交道的方式和时间要求。此外，该指南还将为支持这些项目的一个透明审查程序开展潜力调查。（5）建立信息资产登记注册系统。大数据工作组将与DACoE一起制定一个帮助澳大利亚联邦政府机构建立专业信息资产登记系统的指南。该信息资产登记系统将明确每个政府机构可以访问和重复利用哪些数据集。这项行动建立在跨机构实施政府2.0的基础上，将有助于更好地管理由联邦机构持有的数据，并增加发布到澳大利亚政府数据网站的数据集数量。本指南将充分利用现有文献资料，包括出版PSI的指南以及澳大利亚政府数据网站的相关工作文献。（6）积极跟踪大数据分析技术的进展。由澳大利亚政府信息管理办公室支持的大数据工作组的成员们将积极跟踪大数据分析技术的进展，并呼吁产业界、研究机构和学术机构的专家为工作组提供大数据分析的最新信息。日本大数据发展情况
2012年7月，日本政府IT战略本部制定了“电子行政开放资料战略”。该战略是日本促进公共资料活用的基本战略。这一年，日本总务省开始对大数据进行专项调查，并将调查结果发布在《信息通信白皮书》里。
2013年，日本总务省对大数据的发展现状进一步深入开展宏观和微观层面的调查：在宏观层面，为了把握日本大数据发展的整体情况，对大数据的生成、流通、存储环节进行调查；在微观层面，主要通过二手资料分析和实地调研，探寻大数据在企业的应用场景、问题、效果。
2013年6月，日本政府正式公布了新的国家信息化战略——《创建最尖端IT国家宣言》，全面阐述了2013—2020年日本以发展开放公共数据资源、深化大数据应用为核心的信息化国家战略。《创建最尖端IT国家宣言》提出向民间开放公共数据。2013年度内启动公民可浏览内阁各省、厅和地方行政机构公开数据的网站（试用版）。2014年正式实施，促进大数据的广泛活用，促进个人数据的流通与运用，明确个人数据的活用规则。根据日本矢野经济研究所预测，到2020年，日本大数据市场规模有望超过1万亿日元。
根据日本总务省发布的《2013年信息通信白皮书》，充分利用“大数据”将给日本带来每年7.77万亿日元的经济效益：通过分析顾客购物偏好等数据提高销售针对性，有望给零售业带来1.15万亿日元的经济效益；通过减少设备故障率，有望给制造业带来4.79万亿日元的经济效益；导航等道路交通数据的利用有助于减少堵车和减少能耗，从而产生1.43万亿日元的经济效益；对土壤、农作物栽培信息的综合利用，则有望给农业新增4000亿日元的经济收益。
2015年，日本大数据市场规模达到947.76亿日元，增幅达到32.3%。预计到2020年，日本大数据技术和服务市场的规模将达到2889.45亿日元，复合年均增长率约为25%。
目前，日立、NEC（日本电气股份有限公司）、富士通、NTT DATA（日本电信电话株会社旗下五大核心集团之一）、电通等知名公司都开展了大数据应用。从2012年6月起，日立公司向用户企业提供数据分析高手服务（Data Analytics Meister Service），用来帮助用户企业通过活用大数据创造新的商业价值。例如，构建活用大数据的企业形象，选定活用大数据实施方案，具体运用验证及安装工作等。2013年6月，日立公司建立了囊括300人并统辖全世界大数据关联部门的专门组织机构。
2012年11月，NEC宣布将利用脸部验证技术“Neo-Face”提供基于云计算的各种大数据分析服务。例如，通过设置于店铺内的摄像机所拍照的顾客脸部数据，可自动识别顾客的年龄、性别以及来店经历。它可推算出不同年龄段来店者的状况和回头率，分析两者同销售额的关系等，以便采取相应措施增加销售额。
富士通公司利用其数据中心和云计算服务方面的优势，积极拓展由专业数据分析小组提供的活用大数据的咨询服务。例如，强化社交网络服务（SNS）上的数据分析服务，及时发现社交网络上可用的信息，以便企业能够实时地开展市场营销活动，加强商品规划和顾客支持。2013年6月，富士通公司建立了由30名核心业务人员以及800多名数据专家和咨询顾问组成的“大数据主导中心”。
2013年7月，NTT DATA公司集中本企业内部各大数据业务关联部门，成立了专门的“大数据商务推进室”，它囊括了130名数据运用专业人才，对用户企业实行一站式服务，包括协助企业挖掘商机并提供相应服务等。
日本电通公司利用GPS（全球定位系统）收集了70万人的位置信息，开发出位置信息服务“Draffic”，实现人员流动可视化。“Draffic”把检测区域缩小到2500平方米，能更确切地分析顾客在商业设施或商场的流动状况，如来店的人来自何处又将去向何处及其人数等。
富山大学附属医院在2005年到2013年的9年间积累了1700万份病例记录、1000万个客户、1.43亿个用药处方及300万个病名。该医院以这些数据作为基础，实时提供“处方知识”和“输入支援”功能。“处方知识”可根据患者的具体症状与病情，协助医师分析出最佳药物处方方案。“输入支援”则可将输入的单词和文章的候选，通过下拉菜单进行多项提示，以帮助医师提高电子病历的输入效率。大数据在日本防震减灾、旅游、婚介等领域得到了应用。2011年，“3·11”大地震以后，日本政府投入巨资应用大数据技术，利用手机定位信息、车辆GPS轨迹、视频监控录像、直升机录像、卫星照片等，将地震、海啸发生后人们的逃生路线制作成“死亡轨迹”，分析为什么会死那么多人。大数据分析结果发现，大量的市民死在他们认为安全的地方，甚至有人的逃生路线是飞蛾扑火。
从2016年开始，日本观光厅采集外国人在免税店的购物数据，根据免税商品的购买记录分析畅销商品的种类、需求量等，并把数据提供给零售商店作为进货参考，以促进以中国人为主的外国游客更大力度地“爆买”。
2015年3月，爱媛县政府支持的一家婚姻促进中心利用大数据对注册会员的个人情况进行匹配，帮助单身男女寻找合适的相亲对象。
试读结束[说明：试读内容隐藏了图片]