作者：刁生富,刁宏宇,等
出版社：电子工业出版社
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
重估：大数据与治理创新试读：
前言
尽管对大数据的定义和特征的描述存在这样那样的争议，但一个不容置疑的事实是，大数据时代正向我们大踏步走来。在这个以数据为资源和资产的新时代，拥有数据的规模与质量、数据治理与变现的能力、数据素养的培养与提升，已成为企业和国家的核心竞争力。
大数据开启了一次重大的时代转型，数据正以其无处不在、无孔不入、无坚不摧的力量刷新时代的政治、经济、社会、文化、思维等方方面面，其波及范围之广、影响程度之深，是前所未有的，正成为创新发展的新方向、新趋势、新路径：“数据强国”的建设方针被提出；“数字经济”的发展蓝图被规划；“数字政府”和“数字公民”建设被提上议事日程；“数据思维”和“数据决策”被确立……昔日，著名古希腊科学家阿基米德曾自信地说：“给我一个支点，我就能撬动地球”；今天，我们可以说，大数据正成为新时代撬动世界的大“支点”！
大数据的巨大作用不仅表现在经济的转型升级上，更重要的是表现在国家的治理创新上，它是国家治理体系和治理能力现代化的重要元素，对政府治理和社会治理产生了深远影响。而大数据在治理创新中作用的发挥，又与数据治理本身有关，与数据的开放共享有关，与数据思维和数据决策有关。本书对数据治理、政府治理和社会治理这三个方面的相关问题进行了初步探讨，包括数据治理与数据价值实现、数据开放共享的精细化治理与隐私保护、数字政府与数字公民建设、数据思维与领导干部的数据决策、慈善资源和志愿服务的精准供给与衔接、老龄化社会中的智慧养老问题、共享生活化的生成逻辑与治理创新、大数据在舆情监测中的应用与超越等。
需要说明的是，本书不是从“面”上进行的“系统”研究，而是从“点”上进行的“专题”思考。本书共11章，每章都是1个专题，它们之间虽有一定的关联，但实际上是各自独立的。因此，读者完全可以从任何一章开始与我们一起分享和讨论。
在本书写作过程中，我们参考了大量国内外文献；徐瑞萍、冯桂锋、邓凯、陈嘉慧、赵亚萍、莫敬雍也先后参与了其中部分内容初稿的写作；电子工业出版社责任编辑米俊萍为本书的出版付出了心血；佛山科学技术学院学术著作出版基金资助了本书的出版。对以上所有单位和个人，在此一并致以最真诚的感谢。对书中存在的不足之处，敬请读者批评指正。
刁生富
2018年8月8日第一章 数据治理：数据价值实现的必由之路
在大数据时代，数据治理在数据价值实现过程中具有决定性的作用。对基于大数据时代的数据治理研究，正是大数据价值构建的内在要求。通过数据治理内涵演变的相关重要文献，可以认识数据治理的概念与特征，在此基础上分析数据治理的意义与价值，从中探寻数据治理与国际竞争、国家治理和社会治理之间的关系。为使现有的大数据资源更好地发挥其在经济转型升级、政府治理和社会治理，以及便民惠民等方面的作用，必须进行数据治理。
本章首先从战略规划、价值构建、治理体系泛化三个阶段建立数据治理体系，然后从数据治理的生产、管理、应用三个中观领域切入分析数据治理的支撑要素，最后对数据价值挖掘的九大支撑性要素--数据源识别、价值预判、治理能力评估、数据采集、数据加工、数据存储、数据分析、数据管理和数据共享进行分析，以指导数据治理实践。
随着新一代信息技术和新一代人工智能技术的快速发展，尤其是大数据的广泛普及和应用，数据理念和数据意识已深入人心，数据基础设施正快马加鞭建设，数据能力在不断提高，数据作用的发挥愈来愈好--人类社会已步入大数据时代。
与以往的传统数据相比，大数据时代的数据体量巨大、类型繁多、处理速度快、价值大而密度低，这些新的特征越来越明显。无论是政府、企业、社团组织的运营数据，还是个人生活、工作的数据，都以多种多样的方式被保存下来，其潜在的数据价值亟待开发利用。
然而，现有数据资源所拥有的潜在价值的实现却受限于当前数据治理的诸多困境--数据标准不统一、数据质量没有保证、数据存储比较分散、数据流动的安全风险系数高、数据开放共享易导致隐私泄露……所有这些，无不阻碍着数据价值的实现。因此，为了充分挖掘和利用数据背后隐藏的巨大价值，使其真正发挥在经济转型升级、政府治理和社会治理，以及便民惠民等方面的作用，就必须进行数据治理。可以说，科学、有效、充分的数据治理，是大数据时代数据价值实现的必由之路。第一节 数据治理的内涵与特征一、数据治理的内涵
数据治理是大数据时代数据资产变现和数据价值实现的重要手段，备受业界和相关领域研究者的关注。不同领域的研究者对数据治理内涵的界定，因受看待问题的视角和分析手段的约束，恰好为当前的数据治理赋予了丰富的内容与形式，其中比较有代表性的观点如下。
张绍华等人认为，数据治理是对组织的大数据管理和利用进行评估、指导和监督的体系框架，它通过制定战略方针、建立组织架构、明确责任分工等，实现大数据的风险可控、安全合规、绩效提升和价[1]值创造，并提供不断创新的大数据服务；Malik 认为，数据治理蕴含在决策及与数据相关的各类事物中，包括政策、规则、权利、组织结构、个体的责任和信息系统，这些与信息处理过程相关的事物会影[2]响组织业务目标的完成；B.Otto认为，数据治理是指在企业中，数据管理的相应职责和决策权的分配，数据治理旨在将数据的价值最大[3]化；L.Cheong认为，数据治理是企业管理数据数量、一致性、易用[4]性、安全性和可用性的过程；P.Sonia认为，数据治理是一个决策、职责和流程有机组合的系统，该系统确保对重要的数据资产和信[5]息进行正规统一的管理；D.Loshin 认为，数据治理主要是研究与数据治理相关的5个核心概念：数据消费者期望的管理、关键数据质量[6]维度的界定、元数据一致性的监测、数据更新与解释、数据增强；桑尼尔·索雷斯则认为，数据治理是广义信息治理计划的一部分，即[7]制定与大数据有关的数据优化、隐私保护与数据变现的政策。
综上所述，不同研究者分别从治理体系构建、组织目标服务计划、数据价值最大化、数据治理计划及数据政策等视角对当前的数据治理进行了内涵界定，无论是其中的哪个角度，研究者都希望运用一定的方式和方法厘清数据与数据、数据与个人、数据与企业、数据与政府的关系，从而将数据的潜在价值变为显在价值，其着重强调的是对大数据价值挖掘与运用的过程，特别关注大数据与其他事物相互联系的价值关系。二、数据治理的特征
在大数据时代，数据具有体量巨大、类型繁多、处理速度快、价[8]值高而密度低等特征，如图1-1所示。图1-1 大数据的“4Ⅴ”特征
大数据的这些特征，决定了针对大数据所进行的数据治理的特征也具有多样性。其中，主要包括数据治理的过程是多方协同互动的；数据治理不能只针对局部数据进行分析；数据治理具有明显的时间要求；数据治理不能忽视治理主体能力等。
1.关联性
数据治理的关联性是指在数据价值的挖掘与应用过程中，要充分考虑不同种类的数据与数据之间、不同种类的数据与数据治理主体（收集者、处理者、应用者和监督者）之间、数据的生产者与数据治理主体之间的相互作用和相互影响的关系。在数据治理的过程中，首先，能够正确处理数据与数据之间的关联性，是建立数据知识图谱、数据地图、数据库，以及实现数据价值的重要环节；其次，基于不同种类的数据，以及参与治理的主体的多元性等特征，要求数据治理主体能准确把握数据标准、数据质量、数据安全、数据主体的权责在治理的不同环节的关联性；最后，就数据的权属与利益而言，数据的所有权人与数据治理主体之间还需要厘清数据的所有权、使用权、收益权、审计权、删除权等数据权利及与之相关的利益关系。
2.整体性
数据治理的整体性是指数据治理主体在对某一领域的数据进行治理时，凡是与数据价值变现可能相关的数据，都要全部纳入治理范围。数据治理分为传统的数据治理与现代化的数据治理。传统的数据治理重点任务在于对局部数据分析和运用，其治理过程重点强调的是独立维度的数据整合，缺乏对数据的整体性认识，包括缺乏对多维数据之间相关性的认识，以及没有认识到全数据比抽样数据更具有代表性，这导致了传统的数据治理存在固有的缺陷和误差。
现代化的数据治理在继承传统数据治理优点的同时，也摒弃了传统数据治理的缺陷。现代化的数据治理充分结合大数据时代已有的数据治理技术和治理水平，将数据治理的重点任务转向整体数据的相关性分析和运用，强调的是用全数据代替样本数据，基本要求是在治理好局部数据的前提下对整体数据进行综合治理。所以，其在数据的整个治理过程中都体现了显著的整体性特征。
3.时效性
数据治理的时效性是指在数据治理的过程中，拥有快速适应数据生产者生产数据的速度、数据价值失效前挖掘出数据价值的速度，以及数据应用适应市场变化的能力。数据治理的时效性特征来源于大数据处理速度快的时效性要求。在互联网和大数据时代，数据治理的主体必须要在数据价值没有失效之前将其价值挖掘出来，并快速响应市场需求，这样才能保证在数据治理体系中体现其治理的价值和意义。这就要求数据治理主体在治理数据的过程中，能及时快速响应数据环境的变化，对于数据的分析和运用也要具备精准和快速两个特征。
4.匹配性
数据治理的匹配性是指数据治理主体对数据的治理，要与数据治理主体本身的管理与运营模式、业务规模及风险控制能力等相适应。数据治理主体对于数据治理的过程，不是一个盲目的过程，而是一个有目标的行动过程。在数据治理过程中，凡是脱离数据治理主体自身实际的数据治理，其治理结果要么与目标出现较大的偏差，要么直接导致治理的结果与治理目标背道而驰。因此，数据治理过程必须体现数据治理的匹配性特征。在数据治理开始之前，数据治理主体要对自身的治理能力进行充分评估，包括对本身所拥有的管理与运营模式、业务规模、风险控制能力等方面的评估，同时还要坚持采用以终为始的预测性评估、治理的过程评估和治理结果的评估等评估工具，实时调整自身治理的进度和治理的规模。第二节 数据治理的价值一、数据治理与国际竞争
数据治理是国家治理体系的重要元素，也是国家治理能力现代化的重要标志。一个国家的数据治理能力和水平从侧面反映了这个国家在国际社会中的竞争力。在大数据时代，国家层面的竞争能力将在一定程度上体现在该国所拥有的大数据的规模及其对数据的解释和运用[9]能力等方面。
随着大数据时代的发展，国家之间的竞争被赋予了新的内涵，传统的以自然资源、人力资源、科学技术为国家间较量的支撑力量已经被赋予了数据化的特征，国家间的自然资源的竞争已经演变成了数据资源之间的竞争。如今，在国际竞争中，大数据已被视为与自然资源、人力资源一样重要的战略资源，甚至成为更重要的资源和资产。自 2012 年美国从国家战略层面推出《大数据研究和发展计划》以来，世界各国的国家战略布局都受到了巨大冲击，许多国家纷纷结合自身国情制定了促进本国发展的国家大数据战略与发展计划，将大数据战略提升到了国家战略的层面，足以体现大数据战略对于国家发展和国家融入国际社会的重大意义。
大数据时代，国家间大数据资产竞争的本质是国家大数据战略的竞争，是基于大数据的管理能力、决策能力与服务能力的竞争。促进大数据资产高质量管理、决策与服务的根本举措在于数据治理能力和水平的提升。从国家竞争的本质来看，一个国家的数据治理能力和数据治理水平对于提升其国际竞争力具有基础性和根基性的战略意义。就国家层面而言，数据治理主要是为国家综合国力与国际竞争力的提升服务的，是一个国家对自身的数据“家当”进行自我衡量的过程。只有在充分认识和理解大数据时代数据治理对提升国际竞争力的特殊意义，数据治理战略才能在促进国际竞争能力提升方面发挥真正的作用。二、数据治理与国家治理
大数据时代的数据治理对于国家治理具有重要的推动作用。一般情况下，国家治理包括国家的政治治理、经济治理、文化治理、社会治理、生态治理五大方面的内容，这是在推进国家治理能力现代化进程中必须要进行治理的内容；国家治理体系包括国家治理的法律体系、制度体系、措施体系、结构体系、功能体系、运行体系等策略和步骤。
无论是国家治理体系，还是国家治理能力，都具有复杂性，在某种层面上这恰好体现了国家治理过程中涉及的内容广泛、信息量巨大、参与主体多元的特征。基于此，实现国家治理体系和治理能力现代化的目标客观上对国家治理主体提出了时代性要求，要求国家治理主体在治理过程中必须克服旧有的治理障碍，充分借助大数据时代的先进工具来促进治理工作高效运行。因此，大数据时代的国家治理在数据的驱动下，必然会走数据化的治理模式，归根结底，国家治理体系和治理能力的现代化就是建设智慧国家，实现国家的智慧治理。
在国家治理过程中，大数据是国家公共决策、协同共治、政府效能提升的重要资源；大数据是颠覆传统国家治理模式、建立透明政府、[10]调整国家治理协同边界的重要力量。近年来，我国高度重视数据治理，对大数据价值的挖掘、大数据的管理、大数据的制度建设等方面的治理力度不断增强，这对于实现国家智慧治理和建成智慧国家意义重大。
大数据时代的数据治理既是一种数据处理技术，也是一种思维方式；既是技术变革，也是思维转变。一方面，国家治理应更加注重利用数据治理技术来分析国家治理需求，并通过数据治理技术反馈国家治理需求，以便更好地为国家的政治、经济、文化、社会、生态的治理服务，稳步提升国家治理体系与国家治理能力的现代化水平。另一方面，数据治理为国家治理能力提升提供了技术支持，同时国家治理能力的提升又助推了大数据时代的发展，两者在逻辑上具有内在统一性。数据治理能力的提升能够大幅度提高国家的治理效率，提升国家效能。三、数据治理与社会治理
在大数据时代，数据治理是社会治理的重要手段。所谓社会治理，就是政府、企事业单位、社区及居民个人等通过构建平等的合作型关系，依法对社会事务和社会活动进行规范管理，最终实现社会主体和[11]公共利益最大化目的的过程。相比国家治理，社会治理在治理模式与治理理念方面都存在较大的差别，这足以体现社会治理与国家治理的任务及目标的区别与联系。
不论社会治理过程与治理结果如何，都在社会实践和发展过程中，为大数据时代的社会治理做好了前期铺垫和经验总结。从这个意义上说，大数据时代的社会治理所拥有的先天优势，需要归功于大数据时代的自身优势、对以往实践经验的总结和对其优势的继承。更重要的是，大数据时代的社会治理是一种新的思维、新的理念和新的模式，而数据治理是确保大数据时代的社会治理思维、理念和模式高质高效运行的工具和手段。
同时，数据治理是构成社会治理的重要内容，数据及数据治理必将成为社会治理创新的推动因素。数据治理这一概念的提出必然会带来新的观念和新的视角，使我们重新审视社会治理，从而自觉地按照大数据时代所呈现的新特征去推动社会治理的变革，并在开发和应用[12]数据资源的过程中自觉地依照数据来安排和开展社会治理。第三节 数据治理体系构建与价值挖掘一、数据治理体系构建
数据治理体系如图1-2所示。
从图1-2中可以看出，数据治理包括三个基本阶段。第一阶段是数据治理的战略规划阶段，它在数据治理体系的三个阶段中处于核心地位。这个阶段的主要任务是制定战略规划、指导战略实践，包括数据治理的战略目标、战略实施步骤、实现数据治理战略的时间和策略的制定，以及与之相关的法律政策的支持与调控、数据治理理念的构建等。
第二阶段是数据治理的价值构建阶段，它在数据治理体系的三个阶段中处于基础地位。这个阶段的主要任务是数据价值的挖掘与数据价值变现，包括数据治理的生产层、应用层和管理层的构建，使用的主要是大数据工具，包括大数据处理分析工具、大数据云存储与云共享工具、大数据系统管理工具等。在第二阶段，主要通过对数据治理过程中的生产层、应用层、管理层三个层面的介入，保证数据治理价值的有效性和数据价值变现的时空不被限制。在数据治理的生产层，主要是对数据加工处理的流程、质量、安全、效率等进行监控；在应用层，主要是基于数据加工处理及数据的科学管理等进行数据应用模式探索、应用领域拓展、应用创新、应用共享等；在管理层，主要是在生产层和应用层的基础上实现对数据治理过程的管理与服务。图1-2 数据治理体系
第三阶段是数据治理的治理体系泛化阶段，它在数据治理体系的三个阶段中处于辅助地位。这一阶段的显著特征是数据治理体系的构建已基本完成，这一阶段的工作任务是通过不断拓展数据治理体系的适用范围，不断对数据治理体系进行假设检验和改进，从而不断提高数据治理体系的泛化能力。
就当前我国数据治理的进度而言，自 2015 年国家印发《促进大数据发展行动纲要》以来，我国在大数据领域的政策与规范性文件，包括《关于促进云计算创新发展培育信息产业新业态的意见》《关于积极推进“互联网+”行动的指导意见》《关于运用大数据加强对市场主体服务和监管的若干意见》《关于数据中心建设布局的指导意见》《大数据标准化白皮书》等相继出台，地方性的有关数据治理与应用的政策文件相继发布。通过这些政策文件可知，国家已经在战略层面对我国数据治理进行了比较全面的论述，包括对数据治理的管理领域、应用领域、生产领域等都有所提及。值得注意的是，当前我国的数据治理正处于第一阶段与第二阶段的交汇期，是为数据治理第二阶段和第三阶段打好基础的关键时期，这决定了当前我国对数据治理体系构建的基础建设需求急切。同时，由于受一定历史条件的限制，第二阶段向第三阶段过渡的时间比较长。
基于以上内容，接下来我们将重点讨论在第二阶段数据治理的具体内容。这是完善我国当前数据治理体系的关键一环，也是我国数据治理最为基础的治理工程。二、数据价值的挖掘
1.价值构建与价值变现
数据治理过程中的价值构建过程是大数据在数据挖掘基础上的价值变现过程。在大数据时代，大数据是以容量大、类型多、存取速度快、应用价值高而密度低为主要特征的数据集合，而对大数据时代的数据治理，目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从而成为发现新知识、创造新价值、[13]提升新能力的新一代信息技术和服务业态。大数据的“4Ⅴ”特征是其区别于传统数据的重要特征，但大数据与传统数据在本质上并无太大的差别，都是人类在生产活动过程中的符号记录。然而，随着社会经济和科学技术的不断发展，人类在利用数据能力方面取得了突破性进展，无论是数据的处理加工领域还是数据的管理应用领域，都被人类赋予了新的数据思维和新的数据服务理念。
在大数据时代，人们在生产活动过程中更加强调对社会历史的回顾，更加强调对过往发展经验的积累和反思，从而实现人类自身对未来生产的预测功能。在这样的时代背景下，人们为了使大数据能够更好地发挥其功能，就开始寻找专门能够处理数据的良策，通过对数据的处理加工来厘清人的发展与自然变迁之间的关系，为人与自然的和谐发展奠定基础。这样，人们就能从人与自然的和谐发展中谋得更多有利于人类自身发展的价值与机遇，而这个过程正是数据价值构建与价值变现的过程。数据的价值构建，必须要实现数据价值变现。所谓变现，就是将数据等资产转化为现金的过程。变现的方式可以是将数[14]据卖给第三方，也可以是利用数据开发新的服务。
2.价值构建与价值变现、价值挖掘的关系
图1-3是数据价值构建函数，反映的是因变量（价值变现）与自变量（价值挖掘）之间的函数关系。
在图1-3中，当自变量（价值挖掘）处于（0，a）的定义域内时，因变量（价值变现）处于（Y，0）的值域内。在这个区间内，由于1数据本身存在格式混乱、共享困难、标准不一，以及数据治理主体的数据管理权责不清晰、数据存储系统有技术障碍等诸多问题，导致数据的管理与应用成本高昂，所以在数据治理过程中，价值变现还处在入不敷出的阶段。但随着数据治理主体在价值挖掘工作上的有效投入越来越多，数据中存在价值的可变现程度也越来越高，当数据价值挖掘工作开展到a点并持续进行时，数据价值变现就实现了“零的突破”，在价值变现方面表现为数据价值挖掘的成本开始与数据服务收益相互持平。图1-3 数据价值构建函数（一个生命周期）
在自变量（价值挖掘）逐渐由a向b移动的过程中，因变量（价值变现）也在不断地由0向Y演变，呈现上升趋势。当自变量（价值2挖掘）到达b点时，出现了因变量（价值变现）的第二个拐点，价值变现的速度开始加快，直到下一个拐点才有所减缓，原因是在这个区间内，价值构建的工作以数据的分析和运用为主，数据的价值得到充分变现。但是，值得注意的是，当第二个拐点出现时，这时的价值挖掘工作也进入了新的层次，对于基础数据的采集、转换、分组、组织、计算、存储、检索、排序等处理工作和数据的利益协调工作已基本完成。其表现形式是，对于自变量（价值挖掘）处于（0，a）的定义域内的这个时间段所出现的相应问题已基本解决，从而为数据价值变现提供了有利条件，数据价值变现进入基础应用阶段。
当自变量（价值挖掘）到达c点时，因变量（价值变现）出现第三个拐点，即基础应用与创新应用的分界点。数据原有的基础价值在某一特定的领域已经消耗殆尽，需要通过创新驱动数据运用，实现数据价值的最大化。随着数据价值的变现能力越来越弱，当自变量（价值挖掘）到达e点时，数据的一个生命周期的价值构建完成。通常在此时有两种选择：其一，继续保存数据，等待新一轮的数据开发与运用；其二，按照数据相关管理权限删除数据。
基于以上分析，数据价值构建与数据价值变现过程已经非常清晰--价值挖掘是价值变现的过程，同时对于一个生命周期内的数据价值挖掘过程，数据在不同阶段的价值变现方式不同。从数据价值构建函数中可以看出，价值挖掘是价值变现的过程，所以，数据价值变现的过程必须依靠一个重要的先决条件--有价值的数据，然后进行数据价值挖掘分析，实现从有价值的数据（对数据进行价值挖掘前的价值判断，清除与价值变现目标无关的数据）中挖掘价值，以服务于价值变现的目标。
3.数据价值挖掘
数据价值挖掘是指基于原始大数据和数据处理规则上的价值变现过程，是一个利益协调的过程。数据价值挖掘涉及多个数据治理领域，包括数据的生产领域、管理领域和应用领域等方方面面，还涉及数据的主体多元性，包括数据制造者、数据收集者、数据处理者、数据应用者和数据监督者，等等。可以看出，当下的数据价值挖掘工作非常复杂，但这并不足以阻挡数据背后隐藏的巨大价值的利益驱动力，无论多复杂的数据价值挖掘过程，都有其可以切入的突破口。通过研究发现，存在一个生命周期的数据价值挖掘流程，如图1-4所示。图1-4 数据价值挖掘流程
图1-4中各步骤之间没有严格的时间界定，在数据价值挖掘过程中几个步骤可以同时进行，这样更有利于提高数据价值挖掘工作的质量和效率。下面分析数据价值挖掘的具体过程。
1）数据源识别
数据源识别是以市场需求为导向进行的预测性数据分析过程，在这个过程中，各专业领域根据其各自的视角对预测性数据分析提出内[15]容方面的要求，从而使数据治理主体能够推导出数据挖掘过程中的潜在价值。数据源识别体现的是数据治理主体在市场需求的刺激下对相应的需求数据的敏感程度，包括数据的发源地、数据的性质、数据的规模、数据的主权、数据处理的难易程度、数据获得的可能性等指标。
从数据源识别渠道的角度，可将数据源识别划分为广域网数据源识别和局域网数据源识别两种类型。前者主要通过运用精准搜索或模糊搜索的方式在广域网络空间中寻找多维数据，从而为数据治理主体实现数据价值变现的目标服务，在数据获得的可能性指标上表现为容易获得，但其价值是潜在的，需要对其进行深层分析和处理，加工成本非常高昂；后者主要来源于个人、企业、政府等领域的指向性非常强的数据，其潜在的价值非常大，但数据的主权问题、数据利益协调问题有待解决。
随着大数据时代的不断发展，数据更新迭代的速度越来越快，数据的规模也越来越庞大，无形间给数据源识别增加了很多工作。因此，需要强调的是，数据治理主体在市场需求的导向中不能迷失方向，在数据治理过程中要合理采用数据源识别工具。只有这样，才能确保数据源识别工作高质高效。
2）价值预判
价值预判是指在数据价值挖掘过程中，数据治理主体基于数据源识别进行的价值预估和价值变现的可能性判断，主要是对可能获得的数据与市场需求对接的可能性进行评估。从数据治理主体角度而言，正确的价值预判对于数据治理主体的后期数据价值挖掘工作具有重要的现实意义，决定着数据治理主体是否进行数据采集及加工的目标和方向。没有价值预判的数据价值挖掘过程，很容易在数据价值挖掘的过程中迷失方向和目标，直接导致数据价值变现成本高、利润低。
3）治理能力评估
治理能力评估是指数据治理主体在基于自身数据价值挖掘的能力和水平的基础上做出行动的依据。其行动依据的构成要素包括管理模式、运营模式、业务规模、风险风控能力等，具体表现为该数据治理主体本身所具有的人力、物力、财力等方面的控制能力是否与本次市场需求的供给能力相匹配。
4）数据采集
数据采集是数据收集者最主要的工作。在数据采集过程中，数据收集者主要依据第一阶段的数据源识别的渠道汇总数据，并录入相应的数据存储系统。在这个阶段，要求数据收集者和数据治理过程的监督者积极履行自身的职责。对于收集者而言，数据的采集要有目的性和方向性，要秉持收集有用数据的工作价值观，时刻提醒自己要对收集的数据进行价值预判，将明显不符合数据价值变现要求的数据删除，以确保数据加工阶段的工作正常运行；对于监督者而言，要适当发挥自身在数据收集阶段的监督功能，对于数据采集的过程进行监督，必要时要启用奖惩机制对数据收集者进行工作规范。主要的监督渠道有监督员监督、公众举报、第三方专业调查等。
5）数据加工
数据加工主要是指运用大数据加工平台对数据进行规范化处理，主要包括对结构化数据加工和对非结构化数据加工。数据加工的内容具体如表1-1所示。表1-1 数据加工内容
对于结构化数据的加工，主要是通过对数据格式、标准等的加工，加工完成后将数据成品存入相应的数据存储系统中，其工作量较小。非结构化数据的加工则与结构化数据的加工有很大的不同。对于非结构化数据的加工需要两步走：第一步是对非结构化数据进行结构化转换，主要包括数据的抽取、分类、聚类、压缩、处理、摘要等，从而将数据录入二维表格进行存储；第二步则是重复结构化数据的加工步骤。
6）数据存储
数据存储是指对加工后的数据进行长期保存的过程。但是，由于大数据具有“4Ⅴ”特征，并在持续不断地发展，这给当下的存储设备提出了很高的要求。目前，对很多组织而言，数据存储是大数据时代数据治理过程中的一个重要挑战。
大数据对存储容量的需求已经超出目前的数据存储能力，我们正处于PB级数据存储时代，EB级存储时代也即将到来，大数据应用的爆发性增长不仅对数据存储的性能及容量提出严峻的挑战，而且对系统具备的数据检索与分析能力提出了更高的要求，大数据的存储系统[1]必须具备快速且及时获取关键价值信息的能力。因此，在数据存储过程中，对存储工具的选择非常重要。数据的存储过程不仅要保证已经加工的结构化数据的质量，还要保证存储数据的安全性及设备的存储容量，更要保证系统工具的性能，从而确保存储到系统中的结构化数据能够被灵活地抽取、修改、再加工、分析、共享、应用等。
7）数据分析
数据分析是基于数据采集、加工、存储的数据而进行的技术处理过程。分析方法有定性数据分析、定量数据分析、描述性统计分析、探索性数据分析及验证性数据分析等。数据分析是数据价值挖掘的核心工作，也是数据价值挖掘中技术要求最高的工作。数据分析的过程不仅需要以分析工作的运行效能和存储能力作为基础支撑，还需要数据分析师熟练掌握大数据分析的技术和技巧，同时还要控制数据分析的效率和分析的质量。
数据分析要求数据分析师能对存储的数据进行关联，从中找出数据与数据之间的内部逻辑关系，以期通过数据分析将隐藏在一批看似杂乱无章的数据中的信息集中、萃取和提炼出来，找出研究数据之间存在的内在规律，从而实现数据系统中存储的数据从无序中建立有序[16]的目的。
8）数据管理
数据管理包括价值挖掘流程管理、数据生命周期管理、数据质量管理、数据安全管理和数据权责管理等。只有在数据价值挖掘过程中嵌入数据管理的要素，才能更有效地促进数据价值挖掘工作提质增效。因此，对于数据价值挖掘过程中的数据管理，需要建立数据管理体系，通过构建包含利益协调机制、监督机制、奖惩机制、权责机制等在内的数据管理体系，实现数据价值变现过程的可管可控。其一，需要建立一个统一的数据资源管理云平台，实现数据的集中管理；其二，建立数据统筹管理单位，打破数据管理相互推脱责任的局限，协调多方数据利益相关者，突破数据孤岛的困境，实现数据价值挖掘过程中的科学数据统筹管理；其三，建立统一的数据安全和数据质量监控系统，实现数据价值挖掘过程中的数据安全与数据质量的实时监督；其四，引入管理创新型人才，创新数据管理模式，节约数据管理运营成本。
9）数据共享
数据共享是数据资产的价值流动，是数据在不同用户系统之间的流动过程。在数据价值挖掘过程中，数据共享程度越高，数据价值变现的速度就越快，数据的增值程度就越大。数据共享作为数据价值变现的一个重要手段，对数据的应用具有决定性的作用。但是，当前的数据共享由于受传统数据观念的影响，在共享过程中遇到诸多困难，包括数据共享理念落后、管理难协调、数据标准不一致、数据隐私保护问题、数据知识产权保护问题等，严重阻碍了数据共享的进程。
因此，当前需要数据治理主体探索建立数据共享体系：其一，制定数据隐私保护的法律与制度，规范数据共享行为；其二，制定数据知识产权保护条例，协调共享过程中的数据主权与数据纠纷问题；其三，社会舆论与教育助推数据共享理念文化的发展，为数据共享提供和谐的文化环境；其四，建立统一的数据共享标准，助推数据共享渠道融合等。[1] 张绍华，潘蓉，宗宇伟.大数据治理与服务[M].上海：上海科学技术出版社，2015：17.[2] Malik P.Governing big data:Principles and practices[J].IBM Journal of Research and Development,2013,57(3/4):1-13.[3] OTTO B.A morphology of the organization of data governance[EB/OL].http://aisel.aisnet.org/ecis2011/272.[4] CHEONG L,CHANGⅤ.The need for data governance:a case study[EB/OL].http://theartofservicelab.s3.amazonaws.com/All%20Toolkits/The%20Data%20Governance%20Toolkit/Plan/The%20Need%20For%20 Data%20Governance-%20A%20Case%20Study.pdf.[5] SONIA P.Six critical success factors for data governance-view-points on innovation[EB/OL].http://view-points.io/entry/six-critical-success-factors-for-data-governance.[6] LOSHIN D.Data governance for big data analysis:considerations for data policies and processes-big data analysis[EB/OL].http://www.science direct.com/science/article/pii/B9780124173194000053.[7] [美]桑尼尔·索雷斯.大数据治理[M].匡斌，译.北京：清华大学出版社，2014：4-5.[8] 熊怡.理念上解读 实践上应用--大数据时代的国家竞争与企业发展[J].中国电力教育，2014（13）：19-23.[9] 熊怡.理念上解读 实践上应用--大数据时代的国家竞争与企业发展[J].中国电力教育，2014（13）：19-23.[10] 陈潭.大数据时代的国家治理[M].北京：中国社会科学出版社，2015：30-48.[11] 章政.大数据时代的社会治理体制[M].北京：中国经济出版社，2016：1-2.[12] 张康之.数据治理：认识与建构的向度[J].电子政务，2018（1）：2-13.[13] 促进大数据发展行动纲要.http：//www.360doc.com/content/16/0914/14/36524367_590742132.shtml.[14] [美]桑尼尔·索雷斯.大数据治理[M].匡斌，译.北京：清华大学出版社，2014：4-5.[15] [德]罗纳德·巴赫曼，吉多·肯珀，托马斯·格尔策.大数据时代下半场：数据治理、驱动与变现[M].刘志刚，刘源，译.北京：北京联合出版社，2017：108-111.[16] 徐继华，冯启娜，陈贞汝.智慧政府：大数据治国时代的来临[M].北京：中信出版社，2014：100-104.第二章 数据共享：从粗放管理到精细治理
政府对公共数据资源进行数据治理可以推动治理结构、服务模式、治理决策和绩效评估的变革，但其目前尚处于粗放式的管理阶段，亟须由粗放式管理模式向精细化治理模式转变，切实做到数据采集精确化、数据存储标准化和数据应用高质化。
实现公共数据资源功能最大化的关键在于促进数据互通流动，而促进数据互通流动的主要举措在于数据资源的共享开放。通过公共数据资源共享，提高数据的交互性，扩大流动范围，促进数据资源的多方利用，从而加速数据的传递、流转和应用，让数据资源具有不断增值的空间和持续发展的生命力，进而实现公共数据资源在提高政府决策能力、促进政府管理升级、创新公共服务方式及助力社会经济增长等多方面的价值提升。第一节 公共数据资源的特征与权责归属一、公共数据资源的概念
从广义上说，公共数据资源是政府及公共事业单位在处理公共事务过程中包含的所有数据信息的集合。公共数据资源本质上来源于社会公众，承载主体包括整体政府、行政事业单位、社会团体和社会组织，以及由政策法规授权或委托提供公共服务的企业，涉及政治、经济、科技、文化、地理、产业及组织信息、决策信息、控制信息、协调信息、监督信息和服务信息等多个领域。综上所述，公共数据资源具体是指所有产生并应用于社会公共领域、由整体政府依法进行管理、具有公共物品特性、并能为全体社会公众共同拥有和利用的数据资源。关于公共数据资源相关概念的辨析如表2-1所示。表2-1 公共数据资源相关概念辨析二、公共数据资源的特征
公共数据资源作为一种生产要素、无形资产和社会财富，其本质特征主要体现在以下几个方面。
1.公共性
公共数据资源的产出主体是社会公众，目的在于促进公共利益，应当属于“公共产品”范畴，因此公共性是公共数据资源的本质属性，同时“公共”也意味着数据资源的可见性和公开性。
2.非竞争性
公共数据资源的非竞争性是指公共数据资源在投入市场后不会因为需求的增加而减少公共数据资源对其他人的供应，反而是对公共数据资源的需求越多，公共数据资源的潜在价值越容易被有效开发和利用。
3.可分享性
公共数据资源作为一种信息资源，具有可分享、可传递的特点。一方面，公共数据资源具有零复制成本的特性，同一信息能被它的传递者和被传递者共同拥有；另一方面，以大数据资源共享平台为主要载体存在的公共数据资源，其传播途径和渠道不会受时间和空间限制，同一信息的传递者和被传递者能够按照自己的意愿进行资源分享和传递。
4.价值性
物体的价值性主要取决于对该物体的需求度和可用性。公共数据资源作为当代生产力中最活跃的要素之一，在使用过程中具有高使用率和高效益性的特点，通过重复利用和挖掘分析可释放其价值。三、公共数据资源的权责归属
公共数据资源作为一种数据资产，为了对其进行有序的应用管理，需要对数据的所有权、管理权、使用权、建设权等权利做出明确的界定。具体的数据权责归属划分如下。
1.公共数据资源的所有权
从归属上来说，公共数据资源的承载主体为整体政府，所以公共数据资源所有权归整体政府，整体政府对数据有管理、支配、处置等权利。
2.公共数据资源的管理权
管理权可以分为两方面：一方面是公共数据资源的日常维护管理权，由整体政府下各职能部门负责管理；另一方面是公共数据资源的统筹管理权，由整体政府下信息化主管部门进行统筹管理。
3.公共数据资源的使用权
公共数据资源的使用权是多元化的，因公共数据所涉及的部门广泛，整体政府下各部门单位都拥有对本部门数据的使用权限，但对其他部门的数据资源则需要根据相关管理制度进行有条件的共享使用。
4.公共数据资源的建设权
公共数据资源的建设权是整体政府赋予单个部门的权力，整体政府下各职能部门能够根据本部门行政职能及业务需求，对各自部门数据进行二次加工建设使用，或者利用本部门数据建设数据库、应用系统等，以便更好地存储、管理、利用部门数据。第二节 公共数据资源共享的特征与功能一、公共数据资源共享的概念
对于公共数据资源共享概念的界定，首先需要了解公共数据资源及数据共享的概念，才能进一步深刻地界定公共数据资源共享的概念。公共数据资源是指政府及公共事业单位在处理公共事务过程中包含的所有数据信息的集合，具体是指所有产生并应用于社会公共领域、由整体政府依法进行管理、具有公共物品特性并能为全体社会公众共同拥有和利用的数据资源。而数据共享是指让在不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和
[1]分析，具体是指不同的数据拥有者通过特定的数据共享渠道提供自己的数据以供他人分析运用的过程。在此基础上，从公共数据资源共享近似公共数据资源与数据共享的有机融合的视角，初步可以将公共数据资源共享概括为政府及公共事业单位将自身在办公过程中所产生的所有数据的使用权向他人转移的过程。但是，这一概念的界定可能会因缺乏对公共数据资源共享的整体认识而有失偏颇，所以需要切实结合当下不同学者对公共数据资源共享的相关研究和具体实践来提升其概念的科学性。下面给出一些学者关于公共数据资源共享的研究成果。
张贝认为：“政府信息共享是指社会公众能够享用政府信息，是政府信息优化配置的一种模式，通过协调政府信息在各参与人之间的[2]流转和分布，使得政府信息能够发挥其最大的效能。”樊博认为：“政府信息共享以提升政府满意度为中心，实现上下级政府、同级政府不同职能部门之间的信息资源协调运作，将金字塔模式转变为网络[3]模式，是工业社会背景下的传统政府走向信息化的必然方向。”王荫皆认为：“政府信息共享是指把政府行政事务处理过程中产生的所有政府信息资源都录入计算机中进行管理，从而成为一种可网络化查[4]询的资源利用方式。”贾丁认为：政府信息共享是指将大量收集到的政府信息进行有效的整合利用，最大限度地发挥信息资源的利用价值，避免由于信息流通的缺乏造成各类不必要的行政开支及拖累整体[5]政府工作效能。二、公共数据资源共享的特征
1.多维性共享
公共数据资源共享的多维性包括共享主体的多维性、共享客体的多维性、共享过程的多维性等。共享主体的多维性包括各级政府部门及其内部组织机构与工作人员的多维性；共享客体的多维性主要包括社会公众的需求的多维性；共享过程的多维性包括共享渠道的多维性、管理机制与运作模式的多维性等。
2.交互式共享
交互可以理解为一种双向互动的性质，公共数据资源共享作为一个系统工程，内部各要素之间相互影响、相互作用，将成为整个系统发展演化的动力。交互式共享主要是指公共数据资源共享的双向互动模式，在政府及公共事业单位对其公共数据资源进行共享的过程中，公共数据资源共享不是单向流动的，而是会得到数据资源共享的客体的回应和反馈。
3.集成式共享
公共数据资源的集成式共享主要是指政府的各个部门间能彼此有机、协调地运作，从而发挥整体效益，达到整体化共享的目的。具体表现为各个部门之间通过有效沟通，相互促进资源共享政策完善，更好地利用有利的共享工具和共享媒介，有机地协调共享主体之间、共享主体与共享客体之间的利益关系，从而推动公共数据资源共享的价值最大限度地发挥，以及公共数据资源共享服务的高质量供给，最终实现公共数据资源共享的协同化、整体化可持续发展。三、公共数据资源共享和开放的联系与区别
公共数据资源共享和开放的联系与区别如图2-1所示。图2-1 公共数据资源共享和开放的联系与区别
1.公共数据资源共享和开放的联系
公共数据资源共享（简称数据共享）是针对整体政府内部公共数据资源的开放，而公共数据资源开放（简称数据开放）是对外部全社会的公共数据资源的共享。一方面，公共数据资源共享与开放均是实现数据服务创新的必经之路。通过数据共享可助力整体政府内部对数据资源的综合利用，通过数据开放可实现社会各界对数据资源的多方创新增值利用，两者均以更大限度发挥数据资源的价值为出发点。另一方面，两者相互作用，相互促进。数据共享可促进数据开放，通过数据共享可以提升数据开放的层次和水平；数据开放倒逼数据共享，通过数据开放可以拓展数据共享的深度和广度。
2.公共数据资源共享和开放的区别
首先两者服务的对象不同。数据共享主要是整体政府内部间根据各职能单位需求共享数据，而数据开放强调的是非歧视性和开放授权性，即开放的数据是面向社会公众的，所有人均可无条件、无限制地免费使用；其次两者产生的效益不同。数据共享是整体政府内部对数据应用的优化，是政府深化简政放权、放管结合、优化服务改革的基础，可以推进政府“一号一窗一网”及“五证合一、一照一码”等工程的实施，提高政府决策能力、强化政府管理和优化政府服务。数据开放则是促进公共数据资源增值利用的必然要求，可以为社会公众提供充足的数据资源，引导企业和社会机构开发更多应用，充分挖掘公共数据资源的潜在价值。四、公共数据资源共享的功能
公共数据资源在提高政府决策能力、促进政府管理升级、创新公共服务方式及助力社会经济增长等方面具有重要价值。
1.提高政府决策能力
科学决策建立在决策依据的基础上，而科学的决策依据需要数据支撑。通过对公共数据资源融合分析，揭示公共事务的内在关联，找出公共数据资源背后隐藏的事物发展规律和趋势，可为政府各个阶段的决策提供翔实、科学的数据支持，促使决策由“事后诸葛”向“事前预测”转变，提高政府决策能力。例如，在自然灾害应对方面，通过抓取气象局、地震局的气象历史数据、卫星云图变化历史数据，以及城建局、规划局等部门的城市规划和房屋结构数据等数据源，构建大气运动规律评估模型，采用气象变化关联性分析等路径，精准预测气象变化，寻找最佳的解决方案，规划应急、救灾工作。
2.助力政府管理升级
利用公共数据资源共享倒逼流程变革，可以为政府管理由粗放向精细化转型提供支撑，从而助力政府管理升级。一是借助公共数据资源共享，促进管理范式变革，推动政府从“权威管理”向“科学管理”转变；二是提升政府的风险防范能力，加强事中事后监管服务，提高政府管理的精准性、针对性；三是实现政府透明化管理，调动全社会参与社会治理的积极性，完善监督和技术反腐体系，促进政府简政放权和依法行政。如佛山市数据银行通过运用大数据手段对工商、税务等部门的海量数据进行充分挖掘和利用，构建了市场监管的新模式，实现了对市场主体的科学管理。
3.创新公共服务体系
利用公共数据资源共享打通政府各部门之间的数据壁垒，盘活公共数据资源，创新政府公共服务理念和服务方式，一方面促进商事服务简便化，推动行政审批事项简化、下放、合并和取消，使服务模式更加便捷有效且更有针对性；另一方面加快民生服务普惠化，推动传统公共服务数据与新兴技术设备数据汇聚整合，开发便民应用，优化公共服务资源配置，提升公共服务水平。例如，2015年6月，佛山市交通部门与第三方公司签订了交通数据交换和合作运营协议，将公交车的定位数据和停车场的空置数据以服务运营模式交付第三方使用，由第三方公司免费向市民提供更优质的公共服务，有效地节约了财政在信息化领域的资金投入。
4.促进数据社会增值
公共数据资源作为无形资产，具备供应方规模经济“生产得越多，用得越多，效益越好”的特性，而数据共享为数据开放提供了充足的资源，使数据能在持续开放的过程中不断增值。数据开放增值推动跨领域、跨行业的数据融合和协同创新，探索形成协同发展的新业态、新模式，培育新的经济增长点，使公共数据资源共享与开放的功能最大化。例如，佛山市南海区通过建立“数说南海”平台开放共享数据，优化资源配置，提高社会运行效率；加速推进基层治理体系与能力现代化，打造阳光政府；以数据应用驱动社会创新，优化城市管理与产业发展生态，在数据不断循环利用的过程中，最终实现政务数据价值创新。第三节 公共数据资源共享的要点与难点一、公共数据资源共享的要点
如何有效促进公共数据资源共享，发挥其在推动政府职能转变、强化社会管理和公共服务中的作用，是当前社会研究的重要课题。结合目前公共数据资源发展的实践经验来看，公共数据资源共享的要点主要包括基础设施建设、标准规范确立、应用服务普及、管理制度制定和信息安全保障五个方面。
1.基础设施是基础
基础设施为公共数据资源发展提供基础的运行载体及互联互通的运行环境，是公共数据资源共享发展的基础。公共数据资源的基础设施主要包括政务云平台、数据平台和数据库等，其中政务云平台是数据统筹、数据存储、数据共享及数据应用的运行载体，能够把所有公共数据资源统一接入和管理起来；数据平台主要包括数据报送平台、数据运维平台、数据共享交换平台和数据开放平台等，是数据资源获取、传输及应用的重要媒介；数据库主要包括人口、法人、空间地理、宏观经济和政务服务等，能够针对数据特性和联系进行分类，便于数据的有效应用。
2.标准规范是支撑
制定健全的标准规范体系是满足公共数据资源共享的客观需求，是公共数据资源共享井然有序进行的有力支撑。为有效解决数据共享标准不统一等难题，公共数据资源标准规范体系建设应重点做好以下几方面的工作：一是公共数据资源目录体系的标准规范，对公共数据资源进行标准化编目，并对产生的元数据进行集中化管理与维护，提供公共数据资源的查询、检索和定位服务；二是数据标准的规范，规范公共事务过程中产生、收集、传输、发布和存储数据信息的标准，有效解决数据重复采集、标准差异大等问题，加强数据来源的一致性和权威性；三是技术标准的规范，包括对数据平台标准、系统接口标准及数据库标准等的规范，提高数据引导、数据获取和互动交流等方面的交互便捷性，加大公共数据资源共享力度。
3.应用服务是核心
应用服务是公共数据资源共享的基础，通过公共数据资源的应用服务，可以有效推动经济发展、完善社会治理、提升政府服务和监管能力，对改善民生也有重大意义。可以从以下几个方面体现公共数据资源共享应用服务的价值：第一是创新社会治理模式。通过对公共数据资源的应用，促进社会治理理念、社会治理结构、社会治理方式的转变；第二是建立运行平稳且安全高效的经济运行新机制，促进经济发展平稳运行；第三是构建以人为本、惠及全民的民生服务新体系，建设服务型政府；第四是促进供给侧结构性改革向纵深推进，培育新的经济增长点。
4.管理制度是关键
一套完整的管理制度是公共数据资源共享工作流程中每一步工作有章可循、有“法”可依的关键。通过制定长效的管理制度机制，可有效保障政府在信息化建设过程中对共享的种类划分、内容界定、交换方式和日常运作等进行规范管理。公共数据资源共享的管理制度制定应重点做好以下几方面的工作：一是完善信息化项目管理制度，加强项目立项、申报、审批、验收全流程闭环管理，并把数据共享与项目管理有机融合起来，有效促进部门间的数据共享；二是完善公共数据资源跨部门共享的协调机制，有效实现公共数据资源跨部门互通共享，激活部门间公共数据资源的潜在价值；三是完善绩效考评机制，将考评目标进行细化和适度指标化，突出考评目标的战略性，同时加强过程管理，实现绩效考评动态化。
5.数据安全是保障
公共数据资源由于自身固有的属性特征，其安全问题更应受到重视。在公共数据资源共享过程中，要重点做好以下工作来保障数据安全：一是要做好数据分级，针对不同级别的数据采用不同的保障机制，确保公共数据资源在可共享的范围内共享；二是数据共享前需要做好数据涉密审查、数据脱敏等工作，重点加强个人隐私与企业商业秘密的保护；三是提升数据管理平台的防护能力，做好权限管理，物理隔离与网络防护并重，确保数据管理平台安全；四是要加强数据共享的过程管理，明确数据资源供需双方的责任权利，杜绝数据外循环，保证数据资源在共享过程中安全可控。
试读结束[说明：试读内容隐藏了图片]