数据治理体系及实施过程

  数据治理可以有效保障数据建设过程在一个合理高效的监管体系下进行，最终提供高质量、安全、流程可追溯的业务数据。

  一、数据治理体系

  企业数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。

  1、数据质量

  一般采用业内常用的标准来衡量数据质量的好坏：完整性、准确性、一致性和及时性。

  完整性：数据的记录和信息是否完整，是否存在缺失情况

  准确性：数据汇总记录的信息和数据是否准确，是否存在异常或者错误

  一致性：多个业务数仓间的公共数据，必须在各个数据仓库中保持一致

  及时性：数据能及时产出和预警

  2、元数据管理

  元数据是关于数据的组织、数据域及其关系的信息，通俗理解，元数据就是描述数据的数据。

  元数据包含技术元数据和业务元数据。可以帮助数据分析人员清楚了解企业拥有什么数据，它们存储在哪里，如何抽取、清理、维护z这类数据，也即数据血缘。
  建立数据质量稽核体系，分类管理监控
  帮助构建业务知识体系，确立数据业务含义可解释性
  提升数据整合和溯源能力，血缘关系可维护

  3、主数据管理

  企业主数据指企业内一致并共享的业务主体，大白话理解就是各专业公司和业务系统间共享的数据。

  常见的主数据比如公司的员工、客户数据、机构信息、供应商信息等。这些数据具有权威性和全局性，可归约至公司的企业资产。

  一般主数据管理需要遵循如下几点：

  管理和监管各组织机构、子公司、部门对主数据的访问，制定访问规范和管理原则
  定期进行主数据评估，判断既定目标的完善程度
  组织相关人员和机构，统一完善主数据建设
  提供技术和业务流程支持，全集团集中统筹

  4、数据资产管理

  一般企业在数字化转型时都会考虑数据资产梳理。你的数据有没有被合理利用？如何产生最大价值？这是数据资产管理关心的核心工作。在构建企业资产时一般会考虑不同角度，即业务角度和技术角度，最后进行合并，输出统一的数据资产分析，并向外提供统一的数据资产查询服务。

  如何盘活数据，形成数据资产，提供完整的数据资产全景视图，可方便运营者全局、宏观地掌控企业资产动态。

  5、数据安全

  数据安全是企业数据建设必不可少的一环，我们的数据都存储在大大小小的磁盘中，对外提供不同程度的查询和计算服务。

  需要定时对数据进行核查、敏感字段加密、访问权限控制，确保数据能够被安全地使用。

  6、数据标准

  大白话理解，我们需要在组织内定义一套关于数据的规范，好让我们都能理解这些数据的含义。

  今天张三说这个客户号是办理银行卡的客户，明天李四又说是借贷过的客户。对比一看，两者的字段类型和长度一致，到底要采纳哪个意见呢？

  数据标准是保障数据的内外部使用和交换的一致性和准确性的规范性约束，通过统一规范，消除二义性。

  二、企业数据治理实施过程

  2.1 数据治理实施框架

  通过一个常态化的数据治理组织，建立数据集中管理长效机制，规范数据管控流程，提升数据质量，促进数据标准一致，保障数据共享与使用安全，从而提高企业运营效率和管理水平。

  2.2 数据治理组织架构

  一般在数据治理建设初期，集团会先成立数据治理管理委员会。从上至下由决策层、管理层、执行层构成。决策层决策、管理层制定方案、执行层实施。层级管理、统一协调。

  2.2.1 组织架构

  提供数据标准管理的决策职能，通俗理解即拍板定方案。

  2）管理层

  审议数据标准管理相关制度
  对跨部门难的数据标准管理争议事项进行讨论并决策
  管理重大数据标准事项，提交信息科技管理委员会审议
  3）执行层

  业务部门：负责业务线数据标准的制定、修改、复审，推广落实数据标准等
  科技开发：承担治理平台、数据标准、数据质量等实施工作；系统设计和开发工作中遵循数据标准
  科技运营：负责技术标准的制定和技术推广

  2.2.2 管理层职责

  确定项目目标、范围和计划
  制定项目里程碑
  管理跨项目协同
  2）专家评审组

  评审项目方案，确定方案的合理性

  3）PMO

  确保项目按计划执行
  管理项目重大风险
  执行跨项目协同、沟通
  组织项目关键评审
  4）数据治理专项组

  执行各项目的落地实施和运营推广，推动执行层的实施数据治理技术落地和项目进展。

  2.2.3 执行层职责

  1）业务专员

  业务专员作为业务部门数据治理的接口人，在标准、质量、应用等领域组织业务人员开展工作

  定义数据规则
  保障数据质量

  数据治理专家作为数据治理组成员，负责设计数据架构，运营数据资产；牵头组织业务、IT达成数据治理目标。

  构建数据逻辑模型
  监控数据质量
  运营数据资产
  3）数据架构师

  数据架构师作为IT开发部门的专家，承担数据标准落地、模型落地的重任，协助解决数据质量问题。

  数据标准落地
  逻辑模型落地
  物理模型落地

  2.3 数据治理平台

  在大型企业中一般会开发一个完整的数据治理平台，囊括所有数据治理功能，对外提供平台服务。

  1）核心功能

  数据治理平台作为数据治理的产品体系，旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。

  数据资产管理：提供面向用户的场景化搜索，提供全景数据资产地图，方便快速查找资产和资产分析

  数据标准管理：统一定制数据标准，提高包括字段、码值、数据字典管理，保障业务数据和中台数据的统一标准
  数据质量监控：提供事前、事中、事后的数据质量体系，支持数据质量监控规则配置、告警管理等功能
  数据安全：提供数据安全脱敏、安全分级和监控
  数据建模中心：统一建模，提供业务系统建模和模型管理
  2）元数据管理

  元数据管理系统作为数据治理平台的前端展示门户，帮助实现对数据资产的快速检索能力，提高数据使用有效性和效率。

  通过建立完整且一致的元数据管理策略，提供集中、统一、规范的元数据信息访问、查询和调用功能。

  3）数据质量
  数据质量监控：支持所有用户进行数据质量监控规则配置
  规则阻断：配置数据质量监控阻断规则，数据质量出现差异可实时阻断下游作业运行，屏蔽错误结果链路扩散。
  告警：数据质量出现预设偏差，及时发出预警通知及时修复

  支持定制统一的数据标准平台，包括字段标准管理，码值标准管理以及字典管理，业务源数据和中台数据统一标准。

  5）数据安全

  基于集团数据资产实现数据安全分级管理，自动识别安全信息；提供数据访问安全行为监测，及时识别访问风险。

  2.4 数据治理评估

  “1）数据是否可以消除"脏、乱、差"的现象；2）数据资产是否最大价值化；3）所有数据的血缘是否完整可追溯……”

  1）数据资产

  通过构建数据资产管理体系，实现资产全覆盖，并支持全局搜索和精准定位目标资产。
  实现全局搜索，面向用户提供场景化检索服务
  支持标签、数据地图、表名和字段名等多种检索维度
  支持进行数据地图，源业务数据字典的结果筛选
  比如支持PV/UV用户搜索和资产展示，明确服务目标

  新旧数据标准沉淀，打通了数据建模工具、数据标准库和词根标准库，落地数据标准和词根。
  实现数据标准库100%拉通
  智能识别数据标准和引用
  客户端同步更新数据标准、词根

  保持事前制度建设、事中技术管控、事后监控审计的原则建立全流程数据安全管控体系。

  基于以上数据安全管控体系，支持数据安全定级，构建灵活的数据安全共享流程。

  4）数据质量

  通过数据质量雷达图，定期进行数据和任务质量打分，综合考察数据质量效果。
  数据完整性：查看数据项信息是否全面、完整无缺失
  告警响应程度：日常管理、应急响应、降低影响；避免数据损毁和丢失
  监控覆盖程度：确保数据遵循统一的数据标准和规范要求
  作业稳定性：监控作业稳定性，是否存在作业异常等问题
  作业时效性：检查任务对应的数据项信息获取是否满足预期要求