读书笔记--数据治理之器

       继延续上一篇文章,对数据治理之器进行学习思考。所谓的工欲善其事,必先利其器,数据治理工具是企业数据治理体系落地的重要保证。本部分内容主要讲述了数据治理的7把利剑,包括数据模型管理工具、元数据管理工具、数据标准管理工具、主数据管理工具、数据质量管理工具、数据安全治理工具、数据集成与共享工具。数据治理的本质是管理数据资产,改善数据质量,防护数据安全和个人隐私,促进数据应用。不同的企业要根据自身的业务诉求特点,有针对性的选择技术平台和工具。同时,企业要从一开始就意识到数据治理是一项长期持续性的日常工作,数据治理工作的核心是关注对业务价值增长的助力,一般与数据相关的项目都是一项重服务或重实施的项目工作,需要长期不断的坚持和投入,可能需要投入10年或20年才能逐步见效,或者对业务价值提升起到间接提效或支撑作用,因此企业的数据治理工作需要选择长期合作、可靠的、有真货的供应商来持续开展,需要重点考察供应商的知名度、成功案例、咨询实施经验和团队人员能力,同时也要考虑总体拥有费用成本(即TCO)等等。

一、数据模型管理工具

企业信息孤岛问题导致数据难以连通,最佳解决方式是开展全局规划,构建统一的企业数据模型,形成统一数据标准,该工具帮助企业输出一组标准化的、与业务一致的数据定义,并且符合业务规则和监管要求,并具有可重用性,该工具是数据治理工作的关键推动因素。数据模型管理工具提供了可视化建模、模型管理、模型对比和分析等功能。数据模型管理工具逻辑架构见左图所示。数据模型的应用见右图所示。

二、元数据管理工具

元数据管理工具是企业数据治理工作的重要抓手,帮助企业解决数据查找难、理解难等问题,促进了数据集成共享,元数据管理工具能够更好的获取、共享、理解和应用企业数据信息,降低数据集成和管理成本,提高数据资产的透明度。元数据管理平台架构见下图。

元数据采集主要包括对业务元数据、技术元数据和操作元数据的采集。详见下表,采集方式有自动化采集和人工采集,最难采集的是业务元数据。

元数据应用主要有在数据治理中的应用、应用系统开发过程中的应用(开发库、测试库和生产库)、数据仓库中的应用(数据关系、分析、交换和共享等)。

三、数据标准管理工具

大部分情况下,数据标准管理工具整合到元数据管理平台中,作为整体提高数据治理服务,必须包括标准制定、发布、执行和监控功能,数据标准问题不是一个技术问题,要让数据标准管得好、用得好,需要管理制度、流程、数据思维、文化等方面的建设。整体架构见下图。

四、主数据管理工具

主数据作为黄金数据,具有很高的价值,是企业数据资产管理的核心,解决企业异构系统的数据标准不一致不标准的问题,保障业务连贯性,数据一致性、完整性和准确性,提升业务线间的协同能力,支撑领导的管理决策需要。主数据管理系统功能架构见下图所示,包括业务系统层、主数据集成层、主数据管理层和主数据应用层。主数据管理工具主要提供主数据建模、管理、质量、安全和主数据集成等功能,利用中央存储库来存储和管理整个企业的主数据,为企业的关键业务数据提供统一集中的数据视图,该工具需要和企业的业务系统集成使用。

五、数据质量管理工具

数据质量管理工具架构见下图,数据质量维度是数据的六性(即唯一性、一致性、准确性、完整性、关联性和及时性),数据质量指标是从业务实体角度对质量问题的简单描述,可包含一个或多个信息项。一个完整的数据质量管理方案应包括数据质量评估指标设计、数据质量管理工具构建、定期或持续的数据质量测量、持续的数据质量改进机制等。工具是数据质量持续监控和不断改进的重要支撑。

六、数据安全管理工具

数据安全治理功能架构见下图所示,主要体现在数据管理和应用层面。数据安全治理的应用功能主要有数据安全风险监测、数据安全预警、数据安全问题或风险报送、数据安全培训等。在数据的采集、存储、传输、处理和使用过程中都要涉及到安全,企业要根据自身需要选择相应的安全治理工具。

七、数据集成与共享工具

数据集成与共享工具用于实现跨单位、跨部门的数据资源集成和共享,由多个系统构件组成,实现数据的汇聚、融合、交换和共享的整体解决方案,该工具是一个工具集,通过将数据桥接、数据传输、数据处理、目录服务、元数据管理、数据质量管理等工具进行整合应用,一般包括数据交换共享系统、目录服务系统和数据管理系统等,架构图见368。

数据交换共享系统是整个平台的核心,包括交换桥接子系统、交换前置子系统、交换传输子系统、数据加工子系统、管理和监控子系统。

目录服务系统包括目录编目管理、目录注册管理、目录发布管理、目录查询管理和目录维护管理等功能,目录编目的作用是为数据资源和封装的服务建立分类目录和索引。

数据管理系统通过元数据管理和数据质量管理等功能,对交换库、共享库和目录库进行统一管理。

       最后,由于数据治理是一项长期持续性的日常工作,治理的核心是关注对业务价值增长的助力,需要选择长期合作、可靠的、有真货的供应商来开展,数据相关的项目是一项重服务或重实施的项目工作,重点考察供应商的知名度、成功案例、经验和团队人员能力等,具体给出了数据治理工具该如何选型的建议,主要从以下一个方面进行考察选择。

1.供应商综合实力:知名度、市场地位、信用、财务信息、资质、专业资质、研发能力、服务能力(咨询能力、实施能力、服务能力等)。

2.产品的架构考察:数据、技术、应用、安全和部署架构。

3.产品的功能考察:分为全面开展的数据治理和面向主题的数据治理工作。功能指标主要有工具的自动化程度,支持的数据类型,支持的数据来源,产品规划路线图,配套文档等。

4.产品的性能考察:性能、可靠性、易用性、安全性和可扩展性指标(集成能力和二次开发支持能力等)

另外,数据治理工具选型过程中要着重考虑工具选型和成本预算,即TCO(总体拥有成本),TOC=购买工具产品的成本+后期的运营和维护成本。

猜你喜欢

转载自blog.csdn.net/hhue2007/article/details/131742434