读书笔记--数据治理学习记录及感悟

通过阅读一本读透数据治理,应该说本书彻底讲透了数据治理,让我学到了数据治理的四大维度,即从道、法、术、器讲述数据治理的基础性、全局性、系统性、复杂性、持续性和耐性。正如作者提到的,数据治理工作要将其作为生态来做,形成自我驱动、自我进化、可持续发展和长效运营机制来开展,正如大家常说的党建永远在路上,数据治理也一样,数据治理永远在路上。同样,大家常说的数字化转型,其实数据治理就是企业数字化转型的必经之路,治理是数字化转型的基础和前提,同时也是一个系统工程。数据治理的对象是数据,或者严格来说是数据资产,目前数据资产已经被作为生产要素,未来企业数据就像原油,就像我们生活中的电,用于提升企业竞争力,甚至再造商业模式,但只有通过实施有效的数据治理策略,才能输出高质量的数据,释放数据价值,相当于原油转化为有品质的石油化工材料,电通过电网进到千家万户,驱动不同的应用设施,比如扫地机器人,空调,冰箱,洗衣机,智能音响等,否则数据就是企业无法推诿的包袱。后续有时间我会逐个展开四个维度内容来详细阐述,供大家参考,这本书应该说比DAMA数据管理知识体系指南内容讲述的更接地气,系统化、逻辑性强和更实用。

一、数据治理整体脉络

全书在阐述数据治理时,从数据治理的道、法、术、器四个维度全面深入的开展,具体见下图。

道:3个战略机制,即数据战略、组织机制和数据文化

法:8项关键举措,即理现状与定目标、能力成熟度评估、路线图规划、保障体系建设、技术体系建设、策略执行与监控、绩效考核、长效运营。

术:7种技术能力,即数据梳理与建模、元数据管理、数据标准管理、主数据管理、数据质量管理、数据安全治理、数据集成与共享

器:7件利器或治理工具,即数据模型管理工具、元数据管理工具、数据标准管理工具、主数据管理工具、数据质量管理工具、数据安全治理工具、数据集成与共享工具。

二、什么是数据治理?

不同的人有不同的定义,但一般情况下有三种定义方式,具体如下

管理者视角,认为数据治理是与企业的业务发展战略有关,是指导企业数字化转型的策略或基石。

业务员视角,认为数据治理要定义好数据,数据变为信息,形成完整的数据资产地图或资源目录,并做好数据质量管理,提升数据的利用率。

技术员视角,从事不同技术工种的人员认为的数据治理各不相同,有的认为数据治理应包括ETL、数据的处理转换融合、元数据管理用于血缘和影响分析;运维技术员认为数据治理重点是在数据源中治理,即业务系统中治理好,数据仓库是应用端;数据平台人员认为数据治理应该统一在数据湖中治理及管理,所有用数的需求都从湖中取。

笔者认为数据治理是企业数字化转型的基础、顶层策略、管理体系、技术体系,包括战略、组织、文化、方法、制度、流程、技术和工具等多个层面的内容。

数据治理究竟是治什么,是对数据资产的治理、同时是对数据资产的利益相关方的协调与规范。

数据变为资产,需要具备4个核心条件:数据是在企业交易或事项中产生的,数据由企业拥有或控制,数据能给企业带来经济利益,数据的成本或价值可衡量。

数据的利益相关方有数据生产者、数据拥有者或控制者,数据价值或经济受益者。

需要协调和规范利益相关方的工作包括数据标准化、确权、流程优化

三、数据治理的6大价值

1.降低业务运营成本:降低IT和业务运营成本,沟通成本。

2.提升业务处理效率:无需协调汇报,提高业务工作运营效率

3.改善数据质量:改善数据分析可信度、产品服务质量,甚至品牌声誉

4.控制数据风险:逐步建立起来的基于知识图谱的数据分析服务,使得企业拥有可靠的数据,能够抵御控制各类风险。

5.增强数据安全:数据的安全防护、敏感数据保护和合格使用,具体技术有加密、解密、脱敏脱密,安全传输、访问控制,分级授权等

6.赋能管理决策:有效提升数据分析和预测精度,改善决策水平,赋能业务发展和管理创新。

四、数据治理的3种现状

各行业的企业信息化总体发展趋势遵循诺兰模型,目前大部分企业都处在中期的数据集成阶段,具体如下,企业数据治理现状主要分以下3类。

1.企业有雄厚的经济实力,信息化起步早,业务对信息化和数据的依赖程度较高,有相对完善的数据治理体系,需要加强数据应用,加快数据驱动创新,提升数据治理和变现能力。

2.企业有一定的经济实力,信息系统较多,单条业务线上的信息化应用程度较高,信息孤岛严重,数据不能互联互通,数据价值无法发挥,需要加强企业级的资源整合治理。

3.企业经济示例相对薄弱,信息化刚刚起步,有财务系统、OA、ERP,数据存放在部门或个人电脑中,数据共享程度较低。打好数据基础,改革创新,弯道超车的机会把握。

五、数据治理的5类问题(数据是作为资产,还是作为企业的包袱,需要管得好,用的好)

1.黑箱数据:闲置,沉没、睡眠数据,无人知晓

2.数据孤岛:数据缺少关联性,无法共通

3.数据巴别塔:没有共同认可的对话标准,数据定义不清、口径不同、缺少规范

4.糟糕的数据质量:类比数据就像原油,到不同型号的成品油,需要一系列的淬炼,提纯过程,行大运数据的采集、存储、处理和清洗等加工过程,得到可信高质量可利用的数据资产。

5.数据的安全风险:数据应用和数据安全是一对平衡矛盾,在数据的全生命周期过程中,要做好规范制度、实验权限等建设。

六、数据治理的6大挑战

1.对数据治理的业务价值认识不足,数据治理要从管理层、业务部门的应用需求和数据痛点出发来开展。

2.缺少企业级数据治理的顶层设计:战略层面策略,全局性,体系化

3.高层领导对数据治理不够重视:数据治理的合适是为业务增加价值,要得到业务关键负责人的支持。

4.数据标准不统一,整合困难:内外部不统一,导致集成和融合困难

5.业务人员普遍认为数据治理是IT部门的事情:实际上对数据的定义、业务规则、数据输入及控制、数据的使用都是业务职责,相当于在正确的时间、地点获得正确的数据,以达到服务客户、做出决策和制定计划的目的;IT人员是在正确的时间、地点将正确的数据送达业务人员,是数据的可靠供应者。

6.缺少数据治理组织和专业人才:没有最好的组织和人才,只有根据企业的组织、管理、业务、技术现状,形成适合企业自身的组织模式。

七、数据治理的国内外框架标准有哪些?

以下是目前国际国内比较流行的数据治理框架或规范,对数据治理提高方法和实践指导,但企业在开展自身的数据治理工作过程中,还需要结合业务实际,建立自身业务发展要求的数据治理实践。具体如下:

国际

1.ISO数据治理标准

2.GDI数据治理框架

3.DAMA数据管理框架

国内

1.GB/T 34960数据治理架构

2.数据管理能力成熟度模型

   

八、数据治理过程中的一些专业名词对比解释 

数据元:包括对象、特性和表示,是最小颗粒度的数据,是数据标准定义的基础,相当于关系数据库中的数据项。

元数据:是描述数据的数据或者关于数据的结构化数据,详见我的另一篇文章

主数据:是企业跨部门,跨业务,跨系统、跨技术的共享数据,是大数据分析和信息系统建设的基础,是数字化转型的基石,详见我的另一篇文章

业务数据:是企业业务过程或系统自动产生的既定事实数据或交易数据,也包括一些IOT设备产生的数据。具有时效性强,数据量大特点。

主题数据:是根据数据分析需要,按照业务主题领域对数据做的一致组织管理方式,一般是汇总的、不可更新、只读数据。

数据仓库:是一个面向主题、集成的、相对稳定的,反映历史变化的数据集合,是企业数据汇聚de集成,用于多维分析和数据挖掘,支持管理决策应用。

数据湖:是以原始格式存储数据的存储库或系统,提供了不同数据结构的统一存储,并为机器学习提供全局数据,但需要做大量的数据清洗处理。融合了数据采集、处理、存储、机器学习和数据挖掘等技术和工具的解决方案。

数据治理、数据管理和数据管控之间的关系:数据治理是企业顶层设计、战略规划,是总纲和指导,是策略;数据管理是执行和落实治理策略并在过程中给予反馈,强调管理流程和制度;数据管控侧重于执行层面,是具体落地的措施和执行手段,三者关系见下图,三者相辅相成。

九、数据治理的9个要素

数据战略、组织机制、数据文化、管理流程、管理制度、数据、人才、技术和工具。

十、数据治理的实践案例

结合2个集团企业数据治理实践案例,提出了数据治理的6项准备工作和6个常见误区。

(一) 两个案例

一个案例是某集团公司的主数据管理实践,形成了业务数字化、集成化,业务管理规范化和精细化,管理决策科学化。

一个案例是某汽车公司的数据资产管理实践,围绕数据标准,元数据和数据质量开展,形成了全方位监管的数据资产管理体系;形成数据资产管理平台,为业务指标追踪和管理决策提供支撑;建立了数据标准及标准管理体系,明确责任主体;建立了质量规则定义、检验、问题分析和整改,提供全链路的数据质量监控,提升数据资产的管控水平。

(二)数据治理的6项准备

1.管理层对数据治理价值的理解

2.合理评估企业数据管理的现状

3.选定数据治理“领头羊”

4.业务与IT的深度融合

5.数据治理工具的选型

6.数据治理咨询与实施专家

(三)数据治理的6个误区

1.技术部门主导的盲目夸大治理

2.业务部门牵头的局部治理

3.重项目建设,轻持续运营

4.唯工具论

5.重结果,轻过程

6.数据多源,适配困难

(四) 数据治理的5大技术展望

1.大数据背景下,主数据管理没有死

2.大数据背景下,企业数据治理需要从采、存、管、看、找、用开展

3.微服务架构下,企业数据如何治理,治理什么,在哪里治理和怎么治理都要解决。

4.区块链技术能够助力企业数据资产管理。确权、保护资产安全、提高数据质量、加速数据资产共享。

5.人工智能,为企业数据治理插上翅膀。

总结,数据治理作为企业数字化转型的必经之路,是数字化转型的引擎和重要基石,数据治理推动我们培养形成数据文化,即我们要时刻采用数据说话,用数据管理,用数据决策,用数据创新。

未来数据治理将是企业的常态工作,持续性工作和重点业务工作,数据治理是企业业务的组织部分,而不是技术支撑部分。

猜你喜欢

转载自blog.csdn.net/hhue2007/article/details/129614463