数据仓库设计的一点总结

不论使用什么方法建设数据仓库,最终的目标都是统一的------为战略层面的决策提供数据支撑。关键原则还是聚焦业务需求,展现维度结构数据,过程可控可管理,并使用迭代方式开发数据仓库项目。

数据仓库建设过程其实并不复杂,总的来说可以总结为以下几点:
1、业务发展衍生出数据分析需求
2、基于业务需求进行的需求分析
3、根据分析结果进行的维度建模与技术方案的选型
4、ETL设计与开发
5、数据仓库的部署
6、数据集市的形成
7、迭代与发展

这其实很像一个生命周期过程,看一张图片(图片来源于数据仓库工具箱一书),展示的恰好是数据仓库建设的生命周期

在这里插入图片描述
那么在数仓建设过程中,最难的点在于哪里?个人觉得可能有以下几点
1、怎么做好前期的各项调研和评估工作,包括数据可行性分析等?
2、维度模型直接关系到数据仓库的质量,那么维度模型如何确立?
3、怎么进行架构设计及技术组件选取?
4、怎么保证数据查询性能?

从经验上来看,前期调研和评估分析工作做的越详细、越全面、花费的精力越多,后边进行的各项工作的推进便越顺畅,全部推倒反工的可能性越低。

第一:与需求方各相关人员进行密切对话,认真记录可获得的各种细节问题(目标、资源、可行性、优先级、实施范围等),最终将需求分析文档化,这样才能对需求与目标了如指掌,利于后续推进。
第二:维度如何建立前面文章中有相关过程总结。
第三:需求驱动架构设计,聚焦能够对架构产生影响的业务需求,重点关注时间相关、可用性和性能方面的需求。将架构需求组件化,包括ETL、元数据、BI和基础支撑等。明确各组件间的接口方式、并将其联合起来以确立初步架构。最后进行评审改进确立最终架构。
第四:物理设计大大影响了最终的查询响应能力,最大限度地考虑索引、聚集、分区、边缘计算及其它性能调整策略。

总结:
1、将重点放在需求和目标上,而不是技术和数据本身上。
2、将敏捷和迭代开发的思想用在项目中,而不是刻意追求使项目迟迟不能完成。
3、重点关注前端查询性能和易用性,而不是过多关注后端可操作型性能和可开发性。
4、充分考虑到数据的可共享性、跨部门一致性,而不是数据孤岛、各行其是。
5、最后就是坚信数据的价值并充分发挥数据的价值。

发布了95 篇原创文章 · 获赞 5 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/weixin_43878293/article/details/104684562