数仓(三):分层设计 ODS-DWD-DWS-ADS

数据仓库数据模型设计是构建数据仓库的核心过程之一。其目的是将多个数据源中的数据整合到一个统一的数据模型中,以支持业务分析和决策。然而,在数仓建设的过程中,由于未能完全按照规范操作, 从而导致数据仓库建设比较混乱,常见以下问题:

  1. 数仓分层不清晰:数仓的分层没有明确的逻辑,导致数据难以管理和维护。
  2. 数据域划分不明确:没有明确的数据域划分,导致数据冗余和不一致。
  3. 模型设计不合理:模型设计没有考虑到业务的实际需求,导致数据质量低下。
  4. 代码不规范:代码不符合规范,导致维护困难。
  5. 命名不统一:命名不统一,导致数据难以理解和使用。
  6. 主题域划分不完整:主题域划分没有涵盖所有业务需求,导致数据缺失。

一、数仓建模的意义,为什么要对数据仓库分层?

        只有数据模型将数据有序的组织和存储起来之后,大数据才能得到高性能、低成本、高效率、高质量的使用。

1、清晰数据结构每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。

数据关系条理化:源系统间存在复杂的数据关系,比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统,取数时该如何决策呢?

猜你喜欢

转载自blog.csdn.net/qq_22473611/article/details/103278799