Flink电商实时数仓项目01-ODS层

Flink电商实时数仓项目 - 数据采集

1 电商实时数仓项目概述

1.1 数据分层分析

• 离线数仓项目的分层为：

  ODS、DWD、DWS、DWT、ADS

• flink实时数仓项目的分层为：

  ODS、DWD、DIM、DWM、DWS、ADS

  其中ODS层为原始数据层；DWD层详细数据层，根据数据对象为单位进行分流，比如订单、页面访问等；DIM层维度数据层；DWM层对部分数据对象进一步加工，比如独立访问、跳出行为，也可以与维度进行关联，形成宽表，依旧是明细数据；DWS层根据某个主题将多个实时数据轻度聚合，形成主题宽表；ADS在Clickhouse中的数据根据可视化需要进行筛选聚合。

1.2 离线计算架构 & 实时计算架构

1.2.1 离线计算架构

离线计算：T+1

1.2.2 实时计算架构

实时计算：T+0