1 需求分析及实现思路
1.1 分层需求分析
1.1.1 实时数仓为什么要分层？
建设实时数仓的目的，主要是为了增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。
比如直接从dwd、dim、dwm、dws取数据。
1.2 每层的职能
| 分层 | 数据描述 | 生成计算工具 | 存储媒介 |
|---|---|---|---|
| ODS | 原始数据，日志和业务数据 | 日志服务器，maxwell | kafka |
| DWD | 根据数据对象为单位进行分流，比如订单、页面访问等等。 | FLINK | kafka |
| DWM | 对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。 | FLINK | kafka |
| DIM | 维度数据 | F |