ODS& DWD& DWS& ADS 数仓分层

数仓分层

ODS:Operation Data Store
原始数据

DWD(数据清洗/DWI ) data warehouse detail
数据明细详情,去除空值,脏数据,超过极限范围的明细解析
具体表

DWS(宽表-用户行为,轻度聚合) data warehouse service ----->有多少个宽表?多少个字段
服务层--留存-转化-GMV-复购率-日活 、点赞、评论、收藏; 
轻度聚合对DWD

ADS(APP/DAL/DF)-出报表结果 Application Data Store
做分析处理同步到RDS数据库里边

数据集市:狭义ADS层; 广义上指DWD DWS ADS 从hadoop同步到RDS的数据

1. ODS层

原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。

eg:创建启动日志表ods_start_log

2. DWD层数据解析

对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据,行式存储改为列存储,改压缩格式)

DWD解析过程,临时过程

eg:

  • 两个临时表: dwd_base_event_log、dwd_base_start_log
  • 建多张表外部表: 以日期分区,dwd_base_event_log在这张表中根据event_name将event_json中的字段通过get_json_object函数一个个解析开来;

DWD层创建基础明细表

明细表用于存储ODS层原始表转换过来的明细数据。

3.DWS层--(用户行为宽表层)

目标:统计当日、当周、当月活动的每个设备明细

eg:建表dws_uv_detail_day

4.ADS层

  目标:当日、当周、当月活跃设备数    使用 day_count表 join wk_count  join mn_count , 把3张表连接一起

eg:建表ads_uv_count表

发布了183 篇原创文章 · 获赞 126 · 访问量 7万+

猜你喜欢

转载自blog.csdn.net/young_0609/article/details/103088253