周期型快照事实表

周期型快照事实表中不会保留所有数据,只保留固定时间间隔的数据,例如每天或者每个月的销售额,或者每月的账户余额等。
例如购物车,有加减商品,随时都有可能变化,但是我们更关系每天结束时这里面有多少商品,方便我们后期统计分析。
累计快照事实表用于跟踪业务事实的变化

1)事务型事实表
以每个事务或事件为单位,例如一个销售订单记录,一笔支付记录等,作为事实表里的一行数据
2)周期型快照事实表
3)累计型快照事实表:用于跟踪业务事实的变化。
事实表的特征:非常的大,
内容相对的窄:列数较少(主要是外键id和度量值)
星座模型和前两种情况的区别时事实表的数量:星座模型是基于多个事实表
选星型还是雪花,取决于性能优先还是灵活优先。

**ODS层:**1.HDFS用户行为数据 2.HDFS业务数据
所以ODS层只有一个表,其中只有一个字段。
3.针对HDFS上的用户行为数据和业务数据,我们如何规划处理?
1)保持数据原貌不做任何修改,起到备份数据的作用
2)数据采用压缩,减少磁盘存储空间(例如:原始数据100G,可以压缩到10G左右)

DWD层:DWD层需要构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。
维度建模一般按照一下四个步骤:
选择业务过程->声明粒度->确认维度->确认事实
1)选择业务过程
在业务过程中,挑选我们感兴趣的业务线,一条业务线就对应一张事实表
2)声明粒度:
数据粒度是指数据仓库中保存数据的细化程序或者综合程度的级别
声明粒度意味着精确定义事实表中的一行数据表示什么,应该尽可能选择最小粒度,依次来应各种各样的需求。
典型的粒度声明如下:

DWS层和DWT层:
DWS层和DWT层统称为宽表层,这两层的设计思路大致相同,
总结:
1)需要建那些宽表,以维度为基准
2)宽表里面的字段:是站在不同维度的角度去看事实表,重点关注事实表聚合后的度量值
3)DWS和DWT层的区别:DWS层存放的所有主题对象当天的汇总行为,DWT层存放的是所有主题对象的累计行为

ADS层:对电商系统各大主题指标分别进行分析

猜你喜欢

转载自blog.csdn.net/qq_44104303/article/details/115084914
今日推荐