电商数仓-同步策略(全量同步策略,增量同步策略,新增及变化策略,特殊策略)

同步策略

数据同步策略的类型包括:全量表、增量表、新增及变化表
 全量表:存储完整的数据。
 增量表:存储新增加的数据。
 新增及变化表:存储新增加的数据和变化的数据。
 特殊表:只需要存储一次。

全量同步策略

在这里插入图片描述

增量同步策略

在这里插入图片描述

新增及变化策略

每日新增及变化,就是存储创建时间和操作时间都是今天的数据。
适用场景为,表的数据量大,既会有新增,又会有变化。
例如:用户表、订单表、优惠卷领用表。

特殊策略

某些特殊的维度表,可不必遵循上述同步策略。
1)客观世界维度
没变化的客观世界的维度(比如性别,地区,民族,政治成分,鞋子尺码)可以只存一份固定值。
2)日期维度
日期维度可以一次性导入一年或若干年的数据。
3)地区维度
省份表、地区表

猜你喜欢

转载自blog.csdn.net/qq_46548855/article/details/107586081