Flink电商实时数仓项目04-DWS层 其他 2021-03-06 21:28 0 阅读 1 DWS层和DWM层的设计 1.1 DWS层 前面的总结 DWS层的定位是什么呢? 轻度聚合,因为DWS层要应对很多实时查询,如果是完全的明细那么查询的压力非常大。 将更多的实时数据以主题的形式组合起来便于管理,同时也能减少维度查询的次数。 ODS层: -- 日志数据: nginx+日志采集服务器(3台) 将数据采集到Kafka(ods_base_log) -- 业务数据: Maxwell监控MySQL(binlog) 将数据采集到Kafka 猜你喜欢