0502-项目需求和项目架构

第一章 项目需求

1. 实时采集埋点的用户行为数据
2. 实现数据仓库的分层搭建
3. 每天定时导入业务数据
4. 根据数据仓库中的数据进行报表分析

数据来源:

1. 用户行为数据
2. 业务数据

搭建数仓
分析数据

第二章 项目架构

2.1 技术选型

阶段	框架
数据采集传输	Flume, Kafka, Logstash, DataX, Sqoop
数据存储	Hive, MySql, HBase, S3
数据计算	Spark, Hive, Tez, Flink, Stom
数据查询	Presto, Impala, Kylin

2.2 系统架构图设计

2.3 系统数据流程设计

2.4 框架版本选型

2.5 集群资源规划设计