慕课网日志分析实战一:架构及概述

学习完慕课网SparkSQL日志分析这门课之后,我想把我做项目的过程与踩的坑与大家分享一下,希望对大家能有帮助。
1.项目的整体架构
这里写图片描述

2.概述
这个项目比较简单,是对于SparkSQL知识的一种梳理,所以没有应用Flume和Kafka导入数据。针对于慕课网日志进行数据分析,对日志信息清洗使其转化为合适的格式,并对清洗好的数据进行多维度的统计分析,并将统计分析的结果打到MySQL上,方便其进行数据的可视化。

3.需求
这个项目一共有三个需求:

  • 需求一:统计imooc主站最受欢迎课程/手记的topn访问次数
  • 需求二:按地市统计imooc主站最受欢迎topn课程
  • 需求三:按流量统计imooc主站最受欢迎的topn课程

4.数据展示

这里写图片描述

注:github地址我会在之后提交,希望大家持续关注

猜你喜欢

转载自blog.csdn.net/weixin_39216383/article/details/80480587