版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/YaboSun/article/details/82389366
本项目主要是慕课网上实战视频，通过自己实践记录
视频地址：
https://coding.imooc.com/class/153.html
记录项目的实践，包括项目过程中的详细步骤以及代码，主要涉及大数据生态实时流处理的知识，包括：
Flume分布式日志收集框架
Kafka分布式消息队列
SparkStreaming整合Flume以及Kafka
数据可视化
功能实现
主要实现俩个功能：
1、统计今天到现在为止实战课程的访问量
2、统计今天到现在为止从搜索引擎引流过来的实战访问量
项目流程
数据产生–采集–清洗–统计分析–入库–可视化
需求分析->数据产生->数据采集->数据清洗->数据统计分析->统计结果入库->数据可视化
可视化
1、使用Spring Boot整合Echarts实现
2、使用阿里云DataV数据可视化框架实现
预备知识
1、熟悉Linux基本命令
2、熟悉Scala（课程所用语言）、Python、Java中的任何一门编程语言
3、有Hadoop和Spark基础