一、选题与意义
1.Hadoop平台应用
- 淘宝双11数据分析与预测
- 官网：http://dblab.xmu.edu.cn/post/8116/
个人对hadoop分布式的学习比较感兴趣。
二、实践方案
简要说明理由。
三、实践任务分解
- 安装Linux操作系统
- 安装关系型数据库MySQL
- 安装大数据处理框架Hadoop
- 安装数据仓库Hive
- 安装Sqoop
- 安装Eclipse
- 安装 Spark
- 对文本文件形式的原始数据集进行预处理
- 把文本文件的数据集导入到数据仓库Hive中
- 对数据仓库Hive中的数据进行查询分析
- 使用Sqoop将数据从Hive导入MySQL
- 利用Eclipse搭建动态Web应用
- 利用ECharts进行前端可视化分析
- 利用Spark MLlib进行回头客行为预测
四、实践计划
说明：
- 个人项目，不要求组队，确实需要组队的说明理由。
- 边操作边记录；
- 每天完成当天文档；
- 最后综合成课程实践报告。