项目介绍
1. 技术框架
spark core spark sql 以及spark streaming 进行离线和实时计算业务模块
2. 功能模块 4个
用户session分析
- 用户session统计分析
- session聚合指标计算
- 按比例随机抽取session
- 获取每天点击
- 下单和购买排名前10的品类
- top10品类的点击量
- 排名前10的session
页面单跳转化率统计：
- 计算关键页面之间的单步跳转转化率
- 页面流匹配算法
热门商品离线统计:
- 每天统计出各个区域的top3热门商品
- 使用Oozie进行离线统计任务的定时调度
- 使用Zeppeline进行数据可视化的报表展示
广告流量实时统计：Spark Streaming
- 实时统计公司的广告流量
- 广告展现流量和广告点击流量
- 实现动态黑名单机制，以及黑名单过滤
- 实现滑动窗口内的各城市的广告展现流量和广告点击流量的统计
- 实现每个区域每个广告的点击流量实时统计；
- 实现每个区域top3点击量的广告的统
3. 开发流程
需求分析
方案设计
数据设计
编码实现
测试
性能调优
4. 所能学到的知识？
性能调优、troubleshooting以及数据倾斜等知识