需求:
分析apache 服务器日志
步骤:
step 0:在命令行下创建项目(windows、linux都可以)
step 1:将项目导入idea
step 2:修改pom.xml,加上hadoop和spark的依赖
step 3:创建apchelog对象类
step 4:编写日志分析逻辑
step 5:去掉重复放servlet-api.jar包(因为hadoop和spark中都有,而且版本不同的话会有冲突)
step 6:将core-site.xml和hdfs-site.xml放到resources资源包下
step 7: 运行
spark项目存放路径:../../从前代码系列/spark/FirstSpark.zip
Hadoop笔记之十五——spark分析日志实例流程简述
猜你喜欢
转载自blog.csdn.net/qq_35946969/article/details/83654769
今日推荐
周排行