Hadoop笔记之十五——spark分析日志实例流程简述

需求:
    分析apache 服务器日志
步骤:
    step 0:在命令行下创建项目(windows、linux都可以)
    step 1:将项目导入idea
    step 2:修改pom.xml,加上hadoop和spark的依赖
    step 3:创建apchelog对象类
    step 4:编写日志分析逻辑
    step 5:去掉重复放servlet-api.jar包(因为hadoop和spark中都有,而且版本不同的话会有冲突)
    step 6:将core-site.xml和hdfs-site.xml放到resources资源包下
    step 7: 运行
        spark项目存放路径:../../从前代码系列/spark/FirstSpark.zip

猜你喜欢

转载自blog.csdn.net/qq_35946969/article/details/83654769