centos7 spark local 模式搭建

本文背景：linux上新建用户为hadoop，hadoop文件夹下新建文件夹app

1、下载spark，我这里采用了自己编译的spark版本,解压到对应目录

tar -zxvf spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz -C ~/app/

2、配置环境变量

export SPARK_HOME=/home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0
export PATH=$SPARK_HOME/bin:$PATH

3、刷新环境变量

source /etc/profile

4、启动spark

spark-shell --master local[2]

5、查看spark

web管理页面
http://ip:4040/jobs/

初识spark

https://blog.csdn.net/starkpan/article/details/86645752