Apache Spark安装部署

一、此文档安装spark在以下节点上:

zgl-1:192.168.127.121

zgl-2:192.168.127.122

zgl-3:192.168.127.123

二、安装部署

1、上传安装包( spark-2.0.2-bin-hadoop2.7.tgz)到/usr/local目录下

如图:

2、解压安装包

指令:

tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz

# 为了使用方便,此处为spark安装文件重命名

如图:

3、配置

# 进入conf目录

cd /usr/local/spark-2.0.2/conf/

3.1、 复制配置文件

cp spark-env.sh.template spark-env.sh

如图:

vim spark-env.sh

# 将以下内容添加到spark-env.sh文件中

export JAVA_HOME=/usr/local/jdk1.8.0_141
export SPARK_MASTER_IP=zgl-1
export SPARK_MASTER_PORT=7077
export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.4/etc/hadoop

如图:

3.2、配置slaves文件

cp slaves.template slaves

vim slaves

# 将以下内容添加进slaves文件中

zgl-2
zgl-3

如图:

4、将spark的安装包从zgl-1节点上下发到其余节点

scp -r /usr/local/spark-2.0.2/ @zgl-2:/usr/local/

scp -r /usr/local/spark-2.0.2/ @zgl-3:/usr/local/

5、配置spark的环境变量

vim /etc/profile

# 添加以下内容到profile文件中

export SPARK_HOME=/usr/local/spark-2.0.2

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

如图:

# 将配置文件下发到其余节点

scp /etc/profile @zgl-2:/etc/

scp /etc/profile @zgl-3:/etc/

# 加载环境变量(每个节点均需要执行以下指令)

指令:

source /etc/profile

6、启动验证spark是否配置成功

cd /usr/local/spark-2.0.2/sbin/

sh start-all.sh

如图:

#验证是否启动成功

jps

如图:

# 或者访问http://192.168.127.121:8080/

注(以上192.168.127.121是主节点ip)

如图:

小结:如上图验证,spark安装部署成功!!!

猜你喜欢

转载自blog.csdn.net/Alan3344/article/details/84642818