Spark集群搭建（附压缩包安装包)

Spark集群搭建

scala压缩包

链接：https://pan.baidu.com/s/1GbeF8ggBrv9ZdHWnHR6m9Q 
提取码：w655

spark压缩包

链接：https://pan.baidu.com/s/1f-cFda5bqBGuoux_1TPCQA 
提取码：j0v6

1. 解压：

[root@master /]# cd /soft
[root@master soft]# tar -xzvf scala-2.11.8.tgz 
[root@master soft]# tar -xzvf spark-3.0.0-preview2-bin-hadoop2.7.tgz 

 

2. 创建软链接

[root@master soft]# ln -s spark-3.0.0-preview2-bin-hadoop2.7 /soft/spark
[root@master soft]# ln -s scala-2.11.8 /soft/scala

 

3.配置spark

[root@master soft]# cd /soft/spark/conf/
[root@master conf]# mv spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh 

 

spark-env.sh 文件添加如下配置

export JAVA_HOME=/soft/jdk

export SCALA_HOME=/soft/scala

export SPARK_MASTER_IP=master

export SPARK_WORKER_MEMORY=2G

export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop

[root@master conf]# mv slaves.template slaves
[root@master conf]# vi slaves 

slaves文件删除localhost，添加如下配置

master

slave1

slave2

4. 配置环境变量

[root@master soft]# vi /etc/profile

添加如下配置：

export SPARK_HOME=/soft/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

export SCALA_HOME=/soft/spark

export PATH=$PATH:$SCALA_HOME/bin

 

[root@master soft]# source /etc/profile    #生效

5. 分发scala、spark到其他集群

[root@master conf]# scp -r /soft/spark/ root@slave1:/soft/
[root@master conf]# scp -r /soft/spark/ root@slave2:/soft/
[root@master conf]# scp -r /soft/scala/ root@slave1:/soft/
[root@master conf]# scp -r /soft/scala/ root@slave2:/soft/

 

6. 配置其他集群环境变量

同步骤4

 

7. 启动

[root@master ~]# start-all.sh       #启动Hadoop
[root@master ~]# start-master.sh    #启动spark master
[root@master ~]# start-slaves.sh    #启动spark slaves
[root@master ~]# jps

8. 启动spark-shell

[root@master ~]# spark-shell

9. 网页验证http://192.168.110.11:8080/