Spark on YARN安装

Spark on YARN安装

1.安装Scala

(1)首先解压scala:

tar -zxvf scala安装包

(2)修改环境变量:

vim /etc/profile

内容如下：

export SCALA_HOME=/usr/scala/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH

(3）生效环境变量：

source /etc/profile

(4）分发复制到两个子节点，
(5)最后，用scala -version检验是否安装成功。

2.安装Spark

1.解压:

tar -zxvf spark压缩包

2.修改环境变量

vi /etc/profile

export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

3.修改配置文件：
(1)cp -a spark-env.sh.template spark-env.sh

# 添加配置如下
# 配置JAVA_HOME
export JAVA_HOME=/app/jdk
 # 设置Master的主机名
export SPARK_MASTER_IP=pig1
# 每一个Worker最多可以使用的内存，我的虚拟机就2g
 # 真实服务器如果有128G，你可以设置为100G
# 所以这里设置为1024m或1g
export SPARK_WORKER_MEMORY=1024m
# 每一个Worker最多可以使用的cpu core的个数，我虚拟机就一个...
# 真实服务器如果有32个，你可以设置为32个
export SPARK_WORKER_CORES=1
# 提交Application的端口，默认就是这个，万一要改呢，改这里
 export SPARK_MASTER_PORT=7077

(2) cp -a slaves.template slaves
修改slaves文件：
将localhost改为:
slave1
slave2
4.分为给其他机器：
5.启动hadoop：
在sbin目录下./start-all.sh
6.启动spark

sbin/start-all.sh