同样的,实现Master高可用需要Zookeeper,所以提前启动Zookeeper
1)修改spark-env.sh文件,添加如下配置:
vi spark-env.sh
注释掉如下内容:
#SPARK_MASTER_HOST=host
#SPARK_MASTER_PORT=7077
添加上如下内容:
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=node01,node02,node03
-Dspark.deploy.zookeeper.dir=/spark"
2)分发配置文件
3)在node01
上启动全部节点
sbin/start-all.sh
4)在node02
上单独启动Master节点
sbin/start-master.sh
5) 然后在WebUI查看