【Spark】Standalone 模式下开启 HA高可用

在这里插入图片描述

同样的,实现Master高可用需要Zookeeper,所以提前启动Zookeeper

1)修改spark-env.sh文件,添加如下配置:
vi spark-env.sh

注释掉如下内容:
#SPARK_MASTER_HOST=host
#SPARK_MASTER_PORT=7077

添加上如下内容:
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=node01,node02,node03 
-Dspark.deploy.zookeeper.dir=/spark"
2)分发配置文件
3)在node01上启动全部节点
sbin/start-all.sh
4)在node02上单独启动Master节点
sbin/start-master.sh
5) 然后在WebUI查看

在这里插入图片描述
在这里插入图片描述

发布了65 篇原创文章 · 获赞 293 · 访问量 18万+

猜你喜欢

转载自blog.csdn.net/qq_43733123/article/details/104694518
今日推荐