Spark三大运行模式之Standalone 模式

Standalone 模式

一、模式概述

构建一个由 Master+Slave 构成的 Spark 集群，Spark 运行在集群中。
在这里插入图片描述

二、安装使用

（1）进入 spark 安装目录下的 conf 文件夹

[atguigu@hadoop102 module]$ cd spark/conf/

（2）修改配置文件名称

[atguigu@hadoop102 conf]$ mv slaves.template slaves
[atguigu@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh

（3）修改 slave 文件，添加 work 节点：

[atguigu@hadoop102 conf]$ vim slaves
hadoop102
hadoop103
hadoop104

（4）修改 spark-env.sh 文件，添加如下配置：

[atguigu@hadoop102 conf]$ vim spark-env.sh
SPARK_MASTER_HOST=hadoop101
SPARK_MASTER_PORT=7077

（5）分发 spark 包

[atguigu@hadoop102 module]$ xsync spark/

（6）启动

[atguigu@hadoop102 spark]$ sbin/start-all.sh
[atguigu@hadoop102 spark]$ util.sh
================atguigu@hadoop102================
3330 Jps
3238 Worker
3163 Master
================atguigu@hadoop103================
2966 Jps
2908 Worker
================atguigu@hadoop104================
2978 Worker
3036 Jps

网页查看：hadoop102:8080

注意：如果遇到 “JAVA_HOME not set” 异常，可以在 sbin 目录下的 spark-config.sh 文件中加入如下配置： export JAVA_HOME=XXXX（JAVA环境变量）

（7）官方求 PI 案例

[atguigu@hadoop102 spark]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

在这里插入图片描述
（8）启动 spark shell

/opt/module/spark/bin/spark-shell \
--master spark://hadoop101:7077 \
--executor-memory 1g \
--total-executor-cores 2

参数解析：--master spark://hadoop102:7077 指定要连接的集群的 master

执行WordCount 程序：

scala>sc.textFile("input").flatMap(_.split("
")).map((_,1)).reduceByKey(_+_).collect

res0: Array[(String, Int)] = Array((hadoop,6), (oozie,3), (spark,3),
(hive,3), (atguigu,3), (hbase,6))

三、JobHistoryServer 配置

（1）修改 spark-default.conf.template 名称

[atguigu@hadoop102 conf]$ mv spark-defaults.conf.template sparkdefaults.conf

（2）修改 spark-default.conf 文件，开启 Log：

[atguigu@hadoop102 conf]$ vi spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:9000/directory

注意：HDFS 上的目录需要提前存在。

（3）修改 spark-env.sh 文件，添加如下配置：

[atguigu@hadoop102 conf]$ vi spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30
-Dspark.history.fs.logDirectory=hdfs://hadoop101:9000/directory"

参数描述：

spark.eventLog.dir：Application 在运行过程中所有的信息均记录在该属性指定的路径下
spark.history.ui.port=18080 WEBUI 访问的端口号为 18080
spark.history.fs.logDirectory=hdfs://hadoop102:9000/directory 配置了该属性后，在 starthistory-server.sh 时就无需再显式的指定路径，Spark History Server 页面只展示该指定路径下的信息
spark.history.retainedApplications=30 指定保存 Application 历史记录的个数，如果超过
这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

（4）分发配置文件

[atguigu@hadoop102 conf]$ xsync spark-defaults.conf
[atguigu@hadoop102 conf]$ xsync spark-env.sh

（5）启动历史服务

[atguigu@hadoop102 spark]$ sbin/start-history-server.sh

（6）再次执行任务

[atguigu@hadoop102 spark]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

（7）查看历史服务：hadoop102:18080
在这里插入图片描述

四、HA配置

在这里插入图片描述
（1）首先保证zookeeper 正常安装并启动

（2）修改 spark-env.sh 文件添加如下配置：

[atguigu@hadoop102 conf]$ vi spark-env.sh
注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077
添加上如下内容：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=hadoop101,hadoop102,hadoop103
-Dspark.deploy.zookeeper.dir=/spark"

（3）分发配置文件

[atguigu@hadoop102 conf]$ xsync spark-env.sh

（4）在 hadoop102 上启动全部节点

[atguigu@hadoop102 spark]$ sbin/start-all.sh

（5）在 hadoop103 上单独启动 master 节点

[atguigu@hadoop103 spark]$ sbin/start-master.sh

（6）spark HA 集群访问

/opt/module/spark/bin/spark-shell \
--master spark://hadoop101:7077,hadoop102:7077 \
--executor-memory 2g \
--total-executor-cores 2