【Spark】Standalone 模式下开启 JobHistoryServer

非高可用版本：

1）修改spark-default.conf.template名称

mv spark-defaults.conf.template  spark-defaults.conf

2）修改spark-default.conf文件，开启Log：

vi spark-defaults.conf

添加如下代码：
spark.eventLog.enabled  true
spark.eventLog.dir      hdfs://host:port/JobHistoryServer
注意：HDFS上的JobHistoryServer目录需要提前存在（JobHistoryServer名字随意取）

3）修改spark-env.sh文件，添加如下配置：

vi spark-env.sh

添加如下代码：
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30 
-Dspark.history.fs.logDirectory=hdfs://host:port/JobHistoryServer"  (跟上面的目录名对应)

参数描述：
spark.eventLog.dir
	Application在运行过程中所有的信息均记录在该属性指定的路径下
	
spark.history.ui.port=18080  
	WEBUI访问的端口号为18080
	
spark.history.fs.logDirectory=hdfs://host:port/JobHistoryServer
	配置了该属性后，在start-history-server.sh时就无需再显式的指定路径
	Spark History Server页面只展示该指定路径下的信息
	
spark.history.retainedApplications=30
	指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除
	这个是内存中的应用数，而不是页面上显示的应用数

4）分发配置文件

5）启动历史服务

sbin/start-history-server.sh

6）执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://host:port \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.2.0.jar \
300

7）查看历史服务

host:18080

-------------------------------华丽的分割线------------------------------

高可用版本：

1）修改spark-default.conf.template名称

mv spark-defaults.conf.template  spark-defaults.conf

2）修改spark-default.conf文件，开启Log：

vi spark-defaults.conf

添加如下代码：
spark.eventLog.enabled  true
spark.eventLog.dir      hdfs://dfs.nameservices逻辑名称/JobHistoryServer
注意：HDFS上的JobHistoryServer目录需要提前存在（JobHistoryServer名字随意取）

3）修改spark-env.sh文件，添加如下配置：

vi spark-env.sh

添加如下代码：
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
-Dspark.history.retainedApplications=30 
-Dspark.history.fs.logDirectory=hdfs://dfs.nameservices逻辑名称:port/JobHistoryServer"  (跟上面的目录名对应)

参数描述：
spark.eventLog.dir
	Application在运行过程中所有的信息均记录在该属性指定的路径下
	
spark.history.ui.port=18080  
	WEBUI访问的端口号为18080
	
spark.history.fs.logDirectory=hdfs://host:port/JobHistoryServer
	配置了该属性后，在start-history-server.sh时就无需再显式的指定路径
	Spark History Server页面只展示该指定路径下的信息
	
spark.history.retainedApplications=30
	指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除
	这个是内存中的应用数，而不是页面上显示的应用数

4）将Hadoop的配置文件拷贝到Spark的Conf目录下

目的是为了Spark读取到集群的逻辑名称
cp $HADOOP_HOME/etc/hadoop/core-site.xml $SPARK_HOME/conf/core-site.xml
cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $SPARK_HOME/conf/hdfs-site.xml

5）分发配置文件

6）启动历史服务

sbin/start-history-server.sh

7）执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://host:port \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.2.0.jar \
300

7）查看历史服务

host:18080