Hadoop 配置历史服务器、日志聚集 | 常用端口号说明

---

一、配置历史服务器 端口：19888

为了查看程序的历史运行情况，需要配置一下历史服务器。

在配置历史服务之前，需要在hadoop103上停掉yarn

[wzq@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

1、配置mapred-site.xml

编辑mapred-site.xml：

[wzq@hadoop103 hadoop-3.1.3]$ vim etc/hadoop/mapred-site.xml

在mapred-site.xml中插入以下代码：

<!-- 历史服务器端地址 -->
<property>
	 <name>mapreduce.jobhistory.address</name>
	 <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
	 <name>mapreduce.jobhistory.webapp.address</name>
	 <value>hadoop102:19888</value>
</property>

2、分发配置

配置完成之后，一定要把配置文件分发到另外两台虚拟机

[wzq@hadoop102 hadoop-3.1.3]$ xsync etc/hadoop/

3、在hadoop102上启动历史服务器

在启动历史服务器之前，需要先在hadoop103上启动yarn：

[wzq@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

随后在hadoop102的hadoop/bin目录上启动历史服务器：

[wzq@hadoop102 bin]$ mapred --daemon start historyserver

4、查看历史服务器是否启动成功

使用jps命令查看：

搞个wordcount程序测试历史服务器：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /woutput

回车等待运行成功之后，打开http://hadoop103:8088，可以看到有一个任务已经成功运行：

点击蓝色的history，就可以查看历史服务器的内容了：

上图中可以看到点击history后跳转到了19888端口

但是值得我们注意的是，右下角有个logs，这里是查看程序运行的日志，现在点击一下：

报错了，这是因为还没有配置日志聚集，下面来配置一下。

---

二、配置日志的聚集

如下图所示，每个hadoop服务器都有自己的日志，但是如果程序出了bug，在单个服务器上查看日志是很不方便的，所以hadoop就做了日志聚集的功能，他把所有服务器的日志都聚集到了hdfs

日志聚集的好处就是可以方便查看程序的运行详情，方便开发调试

1、配置yarn-site.xml

编辑yarn-site.xml：

[wzq@hadoop102 hadoop-3.1.3]$ vim etc/hadoop/yarn-site.xml

在yarn-site.xml最后插入以下代码：

<!-- 开启日志聚集功能 -->
<property>
	 <name>yarn.log-aggregation-enable</name>
	 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
	 <name>yarn.log.server.url</name> 
	 <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
	 <name>yarn.log-aggregation.retain-seconds</name>
	 <value>604800</value>
</property>

2、分发配置

配置完成之后要做集群分发：

[wzq@hadoop102 hadoop-3.1.3]$ xsync etc/hadoop/

3、重启yarn和HistoryServer

因为修改了yarn的配置文件，所以需要在hadoop103上重启yarn和在hadoop102上重启HistoryServer历史服务器

停止yarn：

[wzq@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh 

停止HistoryServer：

[wzq@hadoop102 hadoop-3.1.3]$ mapred --daemon stop historyserver

启动yarn：

[wzq@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 

启动historyserver：

[wzq@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver

4、测试

删除刚刚测试历史服务器中自动生成的woutput文件夹：

[wzq@hadoop103 hadoop-3.1.3]$ hadoop fs -rm -r /woutput

执行wordcount程序：

[wzq@hadoop102 hadoop-3.1.3]$ hadoop jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

在程序运行期间，可以打开yarn：

可以看到正在执行，等待执行完成，点击History：

再点进去logs：

日志聚集配置成功

三、常用端口号说明