Hadoop-配置历史服务器、日志聚集功能

如果没有配置的话，会无法进行查看历史

开启日志聚集功能后，会把所有的日志都聚集到一台机器上，方便了查看，出了问题，不用在去一台一台的查看日志了。

首先关闭三台虚拟机上的hadoop的任何节点

一、配置历史服务器

hadoop102

配置mapred-site.xml

[zhenghui@hadoop102 hadoop]$ 
[zhenghui@hadoop102 hadoop]$ vim mapred-site.xml
[zhenghui@hadoop102 hadoop]$ 

添加上：

  <!--历史服务器端地址-->
   <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop104:10020</value>
    </property>
   <!--历史服务器web端地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop104:19888</value>
    </property>

配置yarn-site.xml

[zhenghui@hadoop102 hadoop]$ 
[zhenghui@hadoop102 hadoop]$ vim yarn-site.xml 
[zhenghui@hadoop102 hadoop]$ 

添加上：

<!--日志聚集功能使能-->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

启动

注意：要记得同步配置文件呦

[zhenghui@hadoop102 hadoop]$ start-dfs.sh

[zhenghui@hadoop103 ~]$ start-yarn.sh

[zhenghui@hadoop104 ~]$ mr-jobhistory-daemon.sh start historys

测试历史服务器

先整一个wordcount，因为之前的数据没了

[zhenghui@hadoop102 hadoop-2.7.7]$ 
[zhenghui@hadoop102 hadoop-2.7.7]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /wcinput /outputTest