Hadoop-3-额外配置

Hadoop-3-额外配置

1、配置MapReduce job历史服务器

【1】修改配置文件

 etc/hadoop/mapred-site.xml

<!-- 配置MapReduce任务历史服务器主机地址:端口，端口号默认为10020 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>MapReduce job历史服务器主机地址:端口</value>
</property>
<!-- 配置MapReduce任务历史服务器Web页面主机地址:端口，端口号默认为19888 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>MapReduce job历史服务器Web页面主机地址:端口</value>
</property>

【2】启动MapReduce JobHistoryServer

 sbin/mr-jobhistory-daemon.sh start historyserver

【3】验证

点击YARN ResourceManager管理页面的某个Application的Tracking UI列的History

【4】注意事项

需要先关闭所有的Hadoop资源（NameNode、DataNode、ResourceManager、NodeManager等）

2、开启历史日志聚合功能

【1】修改配置文件

 etc/hadoop/yarn-site.xml

<!-- 启用日志聚合。默认关闭状态（false） -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志保留时长，单位是秒。默认是-1，表示禁用 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>日志保留时长</value>
</property>

【2】验证

点击YARN ResourceManager管理页面的某个Application的Tracking UI列的History里的Logs列的logs

【3】注意事项

 ① 需要先配置并启动MapReduce的JobHistoryServer

 ② 需要先关闭所有的Hadoop资源（NameNode、DataNode、ResourceManager、NodeManager、JobHistoryServer等）