伪分布式配置历史服务器

伪分布式配置历史服务器

1 配置历史服务器

如果没有配置历史服务器，则不能查看程序运行的历史记录。
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1.配置mapred-site.xml

vim mapred-site.xml

或者使用notepad++打开

在该文件里面增加如下配置。

<!-- 历史服务器端地址
如果当前主机名hadoop101，则设置hadoop101为服务器名称
 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>

2.启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

3.查看历史服务器是否启动

jps

4. 查看JobHistory

http://hadoop101:19888/jobhistory

2 配置日志聚集

0.首先停止日志服务器，NM,RM,再进行配置

sbin/mr-jobhistory-daemon.sh stop  historyserver
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager

开启日志聚集功能具体步骤如下：

当前是dev1账户操作

1.配置yarn-site.xml

sudo  vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

2.启动NodeManager 、ResourceManager和HistoryManager

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

3.删除HDFS上已经存在的输出文件

bin/hdfs dfs -rm -R /user/dev1/output

4.执行WordCount程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/dev1/input /user/dev1/output

5.查看日志

http://hadoop101:19888/jobhistory

配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，
只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。