Hadoop配置JobHistory

配置jobhistory

vi mapred-site.xml

添加如下代码

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop100:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop100:19888</value>
   </property>

启动jobhistory

sbin/mr-jobhistory-daemon.sh start historyserver

关闭的话就是改成 stop

jps看一下是否启动，看到JobHistory进程那就算成功了

成功之后，我们测试一下

先在HDFS上创建一个 test文件夹

hdfs dfs -mkdir /test

上传README.txt

hdfs dfs -put 路径/README.txt /test

去50070上看一下是否传上去了

成功之后，回来执行woutcount示例

hadoop jar share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /test/README.txt /wcOutput

再回去看一下HDFS（端口号：50070）

再看一下Yarn（端口号：8088）

最后再看一下JobHistory(端口号：19888)

在JobHistory中我们可以看到每次提交的任务（Job），所有的Job记录都会在这里看到