Configurer l'historique des tâches
vi mapred-site.xml
Ajoutez le code suivant
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop100:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop100:19888</value>
</property>
Commencer l'historique de l'emploi
sbin/mr-jobhistory-daemon.sh start historyserver
S'il est fermé, il est changé pour s'arrêter
jps pour voir s'il est démarré, si vous voyez le processus JobHistory, il est considéré comme un
succès. Après succès, nous testons
Créez d'abord un dossier de test sur HDFS
hdfs dfs -mkdir /test
Télécharger README.txt
hdfs dfs -put 路径/README.txt /test
Allez au 50070 pour voir s'il est téléversé.
Après avoir réussi, revenez et exécutez l'exemple woutcount
hadoop jar share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /test/README.txt /wcOutput
Revenez à HDFS (numéro de port: 50070),
regardez Yarn (numéro de port: 8088), et
enfin regardez JobHistory (numéro de port: 19888).
Dans JobHistory, nous pouvons voir chaque tâche soumise (Job), tous les enregistrements de Job sera vu ici