Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)、Hadoop系统服务输出的日志;(2)、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的,其中有些地方在Hadoop 1.x中是没有的,请周知。
一、Hadoop系统服务输出的日志
诸如NameNode、DataNode、ResourceManage等系统自带的服务输出来的日志默认是存放在${HADOOP_HOME}/logs目录下。比如resourcemanager的输出日志为yarn-${USER}-resourcemanager-${hostname}.log,其中${USER}s是指启动resourcemanager进程的用户,${hostname}是resourcemanager进程所在机器的hostname;当日志到达一定的大小(可以在${HADOOP_HOME}/etc/hadoop/log4j.properties文件中配置)将会被切割出一个新的文件,切割出来的日志文件名类似yarn-${USER}-resourcemanager-${hostname}.log.数字的,后面的数字越大,代表日志越旧。在默认情况下,只保存前20个日志文件,比如下面:
-rw-r--r-- 1 wyp wyp 124M Mar 14 17 : 01 yarn-wyp-resourcemanager-master.log -rw-r--r-- 1 wyp wyp 257M Mar 9 10 : 02 yarn-wyp-resourcemanager-master.log. 1 -rw-r--r-- 1 wyp wyp 257M Feb 4 09 : 05 yarn-wyp-resourcemanager-master.log. 10 -rw-r--r-- 1 wyp wyp 257M Feb 1 17 : 04 yarn-wyp-resourcemanager-master.log. 11 -rw-r--r-- 1 wyp wyp 257M Jan 30 01 : 04 yarn-wyp-resourcemanager-master.log. 12 -rw-r--r-- 1 wyp wyp 257M Jan 26 04 : 01 yarn-wyp-resourcemanager-master.log. 13 -rw-r--r-- 1 wyp wyp 257M Jan 22 16 : 12 yarn-wyp-resourcemanager-master.log. 14
扫描二维码关注公众号,回复:
5631629 查看本文章
-rw-r--r-- 1 wyp wyp 257M Jan 20 17 : 14 yarn-wyp-resourcemanager-master.log. 15 -rw-r--r-- 1 wyp wyp 257M Jan 18 19 : 01 yarn-wyp-resourcemanager-master.log. 16 -rw-r--r-- 1 wyp wyp 257M Jan 15 15 : 21 yarn-wyp-resourcemanager-master.log. 17 -rw-r--r-- 1 wyp wyp 257M Jan 15 15 : 00 yarn-wyp-resourcemanager-master.log. 18 -rw-r--r-- 1 wyp wyp 257M Jan 15 14 : 40 yarn-wyp-resourcemanager-master.log. 19 -rw-r--r-- 1 wyp wyp 257M Mar 5 21 : 00 yarn-wyp-resourcemanager-master.log. 2 -rw-r--r-- 1 wyp wyp 257M Jan 15 14 : 20 yarn-wyp-resourcemanager-master.log. 20 -rw-r--r-- 1 wyp wyp 257M Feb 23 00 : 00 yarn-wyp-resourcemanager-master.log. 3 -rw-r--r-- 1 wyp wyp 257M Feb 20 08 : 05 yarn-wyp-resourcemanager-master.log. 4 -rw-r--r-- 1 wyp wyp 257M Feb 17 17 : 04 yarn-wyp-resourcemanager-master.log. 5 -rw-r--r-- 1 wyp wyp 257M Feb 15 01 : 05 yarn-wyp-resourcemanager-master.log. 6 -rw-r--r-- 1 wyp wyp 257M Feb 12 09 : 00 yarn-wyp-resourcemanager-master.log. 7 -rw-r--r-- 1 wyp wyp 257M Feb 9 17 : 08 yarn-wyp-resourcemanager-master.log. 8 -rw-r--r-- 1 wyp wyp 257M Feb 7 01 : 10 yarn-wyp-resourcemanager-master.log. 9 |
上面这些都是可以配置的,比如resourcemanager(在${HADOOP_HOME}/etc/hadoop/log4j.properties):
log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager $ApplicationSummary=${yarn.server.resourcemanager.appsummary.logger} log4j.additivity.org.apache.hadoop.yarn.server.resourcemanager .RMAppManager$ApplicationSummary= false log4j.appender.RMSUMMARY=org.apache.log4j.RollingFileAppender log4j.appender.RMSUMMARY.File=${hadoop.log.dir}/ ${yarn.server.resourcemanager.appsummary.log.file} log4j.appender.RMSUMMARY.MaxFileSize=256MB(多大切割日志) log4j.appender.RMSUMMARY.MaxBackupIndex= 20 (说明保存最近 20 个日志文件) log4j.appender.RMSUMMARY.layout=org.apache.log4j.PatternLayout log4j.appender.RMSUMMARY.layout.ConversionPattern=%d{ISO8601} %p %c{ 2 }: %m%n |
resourcemanager日志存放路径也是可以配置的(在${HADOOP_HOME}/etc/hadoop/yarn-env.sh):
# default log directory & file if [ "$YARN_LOG_DIR" = "" ]; then YARN_LOG_DIR= "$HADOOP_YARN_HOME/logs" fi |
只需要修改YARN_LOG_DIR的值,这时候,yarn相关的日志记录都将存放在你配置的目录下。
二、Mapreduce程序相关的日志
Mapreduce程序的日志可以分为历史作业日志和Container日志。
(1)、历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息;这些信息对分析作业是很有帮助的,我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。这些历史作业的信息是通过下面的信息配置的:
<property> <name>mapreduce.jobhistory.done-dir</name> <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value> </property> <property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>${yarn.app.mapreduce.am.staging-dir} /history/done_intermediate</value> </property> <property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/tmp/hadoop-yarn/staging</value> </property> |
更多关于Hadoop历史作业的信息,可以参考本博客的《Hadoop历史服务器详解》
(2)、Container日志包含ApplicationMaster日志和普通Task日志等信息。默认情况下,这些日志信息是存放在${HADOOP_HOME}/logs/userlogs目录下,我们可以通过下面的配置进行修改:
<property> <description> Where to store container logs. An application's localized log directory will be found in ${yarn.nodemanager.log-dirs}/application_${appid}. Individual containers' log directories will be below this , in directories named container_{$contid}. Each container directory will contain the files stderr, stdin, and syslog generated by that container. </description> <name>yarn.nodemanager.log-dirs</name> <value>${yarn.log.dir}/userlogs</value> </property> |
熟悉Hadoop相关日志的存放地方不仅对运维Hadoop和观察Mapreduce的运行都是很有帮助的。
yarn-site.xml中有几个配置项与日志的保存与删除,本地job执行文件的保留与删除有关。若不做配置,日志和job.jar会在application执行结束后被直接删除掉。
yarn.log-aggregation-enable true 执行结束后收集各个container本地的日志
yarn.log-aggregation.retain-seconds 2592000 收集的日志的保留时间,以秒为单位,到时后被删除,保留30天后删除
yarn.log.server.url http://hostname:19888/jobhistory/logs log server的地址
yarn.nodemanager.local-dirs /hadoop/yarn/local 存放application执行本地文件的根目录,执行完毕后删除,按用户名存储
yarn.nodemanager.log-dirs /hadoop/yarn/log 存放application本地执行日志的根目录,执行完毕后删除,按用户名存储
yarn.nodemanager.log.retain-second 604800 日志的保留时间,log aggregation没有enable时,有效
yarn.nodemanager.remote-app-log-dir /app-logs 聚合日志后在hdfs的存放地址
yarn.nodemanager.remote-app-log-dir-suffix logs 集合日志后的存放地址由 ${remote-app-log-dir}/${user}/{thisParam}构成
yarn.nodemanager.delete.debug-delay-sec 600 application执行结束后延迟10min删除本地文件及日志