Hadoop学习笔记6之配置Hadoop临时目录

【问题描述】重启主机后SecondaryNameNode能启动,NameNode启动不了

【查看日志】

查找日志(日志: /hadoop/hadoop-0.20.2/logs):

Directory /tmp/hadoop-root/dfs/name is inan inconsistent state: storage directory

现在问题比较明确了,是临时目录不存在导致。/tmp/hadoop-hadoop/dfs/name是一个临时的文件夹,系统每次重启时都会进行删除,在配置文件中进行修改就可。


【分析】

1.hadoop原始文件中的主要配置文件

将hadoop-2.7.3.tar.gz解压缩后,在share/hdoop目录下关于common、HDFS 、Mapreduce、YARN的几个jar包中包含有最原始的配置文件:

core-default.xml------------->对应运行环境下的core-site.xml

hdfs-default.xml-------------> hdfs-site.xml

mapred-default.xml-------------> mapred-site.xml

yarn-default.xml-------------> yarn-site.xml-

2.使用临时目录的几个地方

在core-default.xml中可以看到

默认hadoop.tmp.dir=/tmp/hadoop-${user.name}

hdfs-default.xml中引用该临时目录的几个地方为:

以前属性均由hadoop.tmp.dir决定

dfs.namenode.name.dir=file://${hadoop.tmp.dir}/dfs/name

dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data

dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary

3.修改临时目录路径

(1)在namenode上

$stop-all.sh

修改:

[core-site.xml]

hadoop.tmp.dir=/home/ctr/hadoop/tmp

(2)分发文件到datanode

$ xsync.sh  core-site.xml
$xcall.sh  cat${HADOOP_HOME}/etc/full/core-site.xml

(3)格式化文件系统

$hadoop  namenode  -format              //等同于hdfs  namenode -format

分别查看namenode和datanode发现,格式化只对namenode的tmp目录进行了初始化。

(4)启动集群

$start-all.sh

namenode下也创建了tmp目录,在tmp目录的current子目录下的VERSION文件,namenode和datanode的集群ID一致。

猜你喜欢

转载自blog.csdn.net/cskywit/article/details/80513261