HDFS中NameNode以及DataNode的多目录配置

1、NameNode多目录配置

(1) 为什么要配置NameNode多目录?
       多目录配置是为了增加集群的安全性,可以将第一个磁盘挂载到第一个目录上,第二个磁盘挂载到第二个目录上。这样当其中一块磁盘出现故障时,NameNode储存元数据也不会丢失。

(2) 具体配置如下
在 hdfs-site.xml 文件中增加如下内容:

<property>
    <name>dfs.namenode.name.dir</name>
	<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

3、DataNode多目录配置

(1) 为何要配置DataNode多目录?
       DataNode配置多目录是因为一个目录下面挂的硬盘不够用,所以多加了几个目录。这里要和副本数区分开,副本数是配置hdfs中数据存放的份数,也就是备份数,防止数据丢失的。

(2) 具体配置如下
在 hdfs-site.xml 文件中增加以下内容:

<property>
    <name>dfs.datanode.data.dir</name>
	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

(3) datanode多目录数据副本存放策略
看一下下面这两篇文章:
https://blog.csdn.net/bigdatahappy/article/details/39992075
https://blog.csdn.net/zhzf1511/article/details/7657793

发布了62 篇原创文章 · 获赞 66 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/a1786742005/article/details/104172181