@羲凡——只为了更好的活着

Hadoop-动态增加删除DateNode/修改hdfs备份数/维护JournalNode

一、动态添加DataNode节点

原文地址:https://www.cnblogs.com/imzye/p/5174169.html

0.添加新机器的IP和hostname到每台/etc/hosts文件中

1.准备新的DataNode节点机器，配置SSH互信

2.在新机器上安装jdk

3.复制Hadoop运行目录、hdfs目录及tmp目录至新的DataNode

4.在新DataNode上启动DataNode

在启动datanode之前一定要看看hdfs-site.xml写的这个dfs.datanode.data.dir参数是不是你想要的。这个参数是hdfs的数据存放路径很重要。假如你加了硬盘想把数据放在新填硬盘上，一定要修改此参数。另外这个路径的所有者个所属的组一定要是搭集群的用户

mkdir -p /data0/data/dfs/data #如果没有这个路径最好先创建
sudo chown -R depuser:depuser /data0

<property>
	<name>dfs.datanode.data.dir</name>
	<value>/data0/data/dfs/data,/data1/data/dfs/data,/data2/data/dfs/data</value>
	<final>true</final>
</property>

启动datanode和nodemanager

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

4.在NameNode上刷新节点

hdfs dfsadmin -refreshNodes
start-balancer.sh

5.添加新节点的IP或hostname到slave文件中，并分发到每台机器上

二、动态删除DataNode节点

原文地址:https://www.cnblogs.com/imzye/p/5174169.html

1.配置NameNode的hdfs-site.xml，适当减小dfs.replication副本数，增加dfs.hosts.exclude配置

<property>
	<name>dfs.hosts.exclude</name>
	<value>/usr/local/package/hadoop-2.7.3/etc/hadoop/excludes</value>
</property>

2.在对应路径（/etc/hadoop/）下新建excludes文件，并写入待删除DataNode的ip或域名

3.在NameNode上刷新所有DataNode

hdfs dfsadmin -refreshNodes
start-balancer.sh

4.此时，可以在web检测界面（ip:50070）上可以观测到DataNode变成Decommission In Progress，在数据慢慢从该节点移除后就变成Dead

三、修改hdfs备份数

原文地址:https://www.cnblogs.com/jishilei/archive/2013/01/30/2882437.html

1、在NameNode的hdfs-site.xml中修改dfs.replication设置为3，在分发到集群其他机器

2、在NameNode上执行hadoop fs -setrep -R 3

四、Hadoop 增加Journal Node 或者维护Journal Node问题

原文地址:https://blog.csdn.net/houzhizhen/article/details/46048235?utm_source=blogxgwz5

以hadoop用户执行以下操作:
1.修改etc/hadoop/hdfs-site.xml,在dfs.namenode.shared.edits.dir配置项中增加相应的新的journal的地址和端口.
2.把etc/hadoop/hdfs-site.xml分发到集群中各服务器.
3.把现有journal中的数据目录拷贝到新journal服务器.
4.在新journal服务器中执行hadoop-daemon.sh start journalnode来启动journal node.
5.在standby namenode服务器执行hadoop-daemon.sh stop namenode来停止namenode服务.
6.在standby namenode服务器执行 hadoop-daemon.sh start namenode来启动namenode服务.可能在网页上看到journalnode增加.
7.使用hdfs haadmin -failover nn1 nn2切换namenode
8.在原active namenode上执行以下语句来重启namenode

hadoop-daemon.sh stop namenode
hadoop-daemon.sh start namenode

9.如果需要再用hdfs haadmin -failover nn2 nn1再次切换namenode

====================================================================
@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流