hadoop集群节点下线/上线

在生产环境中,会碰到hadoop集群DataNode/NodeManager的节点下线/上线。如果强制下线节点会影响到线上作业,而且还会影响到hdfs上数据丢失的风险。面对线上节点的上线/下线,hadoop提供了平滑下线/上线的机制。
本集群为一个主节点master,两个从节点slave1,slave2.
1.下线DataNode
1.1 在namenode节点的hdfs-site.xml中增加配置。PATH路径根据自己的实际情况进行配置。

<property>
                <name>dfs.hosts.exclude</name>  		      
                <value>/usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts</value>
</property>

1.2 在相关文件中添加需要下线的主机

猜你喜欢

转载自blog.csdn.net/jiedaodezhuti/article/details/105317164
今日推荐