Hadoop集群服役新节点

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/KobeSacre/article/details/102760126

1. 修改IP和主机名称
2. 增加新节点的ssh免密登陆
3. 删除原来 HDFS 文件系统留存的文件/opt/module/hadoop-2.7.6/data删除原来 HDFS 文件系统留存的文件/opt/module/hadoop-2.7.6/data
4. 在namenode的etc/hadoop下添加 dfs.hosts文件
   1. vim dfs.hosts

   2. 添加如下主机名称（包含新服役的节点）

              hadoop101

              hadoop102

              hadoop103

              hadoop104

5. 在namenode的hdfs-site.xml文件添加

   <property>

       <name>dfs.hosts</name>

       <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>

   </property>

6. 刷新namenode节点

   1. hdfs dfsadmin -refreshNodes

7. 刷新resourcemanager节点

   1. yarn rmadmin -refreshNodes

8. 单独启动新节点上的datanode和nodemanager进程

   1. hadoop-daemon.sh start datanode

   2. yarn-daemon.sh start nodemanager

9. 在web UI上进行查看

10. 使用start-balancer.sh使得集群进行平衡