DataNode（面试开发重点2）

4 服役新数据节点

如何在原有集群基础上动态添加新的数据节点？

以下操作使用dev1进行操作

1 虚拟机准备

（1）关闭hadoop104,在hadoop104主机上再克隆一台hadoop105主机
（2）修改IP地址和主机名称,地址映射

 sudo find  /etc/ -name 70*
 sudo vim /etc/udev/rules.d/70-persistent-net.rules
 sudo find  /etc/ -name *eth0
 sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
 sudo find  /etc/ -name network
 sudo vim /etc/sysconfig/network
 sudo find  /etc/ -name hosts
 sudo vim /etc/hosts

（3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log）

 rm -rf /opt/module/hadoop-2.7.2/data/
 rm -rf /opt/module/hadoop-2.7.2/logs/

2 测试虚拟机

hostname
ping hadoop105
ll /opt/module/hadoop-2.7.2

3 同步hosts文件

启动hadoop104

hadoop-daemon.sh start datanode

在hadoop105使用 scp 同步到hadoop102,hadoop103,hadoop104

scp  /etc/hosts  root@hadoop102:/etc/
scp  /etc/hosts  root@hadoop103:/etc/
scp  /etc/hosts  root@hadoop104:/etc/

4 同步ssh

（6）在hadoop102,hadoop103,hadoop104 分别执行

ssh-copy-id  hadoop105

在hadoop105上执行

# 生成秘钥对
ssh-keygen -t rsa 
# 发送公钥
ssh-copy-id  hadoop105
ssh-copy-id  hadoop102
ssh-copy-id  hadoop103
ssh-copy-id  hadoop104

5 启动datanode

（1）直接启动DataNode，即可关联到集群（hadoop104,hadoop105都使用）

hadoop-daemon.sh start datanode

（2）在hadoop105上传文件

hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /

6 集群不均衡

什么叫集群不均衡?

机器与机器之间磁盘利用率不平衡，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题

如果数据不均衡，可以用命令实现集群的再平衡

在hadoop102

start-balancer.sh