HDFS扩容方案

HDFS扩容

一、横向扩容

横向扩容的主要方法是增加集群的节点。

增加集群节点有热部署和冷部署。

冷部署方法参考:https://www.cnblogs.com/phy2020/p/12361682.html

热部署方法

1.新增一台机器

安装方法参考：https://www.cnblogs.com/phy2020/p/12336768.html

配置好网络，安全相关等基本设置。安装好jdk，hadoop等软件。

2.在namenode上配置新加机器的ip映射

vim /etc/hosts

192.168.100.200 hdp01
192.168.100.200 hdp02
192.168.100.200 hdp03

3.配置ssh免密

ssh-copy-id hdp03

4.在slaves加入新增主机

vim /opt/soft/hadoop277/etc/hadoop/slaves

hdp01
hdp02
hdp03

5.在hdp03启动datanode

hadoop-daemon.sh start datanode

6.在50070端口页面查看是否成功

容量扩大，节点增加至3个，扩容成功

二、纵向扩容

纵向扩容主要方法是将现有的主机硬盘容量扩大，需要使用到linux硬盘挂载的方法。

1.挂载硬盘

在VM虚拟机设置里新增一块硬盘

硬盘分区

增加硬盘后重启机器，可以看到dev文件夹多了sdb文件夹，dev文件夹里面全是linux的硬件设备。

cd /dev

fdisk sdb //设置分区
m    菜单
n    添加新分区
q    退出不保存
w    保存并退出

mkfs.xfs /dev/sdb1        //分区分好之后，初始化分区

硬盘挂载

创建一个给新硬盘挂载的文件夹，向该文件夹里存入数据就相当于往新硬盘里存入。

mkdir /sdb1        //创建sdb1文件夹

mount /dev/sdb1 /sdb1         //挂载硬盘，这样挂载只是临时生效，开机生效必须配置/etc/fstab

vim /etc/fstab        //打开磁盘-文件夹映射表
/dev/sdb1               /sdb1                   xfs     defaults        0 0

配置core-size.xml

 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/soft/hadoop277/tmp,/sdb1/data</value>
 </property>
<!--使用多个目录时，用‘,’隔开-->

重启datanode

不需要重启整个集群，只需要重启新增硬盘节点的datanode就可以了。

hadoop-daemon.sh start datanode

节点1 纵向拓展成功