【Hadoop学习之四】HDFS HA搭建(QJM)

环境
  虚拟机:VMware 10
  Linux版本:CentOS-6.5-x86_64
  客户端:Xshell4
  FTP:Xftp4
  jdk8
  hadoop-3.1.1

由于NameNode对于整个HDFS集群重要性,为避免NameNode单点故障,在集群里创建2个或以上NameNode(不要超过5个),保证高可用。

实现主备NameNode需要解决的问题:
1、通过JournalNodes来保证Active NN与Standby NN之间的元数据同步

2、通过ZKFC来保证Active NN与Standby NN主备切换

3、DataNode会同时向Active NN与Standby NN上报数据块的位置信息


参考:
hdfs HA原理及安装

Hadoop组件之-HDFS(HA实现细节)

HDFS HA: 高可靠性分布式存储系统解决方案的历史演进

搭建HA集群部署节点清单:


一、

参考:
hadoop-3.1.1/hadoop-3.1.1/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

猜你喜欢

转载自www.cnblogs.com/cac2020/p/10212607.html