一、HA部署架构
如上图所示,我们可以将其分为三个部分:
1.NN和DN组成Hadoop业务组件。浅绿色部分。
2.中间深蓝色部分,为Journal Node,其为一个集群,用于提供高可用的共享文件存储(元数据存储)。
3.蓝色部分为Zookeeper,提供自动NN切换。
在 hadoop全分布式安装 中,我们已经部署了一套全分布式的Hadoop集群,包含1个NN和3个DN。
我们在全分布式的基础上将其中一个DN(安装SNN的节点)变为SBNN(备用NN)。
在全分布式中,存在一个SNN(secondary Node),那是Hadoop 1.x中采用的技术。在hadoop 2.x中,使用SBNN(standby Namenode)来完成SNN的功能,并提供HA 备用。
各部分组件工作原理介绍:
1.Journal Node:
2.Zookeeper:
二、部署时要注意的点(写在前面)
1.由于两个NN之间要互相操作(例如SBNN在NN出现问题的使用要操作NN,杀掉相应进程),所以两台NN之间需要相互做免秘钥登录。
2.在配置好Hadoop后,格式化HDFS之前,要先启动 Journal Nodes。
三、Hadoop HA配置流程及解释