Hadoop-HA的HDFS集群原理分析

  1. 简单HDFS集群中存在的问题?
    如何解决NameNode 单节点问题 单节点自动故障转移
  2. 如何解决NameNode单节点问题?
    a. 找一个额外的NameNode备份原有数据
    b. 如何解决集群中脑裂(一个集群中多个管理者数据不一致这种情况叫做脑裂)
  3. 如何解决启动多个NameNode时保证统一时刻只有一个NameNode工作,避免脑裂问题?
    在这里插入图片描述
    在这里插入图片描述

QJM 使用zookeeper完成高可用
zookeeper作为一个监控者,NameNode相互切换的工作,如果活跃节点active宕机,自动切换stanby为活跃节点
zookeeper集群部署
JournalNode:1. 保证两个NameNode的数据,将当前活跃NameNode的editosNode数据保存到自己的磁盘,再同步到stanby;2. 隔离机制:在HA集群中,如果活跃的NameNode与Zookeeper出现网络延迟这种情况时,zk将会自动切换NameNode(standby)为活跃节点,这个时候集群就会出现多个NameNode(active),这就面临集群脑裂问题,怎么解决?JournalNode的隔离机制保证这一时刻只能有一个NameNode(active),使用ssh登录到NameNode 节点上使用kill命令杀死NameNode
在这里插入图片描述

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/dgssd/article/details/109502213