- 简单HDFS集群中存在的问题?
如何解决NameNode 单节点问题 单节点自动故障转移 - 如何解决NameNode单节点问题?
a. 找一个额外的NameNode备份原有数据
b. 如何解决集群中脑裂(一个集群中多个管理者数据不一致这种情况叫做脑裂) - 如何解决启动多个NameNode时保证统一时刻只有一个NameNode工作,避免脑裂问题?
QJM 使用zookeeper完成高可用
zookeeper作为一个监控者,NameNode相互切换的工作,如果活跃节点active宕机,自动切换stanby为活跃节点
zookeeper集群部署
JournalNode:1. 保证两个NameNode的数据,将当前活跃NameNode的editosNode数据保存到自己的磁盘,再同步到stanby;2. 隔离机制:在HA集群中,如果活跃的NameNode与Zookeeper出现网络延迟这种情况时,zk将会自动切换NameNode(standby)为活跃节点,这个时候集群就会出现多个NameNode(active),这就面临集群脑裂问题,怎么解决?JournalNode的隔离机制保证这一时刻只能有一个NameNode(active),使用ssh登录到NameNode 节点上使用kill命令杀死NameNode