HDFS高可用(HA)机制

定义:
解决系统单点故障问题,防止一台nameNode挂了,就会出现数据丢失等问题。
原理:
(1)将数据记载在Qjournal分布式日志管理系统里面,活跃的nameNode会定时将数据上传到Qjournal里面,Qjournal也会定期将数据放到另一台不活跃的NameNode里面跟新,定期进行数据的刷新这样就会防止丢失(也是定期刷新fsimage镜像文件)
(2)那么如果挂了的话,怎么通知另一台nameNode去重新启动服务呢,这里面就有一个叫做zkfc的控制器,它会根据进程实时监测nameNode的状态,并且和zookeeper随时进行交互,如果感觉nameNode挂了,就会通知下一台nameNode去进行接手
(3)为什么上面说感觉挂了,因为他根据进程去判断,有可能有时候没死,这时候同时启动两台NameNode去管理dateNode就会出现脑裂(系统不协调)的现象,有两个老大,当然就不协调了,这时候就出现了两种防止脑裂的方式 SSH KILL(发送一个杀死的命令)和Shell脚本。如果发送ssh kill命令,nameNode没有反应的话,就使用Shell脚本杀死,确认杀死后就会启动下一个nameNode.

这里写图片描述

猜你喜欢

转载自blog.csdn.net/qq_41166135/article/details/82730238