HADOOP HA概述

版权声明:个人原创,转载请标注! https://blog.csdn.net/Z_Date/article/details/83830736

目录

 

1、 背景

2、 HA(High Available)概念


1、 背景

​ 在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该机器或进程不可用,整个群集将不可用,直到NameNode重新启动或在单独的计算机上启动为止。这在两个主要方面影响了HDFS集群的总体可用性:

  • 在计划外事件(例如机器崩溃)的情况下,直到操作员重新启动NameNode后,群集才可用。

  • 计划的维护事件(如NameNode计算机上的软件或硬件升级)将导致群集停机时间窗口。

HDFS高可用性功能通过提供在具有热备用的主动/被动配置中的同一群集中运行两个(以及3.0.0多于两个)冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的NameNode,或者为计划维护目的而进行正常的管理员启动的故障转移。

2、 HA(High Available)概念

  • hadoop-HA集群运作机制介绍

    所谓HA,即高可用(7*24小时不中断服务)(secondarynamenode只是保证了“可靠性”)实现高可用最关键的是消除单点故障,hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。

    扫描二维码关注公众号,回复: 4006348 查看本文章
  • HDFS的HA机制详解

    通过双namenode消除单点故障,双namenode协调工作的要点:

    • 元数据管理方式需要改变

    • 需要一个状态管理功能模块

猜你喜欢

转载自blog.csdn.net/Z_Date/article/details/83830736