HDFS 联邦（Federation）个人理解

NameNode单点存在以下两个问题

1. 单点故障—HA解决
2. 压力大—Federation解决

1：联邦机制架构

解决了HDFS单节点如下问题
1.namespace命名空间限制
namenode把所有元数据存储在内存中，单个namenode所能存储的对象（文件+块）有限制
2.性能瓶颈（吞吐量）
整个hdfs文件系统的吞吐量受限于单个namenode的吞吐量
3.隔离问题
无法隔离应用程序，一个实验程序，可能影响整个集群
4.单点故障

简而言之就是

• NN的压力过大，内存受限
• 元数据进行分治，复用DN存储
• 元数据访问隔离性
• DN目录隔离了block
  
  个人理解是支撑起了平台
  举个例子，联邦制首先想到的是USA
  一个国家，多个州，每个州有对应的宪法
  一个国家代表平台，州代表NN，每个州对应的宪法对应DN上的data.dir
  支持不同文件存储在不同NN对应的同DN里面的不同dir（很绕口哈哈）
  最终向外分装成一个很牛的文件系统平台，别人不知道底层，只有自己知道

拓展
HDFS Federation的不足
HDFS Federation并没有完全解决单点故障问题。虽然namenode/namespace存在多个，但对于单个namenode来说，仍然存在单点故障。
如果某个namenode挂掉了，其管理的相应文件便不可以访问。
Federation中每个namenode仍然像之前一样，配有一个secondary namenode，以便主namenode挂掉后，用于还原元数据信息