简单聊聊HDFS RBF第二阶段工作近期的一些进展

前言


前些时间Apache Hadoop 3.1.0版本正式发布,里面新增了很多feature以及一些bug fix,improvement改进。因为笔者本人最近几个月一直跟进,参与的是HDFS RBF这块,所以就简单聊聊这块所做的一些事情,旨在帮助大家方便了解这个feature具体做什么的。如果还有同学对RBF完全不太了解的,可以先阅读这篇博文:HDFS基于路由的Federation方案.

主要改进点


在这里笔者从用户的角度,来介绍一些对于我们来说会是一些比较好的改进或者是新功能。

1.DBMS State Store的实现支持(HDFS-13245),目前已有相关patch,正在review中。DBMS State Store在实际场景中其实是一个非常常见的一个存储方式,一旦这块能够支持了,那么RBF在应用性上将会好很多。

2.RBF成为一个独立的module模块(HDFS-13215),而不是在hadoop-hdfs工程里了,这样的话,它可以更好的独立完善和扩展。同时也会大大方便使用者对这块进行学习和改造。

3.Disable Nameservice功能的引入(HDFS-13484)。这个功能类似于DataNode Maintenance或者Decomission的功能。在这里节点的概念就是一个个Nameservice,表示临时将这个Nameservice下线(不允许读写),直到条件允许,再通过命令或者API来重新启用这个Nameservice.

4.Router拒绝请求处理功能(HDFS-13488)。此功能指的是当Router客户端的RPC使用线程数耗尽时,如果再有请求进来,会进行拒绝动作。默认情况下,此功能关闭,后面的请求会阻塞等待被处理。此功能在HA条件下会比较有用,这样后面的请求会被2个Router中负载小的一方处理掉。

5.缓存刷新功能(HDFS-13443)。我们知道RBF为了性能的考虑,每次Router实际不会每次真的从State Store中load Mount table信息,而是在中间加了一个缓存,然后定期去更新这个缓存。这就造成有时用户更新的Mount table信息不会立即对Router生效。而这块改进则弥补了这块的不足,本之上就是提高了一个外部能够主动刷新缓存的接口/命令。

6.其它。这里其它就有很多小方面的改进了,什么文档描述不准确的地方啊,管理员操作命令的使用优化啦,还有使用过程中,广大用户发现的各种小bug,不过这些都在HDFS-12615下进行了快速的跟进和解决。

OK,以上就是简单的小结了,希望对RBF感兴趣的同学们有帮助,::)。

猜你喜欢

转载自blog.csdn.net/androidlushangderen/article/details/80209818