大数据面试题:HDFS存储原理

        HDFS集群中,有两类服务角色:NameNode、DataNode。文件数据按照固定大小(block size,默认128M)切分后,分布式存储在DataNode节点上。而数据的元数据信息加载在NameNode服务内存中。为防止服务单机会持久化一份在文件中(即fsimage文件,最新的元数据存储在edits log日志中,一般为 64MB,当 edits log 文件大小达到 64MB时,就会将这些元数据追加到 fsimage 文件中)。

        每个文件/目录和block元数据信息存储在内存中,内存中分别对应:INodeFile、INodeDirectory、BlockInfo,每个对象大约150-200 bytes。

猜你喜欢

转载自blog.csdn.net/weixin_42258633/article/details/129074378