Hadoop namenode和datanode工作机制

                                                              namenode工作机制流程图

           

1)第一阶段:namenode启动

1)第一次启动namenode格式化后创建fsimageedits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。

2客户端对元数据进行增删改的请求

3namenode记录操作日志,更新滚动日志

4namenode在内存中对数据进行增删改查

2)第二阶段:Secondary NameNode工作

1Secondary NameNode询问namenode是否需要checkpoint直接带回namenode是否检查结果。

2Secondary NameNode请求执行checkpoint

3namenode滚动正在写的edits日志

4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode

5Secondary NameNode加载编辑日志和镜像文件到内存,并合并。

6生成新的镜像文件fsimage.chkpoint

7拷贝fsimage.chkpointnamenode

8namenodefsimage.chkpoint重新命名成fsimage

                                                                     datanode工作机制流程图

               

1一个数据块在datanode以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据校验和,以及时间戳

2DataNode启动后向namenode注册,通过后,周期性(1小时namenode上报所有的块信息。

3心跳是每3一次,心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器,或删除某个数据块如果超过10分钟没有收到某个datanode的心跳,则认为该节点不可用。

4集群运行中可以安全加入和退出一些机器


猜你喜欢

转载自blog.csdn.net/u013982921/article/details/79795154