DataNode 工作机制

  • 根据客户端或namenode的调度存储和检索数据,并且定期向namenode发送所存储的块(block)的列表

  • 数据块在DataNode进程所在的节点上以文件的形式存储在本地磁盘上

    • 一个是数据本身

    • 一个是元数据(数据块的长度,块数据的校验和,以及时间戳)

  • DataNode工作机制

  • datanode启动时,每个datanode对本地磁盘进行扫描,将本datanode上保存的block信息汇报给namenode 。namenode在接收到的block信息以及该block所在的datanode信息等保存在内存中。 DataNode启动后向NameNode注册,通过后周期性地向NameNode上报所有的块信息

猜你喜欢

转载自www.cnblogs.com/xiangyuguan/p/11007482.html