【Hadoop】之 Hadoop 1.x 初识

Hadoop1.x 组件


这里写图片描述



名称节点(NameNode)


简介

  1. 维护这存储在HDFS上的所有文件的元数据信息(内存元数据:包含DataNode上块的映射信息)
    [DataNode]:数据节点,是分布式文件系统HDFS的工作节点,负责数据的存储和读取。

  2. 管理分布式文件系统的命名空间(Namenode)————[文件系统文件目录的组织方式]

  3. 保存了两个核心的数据结构,即FsImage 和 EditLog

FsImage

用于维护文件系统树以及文件树种所有的文件和文件夹的元数据(内存元数据:包含datanode上块的映射信息)

Editlog

记录了所有针对文件的创建、删除,重命名等操作。




第二名称节点(Secondary Namenode)


简介

  1. 不是名称节点的热备份
  2. 为了解决EditLog逐渐变大带来的问题

作用:
(1)完成EditLog与FsImage的合并操作,减小EditLog文件大小,缩短名称节点重启时间
(2)作为名称节点的”检查点”,保存名称节点中的元数据信息。




数据节点(DataNode)


简介

是分布式文件系统hdfs的工作节点,负责数据的存储和读取,会根据客户端或者名称节点的调度来进行数据的存储和检索,并且向名称节点定期发送自己所存储的快列表。




作业跟踪器(JobTracker)


简介

负责一个任务的整个执行过程。
调度各个子任务(Mapper任务和Reducer任务各自的子任务)到各自的计算节点运行,时刻监控任务运行和计算节点的健康状况,对失败的子任务重新调度执行




任务跟踪器(TaskTracker)


简介

运行在各个数据节点上,用来启动和管理各个Map/Reduce任务。与作业跟踪器进行通信。

猜你喜欢

转载自blog.csdn.net/fanfan4569/article/details/79343654