Hadoop组件

      上一篇文章写到了配置文件,于是有些朋友就问我,这些配置文件是什么意思呢?这里我也引用一个地址,大家可以去看看(对于现有资源要好好利用,别浪费了),URL:http://blog.chinaunix.net/uid-22477743-id-388307.html

      回归主题,这次要讲的是我们Hadoop的一些组件(如果你上篇文章看了,可是还没部署,赶紧部署吧,看是没用的!) ,在写之前,还是给大家普及一些概念,你们就继续默念我唠叨吧。。。

       hadoop包括:NameNode(名称节点),DataNode(数据节点),Secondary NameNode(次名称节点),JobTracker(作业跟踪节点),TaskTracker(任务跟踪节点)【我不是吕不韦,不能做到一字千金来悬赏大家,不过欢迎大家来勘误,我表示衷心的感谢】

       NameNode:名称节点是Hadoop守护进程中最重要的一个,NameNode位于HDFS(Hadoop文件系统)的主端(Master端),他指导Slave端的DataNode执行I/O任务,他跟踪文件如何分割成文件块,然后被什么节点存储,以及分布式文件系统的运行状态是否正常。

      DataNode:每个Slave节点都会有个DataNode守护进程来执行文件系统的工作---将HDFS数据块读取或者写入本地系统的实际文件中。当客户端要读取系统的数据时,NameNode会告诉客户端每个数据块分别存储在什么DataNode上,然后客户端直接与DataNode通信,来处理与数据块相应的本地文件。

      Secondary NameNode: 这个相当于是一个备份系统,备份NameNode的数据,因为NameNode是单一故障点,有了 Secondary NameNode,当NameNode出现故障后,我们需要手工配置将 Secondary NameNode 配置为主NameNode即可, Secondary NameNode 在正常情况下只会跟NameNode通讯,获取HDFS元数据的快照。

      JobTracker:  JobTracker是应用程序与hadoop之间的纽带。当有代码提交到集群时, JobTracker会确定执行计划,包括处理什么文件,为不同任务分配节点,以及监控所有的任务。如果任务失败就自动重启任务,但是分配节点可能不同,一个集群只有一个 JobTracker,一般也在主节点上。从之前的配置文件上看,是这么回事。

      TaskTracker: JobTracker是监测系统MapReduce的整个执行过程,那么 TaskTracker就是监控各个任务在自己的节点的执行情况。我想这个还是比较好理解的。 TaskTracker会不断跟JobTracker联系,如果联系超时或者Down了,那么JobTracker会分配任务到其他节点。

hadoop

猜你喜欢

转载自canon--in--d.iteye.com/blog/1538288