MapReduce 1.0基本组成结构介绍

MapReduce 1.0基本组成结构介绍
一、JobTracker:
JobTracker是整个MapReduce计算框架中的主服务,相当于集群的管理者,负责整个集群的作业控制和资源管理。
1)作业控制模块,负责作业的分解和状态的监控。
其中,最重要的是状态的监控,主要包括TaskTracker状态监控、作业状态监控、任务状态监控等。其最主要的作用有两个:容错和为任务调度提供决策依据。
2)资源管理模块,是通过一定的策略,将各个节点上的计算资源分配给集群中的任务。

二、TaskTracker:
TaskTracker是HADOOP集群中运行于各个节点上的服务。负责任务的执行和汇报心跳;
1) 任务执行:从JobTracker端接收并执行各种命令(如:启动任务、提交任务、杀死任务、杀死作业、重新初始化等);
2) 汇报心跳:周期性地将所在节点上的各种信息,通过心跳机制汇报给JobTracker。信息包括:节点健康信息、资源使用情况、任务执行进度、任务运行状态等.

猜你喜欢

转载自szjian.iteye.com/blog/2013909