yarn工作流程

ResourceManager RM

NodeManager NM

ApplicationMaster AM

1、Mr程序提交到客户机所在的节点,会根据配置来决定是本地运行还是yran运行。

2、yarn运行的话,它会向RM发起请求,RM返回Job的工作目录和id

3、客户机把Job运行所需的资源提交上去,job.split  job.xml jar包

4、资源提交完毕后,客户机向RM发起运行的请求AM的请求

5、RM会把请求初始化成一个Task,放入调度队列中

6、NM领取任务,创建容器,运行AM,下载job资源

7、AM根据job资源,来决定开几个MapTask,向RM申请,排队

8、NM领取MapTask任务,创建容器,AM发送启动脚本运行,运行结束生成分区数据文件和index文件

9、AM向RM申请ReduceTask任务,调度队列排队

10、NM领取ReduceTask任务,创建容器,运行ReduceTask,向Map获取对应分区的数据并运行reduce

11、程序运行结束,AM向RM注销

猜你喜欢

转载自blog.csdn.net/qq_42506914/article/details/86252809