二、MapReduce工作机制

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013068377/article/details/83013234

一、思维导图

在这里插入图片描述

二、知识点

1.哪些作业是小作业?

在作业初始化的时候,application master会根据任务的大小来判断是否要和application master运行在同一个JVM上;如果不是小作业,需要向Resource Manager申请新的容器;
默认情况下,小作业就是少于10个mapper且只有1个reducer且输入大小小于一个HDFS快的作业(通过设置mapreduce.job.ubertask.maxmaps、mapreduce.job.ubertask.maxreduces、mapreduce.job.ubertask.maxbytes可以改变这几个值)

2.Streaming

Streaming运行特殊的map和reduce任务,目的是运行用户提供的可执行程序,并与之通信。

猜你喜欢

转载自blog.csdn.net/u013068377/article/details/83013234