MapReduce在hadoop体系的作用是分布式计算,分而治之的思想。
简单的说整个过程就是Map + Shuffle + Reduce
MapReduce过程中只能有一个Map和一个Reduce,复杂的话可以多个MapReduce串行运行
Map之前到Map
客户端需要将切片信息,jar包和xml配置文件提交到HDFS
Yarn根据切片数量启动相应MapTask(各玩各的)
Map Task通过用户编写的RecordReader,从输入InputSplit中解析出一个个key/value。
每一个键值对调用一次map函数,调用OutputCollector.collect()输出结果。
Map:输入 key(long类型偏移量) value(Text一行字符串)输出 key value
Shuffle
数据先分区,然后进入环形缓存区。
数据达到环形缓存区80%开始溢写(环默认大小100M)。
溢写出的文件区内排序(快排)。
所有同区的不同批次溢写出的小文件合并排序(归并排序)。
可combiner等reduce端拉取
启动相应reduce task
将数据从map端拉取到内存中,内存满了则放入磁盘
reducetask会取到同一个分区的来自不同maptask的结果文件,reducetask会将这些文件再进行合并(归并排序)
按照相同key分组
Reduce到结束
调用reduce方法
TextOutputFormat输出
MrAppMaster:负责整个程序的过程调度及状态协调。