MapReduce之个人理解

MapReduce在hadoop体系的作用是分布式计算,分而治之的思想。

简单的说整个过程就是Map + Shuffle + Reduce

MapReduce过程中只能有一个Map和一个Reduce,复杂的话可以多个MapReduce串行运行

Map之前到Map

客户端需要将切片信息,jar包和xml配置文件提交到HDFS

Yarn根据切片数量启动相应MapTask(各玩各的)

Map Task通过用户编写的RecordReader,从输入InputSplit中解析出一个个key/value

每一个键值对调用一次map函数,调用OutputCollector.collect()输出结果。

Map:输入  key(long类型偏移量)  value(Text一行字符串)输出  key value

Shuffle

数据先分区,然后进入环形缓存区。

数据达到环形缓存区80%开始溢写(环默认大小100M)。

溢写出的文件区内排序(快排)。

所有同区的不同批次溢写出的小文件合并排序(归并排序)。

可combiner等reduce端拉取

启动相应reduce task

将数据从map端拉取到内存中,内存满了则放入磁盘

reducetask会取到同一个分区的来自不同maptask的结果文件,reducetask会将这些文件再进行合并(归并排序)

按照相同key分组

Reduce到结束

调用reduce方法

TextOutputFormat输出

MrAppMaster:负责整个程序的过程调度及状态协调。

猜你喜欢

转载自blog.csdn.net/jnb_985027859/article/details/94649687