MapReduce算法的执行过程是怎样的?

MapReduce算法的执行过程是怎样的?

( 1) MapReduce框架使用InputFormat模块做Map前的预处理,比如验证输人的格式是否符合输入定义;然后,将输人文件切分为逻辑上的多个InputSplit, InputSplit是MapReduce对文件进行处理和运算的输人单位,只是一个逻辑概念, 每个InputSplit并没有对文件进行实际切割,只是记录了要处理的数据的位置和长度。

( 2)因为InputSplit 是逻辑切分而非物理切分,所以还需要通过RecordReader (RR)根据InputSplit中的信息来处理InputSplit中的具体记录,加载数据并转换为适合Map任务读取的键值对,输人给Map任务。

(3) Map任务会根据用户自定义的映射规则,输出一-系列的<key,value>作为中间结果。

(4 )为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区( Portition )、排序(Sort)、合并( Combine)、归并( Merge )等操作,得到<key,value-lis>)形式的中间结果,再交给对应的Reduce 进行处理,这个过程称为Shuffle。 从无序的<key,value>到有序的, 这个过程用Shufle (洗牌)来称呼是非常形象的。自时:0hoe

(5) Reduce以一系列<key,value-list>中间结果作为输入,执行用户定义的逻辑,输出结果给OutputFormat模块。

(6) OutputFormat模块会验证输出目录是否已经存在以及输出结果类型是否符合配置文件中的配置类型,如果都满足,就输出Reduce的结果到分布式文件系统。

发布了19 篇原创文章 · 获赞 19 · 访问量 1585

猜你喜欢

转载自blog.csdn.net/weixin_45558363/article/details/105533891