MapReduce中Splits的划分

      MapReduce框架在执行时,先使用InputFormat模块做Map的预处理,比如验证输入的格式是否符合输入的定义;然后,将输入文件划分为逻辑上的多个InputSplit,InputSplit是MapReduce对文件进行处理和运算的输入单位,只是一个逻辑概念,每个InputSplit并没有对文件进行实际的切割,只是记录了要处理的数据的位置和长度。

      因为InputSplit是逻辑切分而非物理切分,所以还需要通过RecordReader(RR)根据InputSplit中的信息来处理InputSplit中的具体记录,加载数据并转换为适合Map任务读取的键值对,输入给下一阶段的Map任务。

    

      为了清晰地了解一个split和block已经文件大小之间的关系,图示如下:

minSize = 1
maxSize = 2的63次方减1
blockSize=一个块大小,默认为128M
Math.min(maxSize , blockSize )=128*1024
Math.max( 1,128*1024)=128*1024
所以默认情况下一个块就是一个split就是一个map,这样做的好处是在执行map的时候不需要讲数据拷贝到map端,因为有的数据可能没有在map端需要进行拷贝。
 

由上面三个参数就可以计算出分片大小了,也能得到如下结论:
Split与block的对应关系可能是多对一,默认是一对一

在mapreduce的FileInputFormat类中的getSplits() 方法对文件进行split,算法如下:
Math.max(minSize,Math.min(maxSize, blockSize)),其中maxSize是取得longValueMax的值
1.如果blockSize小于maxSize && blockSize 大于 minSize之间,那么split就是blockSize(一对一);
2.如果blockSize小于maxSize && blockSize 小于 minSize之间,那么split就是minSize;(一对多)  ;
3.如果blockSize大于maxSize && maxSize   大于 minSize之间,那么split就是maxSize(多对一);
4.如果blockSize大于maxSize && maxSize   小于 minSize之间,那么split就是maxSize(不存在这种关系)。

在优化过程中,若想调整split大小控制map task的数量,原则如下:

文件大小不变,minsize大小默认,增加map task数量,减小maxSize,则split减小
文件大小不变,maxSize大小默认,减小map task数量,增大minSize,则split增大

注意:split大小如何调整,split只能是一个文件的分片,不能让多个小文件“划入”一个split中

猜你喜欢

转载自blog.csdn.net/qq_34341930/article/details/89055371