Hadoop 控制split尺寸

三个参数决定Map的Split尺寸

1.mapred.min.split.size
2.mapred.max.split.size
3.dfs.block.size

根据公式:
               max(minimumSize,min(maximumSize,blockSize))
默认情况:
               minimumSize < blockSize < maximumSize

例子:
   min    max    block    split
     1M     100M  64M      64M
   128M   512M  64M      128M
     1M     32M    64M      32M

猜你喜欢

转载自marsorp.iteye.com/blog/1611095
今日推荐