详细参见官方文档:http://spark.apache.org/docs/2.1.0/configuration.html
1.spark.shuffle.consolidateFiles:是否开启shuffle block file的合并,默认为false (2.x废弃)
---->数据在进行shuffle的时候,如果没有开启这个参数,那么就会从每个节点上的每个task上取拉去数据,开启之后,会进行文件的合并,只需要去 每个cpu-core上面拉去就可以,大大降低IO不说,时间也会节省很多
2.spark.reducer.maxSizeInFlight:reduce task的拉取缓存,默认48m
---->每次拉取数据的缓存大小设定,这个是每个reduceTask都有的
3.spark.shuffle.file.buffer:map task的写磁盘缓存,默认32k
---->map端的bucket缓存,也可以适当调节,降低溢写到磁盘的次数就变少了
4.spark.shuffle.io.maxRetries:拉取失败的最大重试次数,默认3次
5.spark.shuffle.io.retryWait:拉取失败的重试间隔,默认5s
6.spark.shuffle.memoryFraction:用于reduce端聚合的内存比例,默认0.2,超过比例就会溢出到磁盘上
----->当拉取的数据两特别大的时候,可以适当设置为0.3 0.4 ,提高运行速度,减少数据频繁的溢写到磁盘,消耗时间