HIVE 调优之GROUP BY

• 默认情况下，Map阶段结束后，相同Key的数据分发到一个reduce，当同一key数据量过大时就产生数据倾斜了。并不是所有的聚合操作都必要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果

• 开启Map端聚合参数设置

  • 是否在Map端进行聚合，默认为True： hive.map.aggr = true

  • 在Map端进行聚合操作的条目数目： hive.groupby.mapaggr.checkinterval = 100000

  • 有数据倾斜的时候进行负载均衡（默认是false）： hive.groupby.skewindata = true

    • 当选项设定为 true，生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同Key的数据有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Key分布到Reduce中（这个过程可以保证相同Key的数据分布到同一个Reduce中），最后完成最终的聚合操作