hive的 group 、distribute 、sort 、cluster、order 区别

order by

hive 的语法大部分从mysql中继承过来一来节约学习成本，二是对习惯了mysql语法的更易于编程，order by 便是这样移植了过来，但放在大数据这种环境下，显得作用没有在mysql那样大了，因为处理数仓的数据量都是非常大的，如果使用order by 便是对所有数据做一次全排序，并且只开启一个reduce来排序。效率低下，消耗的资源的代价将是非常大的，所以它的适用场景是在数据量很小的情况下才适合使用，慎用。

这里跟传统的sql还有一点区别：如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit 来限制输出条数，原因是：所有的数据都会在同一个reducer端进行，数据量大的情况下可能不能出结果，那么在这样的严格模式下，必须指定输出的条数。

sort by

sort by 只对局部排序，不保证全局，在mapreduce中 reduce 区间内排序 ，如果是有多个reduce 就形成了区内有序，区间是无序的

distribute by

distribute by 按某个字段进行分组，并且把相同字段拉取到一个reduce上处理 ，一般是结合 sort by来使用 ，使用时候要把distribute by 放在前面 sort by 放在后面

cluster by

cluster by是distribute by 和 sort by 的结合体 使用cluster by 的列只能是降序的，不能设置为升序