Hive中的order by,sort by,distribute by,cluster by 的区别

1.order by

order by 可以指定desc/asc
order by 会对输入做全局排序，因此只有一个reduce（多个reducer无法保证全局排序），但是一个reducer，会导致当输入规模较大时，计算时间会变长。

2.sort by

sort by 不是全局排序，其数据在进入reducer钱完成排序，因此如果用sort by进行排序，兵器让设置mapped.reduce.task>1，则sort by只会保证每个reducer的输出有序，并不保证全局有序。（全排序的实现：先sort by 然后order by。

3.distribute by(重要）

distribute by 是控制在map端如何拆分数据给reducer端的。hive会根据distribute by 后面列，对应reduce的个数进行分发，某人是采用hash算法。sort by 为每个reducer产生一个排序文件。在有些情况下，你需要控制某个特定行应该到那个reducer，这通常是为了进行后学的聚集操作。distribute by刚好可以做这件事。因此，distribute by通常和sort by配合使用。

select * from store distribute by merid sort by money desc;

4.cluster by

cluster by具有 distribute by和 sort by的组合功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC