Hive中 HQL高级介绍及用法

SQL关键词执行顺序
from>where条件>group by>having条件>select>order by>limit
注意：一旦slq出现group by，后续的关键词能够操作的字段只有（分组依据字段，组函数处理结果）

常见步骤：

0.各个数据类型的字段访问(array、map、struct)

1. 条件查询：= != >= <=

2. and or between and

3. order by[底层会启动mapreduce进行排序]

4. limit(hive没有起始下标)

5. 去重

单行函数(show functions) 查看所有函数

– 查看hive系统所有函数

show functions;

1. array_contains(列,值);
2. length(列)
3. concat(列,列)
4. to_date('2000-10-1')
5. year(date),month(date),
6. date_add(date,数字)

组函数

max、min、sum、avg、count等。

炸裂函数(集合函数)

– 由一行数据计算完成之后获得多行数据

分组

group by()

子查询

collect_list(组函数)

– 对分组后的，每个组的某个列的值进行收集汇总。

select collect_list(列) from 表 group by 分组列;

concat_ws(单行函数)：指定分隔符

– 如果某个字段是数组，对该值得多个元素使用指定分隔符拼接。

select id,name,concat_ws(',',hobbies) from t_person;

全排序和局部排序

全局排序

语法：select * from 表 order by 字段 asc|desc;

局部排序(分区排序)

–启动多个reduceTask，对数据进行排序(预排序)，局部有序。

局部排序关键词 sort by
默认reducetask个数只有1个，所有分区也只有一个。所以默认和全排序效果一样。

语法：select * from 表 distribute by 分区字段 sort by 字段 asc|desc;