Hive-查询

1、基本查询(Select…From)

1.1、基本查询

全表查询: hive (default)> select * from emp;

选择特定列查询: hive (default)> select empno, ename from emp;

列别名:hive (default)> select ename AS name, deptno dn from emp;

1.2、算术运算符

如:hive (default)> select sal +1 from emp;

1.3、常用函数

1.4、Limit 语句

典型的查询会返回多行数据。LIMIT 子句用于限制返回的行数。

hive (default)> select * from emp limit 5;

2、Where 语句

2.1、比较运算符(Between/In/ Is Null)

案例实操 :

(1)查询出薪水等于 5000 的所有员工

hive (default)> select * from emp where sal =5000;

(2)查询工资在 500 到 1000 的员工信息

hive (default)> select * from emp where sal between 500 and 1000;

(3)查询 comm 为空的所有员工信息

hive (default)> select * from emp where comm is null;

(4)查询工资是 1500 和 5000 的员工信息

hive (default)> select * from emp where sal IN (1500, 5000);

2.2、Like 和 RLike

1)使用 LIKE 运算选择类似的值

2)选择条件可以包含字符或数字: % 代表零个或多个字符(任意个字符)。 _ 代表一个字符。

3)RLIKE 子句是 Hive 中这个功能的一个扩展,其可以通过 Java 的正则表达式这个更强大 的语言来指定匹配条件。

4)案例实操

(1)查找以 2 开头薪水的员工信息

hive (default)> select * from emp where sal LIKE '2%';

(2)查找第二个数值为 2 的薪水的员工信息

hive (default)> select * from emp where sal LIKE '_2%';

(3)查找薪水中含有 2 的员工信息

hive (default)> select * from emp where sal RLIKE '[2]';

2.3、逻辑运算符(And/Or/Not)

案例实操

(1)查询薪水大于 1000,部门是 30

hive (default)> select * from emp where sal>1000 and deptno=30;

(2)查询薪水大于 1000,或者部门是 30

hive (default)> select * from emp where sal>1000 or deptno=30;

(3)查询除了 20 部门和 30 部门以外的员工信息

hive (default)> select * from emp where deptno not IN(30, 20);

3、分组

3.1、Group By 语句

GROUP BY 语句通常会和聚合函数一起使用,按照一个或者多个列队结果进行分组, 然后对每个组执行聚合操作。

案例实操:

(1)计算 emp 表每个部门的平均工资

hive (default)> select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno;

(2)计算 emp 每个部门中每个岗位的最高薪水

hive (default)> select t.deptno, t.job, max(t.sal) max_sal from emp t group by t.deptno, t.job;

3.2、Having 语句

案例实操:

(1)求每个部门的平均薪水大于 2000 的部门 求每个部门的平均工资

hive (default)> select deptno, avg(sal) from emp group by deptno;

求每个部门的平均薪水大于 2000 的部门

hive (default)> select deptno, avg(sal) avg_sal from emp group by deptno having avg_sal > 2000;

4、Join 语句

4.1、等值 Join

(1)根据员工表和部门表中的部门编号相等,查询员工编号、员工名称和部门编号;

hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e join dept d on e.deptno = d.deptno;

4.2、表的别名

合并员工表和部门表

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;

4.3、内连接

内连接:只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;

4.4、左外连接

左外连接:JOIN 操作符左边表中符合 WHERE 子句的所有记录将会被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e left join dept d on e.deptno = d.deptno;

4.5、右外连接

右外连接:JOIN 操作符右边表中符合 WHERE 子句的所有记录将会被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e right join dept d on e.deptno = d.deptno;

4.6、满外连接

满外连接:将会返回所有表中符合 WHERE 语句条件的所有记录。如果任一表的指定 字段没有符合条件的值的话,那么就使用 NULL 值替代。

hive (default)> select e.empno, e.ename, d.deptno from emp e full join dept d on e.deptno = d.deptno;

4.7、多表连接

hive (default)>SELECT e.ename, d.deptno, l. loc_name FROM emp e JOIN dept d ON d.deptno = e.deptno JOIN location l ON d.loc = l.loc;

4.8、笛卡尔积

hive (default)> select empno, deptno from emp, dept;

4.9、连接谓词中不支持 or

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno or e.ename=d.ename;

错误的

5、排序

5.1、全局排序(Order By)

(1)查询员工信息按工资升序排列

hive (default)> select * from emp order by sal;

(2)查询员工信息按工资降序排列

hive (default)> select * from emp order by sal desc;

5.2、按照别名排序

按照员工薪水的 2 倍排序

hive (default)> select ename, sal*2 twosal from emp order by twosal;

5.3、多个列排序

按照部门和工资升序排序

hive (default)> select ename, deptno, sal from emp order by deptno, sal ;

5.4、每个 MapReduce 内部排序(Sort By)

Sort By:每个 MapReduce 内部进行排序,对全局结果集来说不是排序。

1)设置 reduce 个数

hive (default)> set mapreduce.job.reduces=3;

2)查看设置 reduce 个数

hive (default)> set mapreduce.job.reduces;

3)根据部门编号降序查看员工信息

hive (default)> select * from emp sort by empno desc;

4)将查询结果导入到文件中(按照部门编号降序排序)

hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result' select * from emp sort by deptno desc;

5.5、分区排序(Distribute By)

Distribute By:类似 MR 中 partition,进行分区,结合 sort by 使用。

注意,Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。

对于 distribute by 进行测试,一定要分配多 reduce 进行处理,否则无法看到 distribute by 的效果。

案例实操:

(1)先按照部门编号分区,再按照员工编号降序排序。

hive (default)> set mapreduce.job.reduces=3;

hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

5.6、Cluster By

当 distribute by 和 sorts by 字段相同时,可以使用 cluster by 方式。

cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是倒序排 序,不能指定排序规则为 ASC 或者 DESC。

1)以下两种写法等价

select * from emp cluster by deptno;

select * from emp distribute by deptno sort by deptno;

注意:按照部门编号分区,不一定就是固定死的数值,可以是 20 号和 30 号部门分到一 个分区里面去。

猜你喜欢

转载自blog.csdn.net/liberty12345678/article/details/84789723