大数据(十九):hive数据库基本操作与表分类

一、创建数据库

1.创建一个数据,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db

create database db_hive;

2.避免创建的数据库已经存在,增加if not exists

create database if not exists db_hive;

 若果数据库不存在则创建

3.创建一个数据库,指定数据库在HDFS上放置的位置

create database db_hive location "/";

二、修改数据库

        用户可以使用ALTER DATABASE命令为某个数据库的DBPROPERTIES设置键值对属性值,来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的,包括数据库名称和数据库所在目录位置。

alter database db_hive set dbproperties('createtime'='20180921');

key和value都可以任意填写仅仅是对数据库的表述 并非实际的数值

使用以下命令查看数据库信息:

扫描二维码关注公众号,回复: 3623054 查看本文章
desc database extended db_hive;

三、查询数据库

显示数据库

show databases;

过滤显示查询的数据库

show databases lkie 'db_*';

使用数据库

use db_hive;

四、删除数据库

删除空数据库

drop database db_hive;

强制删除有数据的数据库

drop database db_hive cascade;

删除的时候也可以使用 if exists来判断数据库是否存在

drop database if exists db_hive;

五、创建表

1.建表语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
    [(col_name_data_type[COMMENT col_comment],...)]
    [COMMENT table_comment]
    [PARTITIONED BY(col_name_data_type [COMMENT col_comment],...)]
    [CLUSTERED BY(col_name,col_name,...)
    [SORTED BY(col_name[ASC|DESC],...)] INTO num_buckets BUCKETS]
    [ROW FORMAT row_format]
    [STORED AS file_format]
    [LOCATION hdfs_path]

2.字段解释说明

  1. CREATE TABLE:创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用IF NOT EXISTS选项来忽略这个异常。

  2. EXTERNAL:关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),hive创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。

  3. COMMENT:为表和列添加注释

  4. PARTITIONED BY:创建分区表

  5. CLUSTERED BY:创建分桶表

  6. SORTED BY:排序,几乎不使用

  7. ROW FORMAT

DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITMS TERMINATED BY char] 
[MAP KEYS TERMINATED BY char]
[LINES TERMINATED BY char]|SERDE serde_name
[WITH SERDEPROPERTIES(property name=property value,proerty_name=property_value,...)]

        用户在建表的时候可以自定义SerDe或者使用自带的SerDe。如果没有指定ROW FORMAT或者ROW FORMAT DELIMITED,将会使用自带的SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的SerDe,hive通过SerDe确定表的具体的列和数据。

  1. STORED AS指定存储文件类型

    如果文件数据是纯文本,可以使用STORED AS TEXTFILE。如果数据需要压缩,使用STORED AS SEQUENCEFILE。

    常用的存储文件类型:

    1. SEQUENCEFILE(二进制序列文件)

    2. TEXTFILE(文本)

    3. RCFILE(列式存储格式文件)

  2. LOCATION:指定表在HDFS上的存储位置

  3. LIKE:允许客户复制现有的表结构,但是不复制数据。

六、管理表

1.理论

        默认创建的表都是所谓的管理表,有时也被称为内部表。因为这种表,hive会或多或少控制着数据的生命周期。hive默认情况下会将这些表的数据存储在由配置项定义的目录的子目录下(https://blog.csdn.net/qq_34886352/article/details/82790335)。当我们删除一个管理表时,hive也会删除这个表中数据。管理表不适合和其他工具共享数据。

2.实例

普通方式创建表

create table if not exists student(
id int,name String
)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student';

根据查询结果创建表(查询的结果会添加到新建的表中)

create table if not exists student2
as select id,name from student;

根据已存在的表结构创建表

create table if not exists student3 like student;

查询表的类型

desc formatted student;

MANAGED_TABLE表示管理表

七、外部表 

1.理论

        应为表是外部表,所以hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据,不过表述表的元数据信息会被删除掉。

2.实例

创建一个外部表

create external table if not exists default.dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';

查看表格式化数据

desc formatted dept;

EXTERNAL_TABLE表示外部表

八、管理表和外部表的使用场景:

        外部表适用于需要和其他应用共享的文件数据,比如每天收集到的网站日志定期流入HDFS中的文本文件。内部表适用于独立使用的数据,比如中间表、结果表。

猜你喜欢

转载自blog.csdn.net/qq_34886352/article/details/82801080