hive:加载数据

Hive不支持一条一条的用insert语句进行插入操作,也不支持update的操作。

数据是以load的方式,加载到建立好的表中。

数据一旦导入,则不可修改。要么drop掉整个表,要么建立新的表,导入新的数据。

官方指导为:

Sql代码: 

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...) 

Hive在数据load这块,大方向分为两种方式,load文件或者查询一张表,或者将某张表里的查询结果插入指定表。
如果划分更细一点个人归纳总结为4种不同的方式的load:

1. Load data到指定的表
   

直接将file,加载到指定的表,其中,表可以是普通表或者分区表。具体sql如下:

LOAD DATA LOCAL INPATH '/home/admin/test/test.txt' OVERWRITE INTO TABLE test_1  

关键字[OVERWRITE]意思是是覆盖原表里的数据,不写则不会覆盖。
关键字[LOCAL]是指你加载文件的来源为本地文件,不写则为hdfs的文件。
其中
‘home/admin/test/test.txt’是相对路径
‘/home/admin/test/test.txt’为绝对路径


2. load到指定表的分区
   

直接将file,加载到指定表的指定分区。

表本身必须是分区表,如果是普通表,导入会成功,但是数据实际不会被导入。

具体sql如下:

LOAD DATA LOCAL INPATH '/home/admin/test/test.txt' OVERWRITE INTO TABLE test_1 PARTITION(pt=’xxxx) 

load数据,hive支持文件夹的方式,将文件夹内的所有文件,都load到指定表中。

Hdfs会将文件系统内的某文件夹路径内的文件,分散到不同的实际物理地址中。

这样,在数据量很大的时候,hive支持读取多个文件载入,而不需要限定在唯一的文件中。


    
3. insert+select
   这个是完全不同于文件操作的数据导入方式:

官方指导为:

Sql代码  

Standard syntax:   
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement  
  
Hive extension (multiple inserts):   
FROM from_statement   
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1   
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2] ...   
  
Hive extension (dynamic partition inserts):   
INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement  
 这个的用法和上面两种直接操作file的方式,截然不同。
从sql语句本身理解,就是把查询到的数据,直接导入另外一张表。


4. alter 表,对分区操作
   

在对表结构进行修改的时候,我们可以增加一个新的分区,在增加新分区的同时,将数据直接load到新的分区当中。

Sql代码:

ALTER TABLE table_name ADD
  partition_spec [ LOCATION 'location1' ]   
  partition_spec [ LOCATION 'location2' ] ...

原文参考:https://blog.csdn.net/wacthamu/article/details/40744217

猜你喜欢

转载自blog.csdn.net/weixin_38750084/article/details/83547593
今日推荐