版权声明:版权声明中 https://blog.csdn.net/lds_include/article/details/88786967
hive的数据文件存储格式
类型
- texfile:默认的存储格式:普通的文本文件,数据不压缩,磁盘的开销比较大,分析开销大。
- sequencefile:提供的一种二进制存储格式,可以切割,天生压缩。
- rcfile:提供的是一种行列混合存储方式,该方式会把相近的行和列数据放在一块儿,存储比较耗时,查询效率高,也天生压缩。
- orc:是rcfile的一种优化存储。
- parquet:自定义输入输出格式。
具体描述
1、texfile普通文本文件(通常默认的就是这个格式)
-
创建表
create table if not exists one ( id int, name string ) row format delimited fileds terminated by'\t' storted as textfile ;
-
加载数据
load data local inpath ‘localpath’ into table one;
2、sequencefile二进制放式:hive提供的二进制序列文件存储,天生压缩。默认支持压缩、分割,使用便捷、写和查询较快。sequencefile和压缩属性可以搭配使用
-
注意:sequeceFile不允许使用load方式加载数据。需要使用insert 方式插入。
-
创建数据
create table if not exists tow( id int, name string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as sequencefile ;
-
加载数据正确方式
insert into table tow select * from one;
-
说明:存储的文件不能直接用cat命令去查看文件。
3、rcfile行列混合存储方式:rcfile可以进行行列混合压缩,将附近的列和行的数据尽量保存到相同的块里面,该存储格式会提高查询效率,但是写数据较慢。该方式和gzcodeC压缩属性结合不是很好,(orf与这个效果一样只是,他的效率比rcfile高很多)
-
可以配合使用的压缩算法
set mapred.output.compression=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
-
注意: rcfile不允许使用load方式加载数据。需要使用insert 方式插入。
-
创建数据
create table if not exists three( id int, name string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as rcfile ;
-
加载数据正确方式
insert into table three select * from one;
4、parquet存储自定义:
-
创建数据
##hello,hive ##hello,world ##hello,hadoop
-
自定义创建表
create table if not exists four( str string ) stored as inputformat 'org.apache.hadoop.hive.contrib.fileformat.base64.Base64TextInputFormat' outputformat 'org.apache.hadoop.hive.contrib.fileformat.base64.Base64TextOutputFormat' ;
-
加载数据
load data local inpath 'localpath' into table four;
-
注意:通常是使用 defaultCodec + rcfile搭配效率最好。