Hadoop-Hive 内部表/外部表 分区表/分桶表区别

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qichangjian/article/details/88042018

1)hive中内部表和外部表的区别

内部表:又叫管理表,表的创建,和删除都由hive自己决定。
外部表:表结构上同内部表,但是存储的数据时自己定义的,外部表在删除的时候只删除元数据,原始数据时不能删除的。

内部表和外部表的区别主要体现在两个方面

  • 删除:删除内部表,删除元数据和数据;删除外部表,删除元数据,保留数据。
  • 使用:如果数据的所有处理都在 Hive 中进行,那么倾向于 选择内部表,但是如果 Hive 和其他工具要针对相同的数据集进行处理,外部表更合适。使用外部表访问存储在hdfs上的数据,然后通过hive转化数据并存储到内部表中。

2)hive中分桶表和分区表的区别

分区表: 原来的一个大表存储的时候分成不同的数据目录进行存储。
  如果说是单分区表,那么在表的目录下就只有一级子目录,如果说是多分区表,那么在表的目录下有多少分区就有多少级子目录。不管是单分区表,还是多分区表,在表的目录下,和非最终分区目录下是不能之间存储数据文件的。

例:
	单分区表:
		Hdfs://Hadoop01/user/hive/warehouse/myhive.db/student/p0
	多分区表:
		Hdfs://Hadoop01/user/hive/warehouse/myhive.db/student/p0
		Hdfs://Hadoop01/user/hive/warehouse/myhive.db/student/p1
		Hdfs://Hadoop01/user/hive/warehouse/myhive.db/student/p2
		Hdfs://Hadoop01/user/hive/warehouse/myhive.db/student/p1/p11

分桶表: 原理和hashpartitioner 一样,将hive中的一张表的数据进行归纳分类的时候,归纳分类规则就是hashpartitioner。(需要指定分桶字段,指定分成多少桶)

bucket:在hdfs中表现为同一个表目录或者分区目录下根据某个字段的值进行Hash散列之后的多个文件,分桶的表现形式就是一个单独的文件.

例:
Hdfs://Hadoop01/user/hive/warehouse/myhive.db/student/age>15
Hdfs://Hadoop01/user/hive/warehouse/myhive.db/student/age>20
Hdfs://Hadoop01/user/hive/warehouse/myhive.db/student/age>30

分区表和分桶的区别除了存储的格式不同外,最主要的是作用:

  • 分区表:细化数据管理,缩小mapreduce程序 需要扫描的数据量
  • 分桶表:提高join查询的效率,在一份数据会被经常用来做连接查询的时候建立分桶,分桶字段就是连接字段;提高采样的效率

猜你喜欢

转载自blog.csdn.net/qichangjian/article/details/88042018
今日推荐