Hive的分桶表和分区表 其他 2021-01-29 20:03 0 阅读 定义: 分区表:根据某一个字段的值,将表数据分到不同的文件夹 分桶表:根据某一个字段的hashcode,将表数据分到多个文件中。 区别 分区针对的是数据的存储路径,分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式。 分桶是将数据集分解成更容易管理的若干部分的另一个技术。 为什么要分桶? 1,更快,桶为表加上额外结构,链接相同列划分了桶的表,可以使用map-side join更加高效。 2,取样sampling更高效。没有分区的话需要扫描整个数据集。 猜你喜欢