Hive优化,大纲地址:
https://blog.csdn.net/u010003835/article/details/105334641
测试数据
场景八_数据裁剪问题
1) 记录数裁剪
i.通过分区,分桶 表的优势 去构建
ii.通过筛选条件,去除无效的记录,使得无效数据在 map 阶段 剔除
2) 列裁剪
i.剔除无效, 非计算范围内的列数据
ii.使用列式存储
Hive优化,大纲地址:
https://blog.csdn.net/u010003835/article/details/105334641
i.通过分区,分桶 表的优势 去构建
ii.通过筛选条件,去除无效的记录,使得无效数据在 map 阶段 剔除
i.剔除无效, 非计算范围内的列数据
ii.使用列式存储