hive常见错误

本人因为最近业务经常会使用hive,先整理一下常见的出错问题。

       1.我最近遇见过一个棘手的问题是,对方给我一个月的数据源用天分割数据,也就是有30个文件夹。但我load到我hive中指定的表的时候发现有三天的数据拉不进去。随后我想把这三天的数据直接复制到我hive表的文件夹下不就可以了么。但随后hive查询并没有显示这三天的数据,但是业务着急先忽略这三天的数据。我去仔细看了一眼数据存储的文件,发现有多个子目录(几百个)。会导致hive拉取不进去。 后我将load 在指定为子目录层级后加载进去了。随后我对该表又进行操作,发现有如下的报错 return code 2 unexpected end of input stream。

后查看日志发现数据源有几个gz格式损坏。怀疑是复制到hive目录层级下,hive又加载进去一遍 。hive加载数据的时候有同名的数据,会导致加载的时候重命名,也或许是产生的中间文件没有删除(暂时没找到确切原因)。后通过日志找到该gz文件(数据)。有两种解决方法 一种就是重新加载数据源( 数据量太大 文件几千个 ),第二种就是将该gz文件下载下来 重新打包上传。

2.也是刚接触大数据 发现领导给的以前的一个逻辑 多表查询 有!=这个符号  ,后来发现hive有的版本不接受!=应该用<>,第二中就是尽量不要再hive中使用<>,因为会将一个表的所有数据加载到内存中判断,会导致mapreduce 卡死。可以用 left join代替 

select * from a,b where a.taz!=b.taz;

可以替代为 select a.* from a left join b on a.taz=b.taz where b.id is null;

其实就是关联了之后b表的值不为null 就是等于 等于null 就是 !=

猜你喜欢

转载自blog.csdn.net/weixin_41197652/article/details/82222720