hive on spark 趟坑指南

1、执行SQL 查询时候,报Failed to submit Spark work 错误。

Failed to execute spark task, with exception 'java.lang.Exception(Failed to submit Spark work, please retry later)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to submit Spark work, please retry later

这个问题,需要看具体的错误在哪里,再做解决,不要随便归结于 spark 与 hive 版本不兼容。 建议大家修改hive 日志级别查看错误, 大家将 -e 后面的sql 换成自己这边的,查看输出中的错误信息,定位修改

hive --hiveconf hive.root.logger=DEBUG,console  -e "use userdb;select count(*) from app_yyb;"

转载于:https://my.oschina.net/2devil/blog/3056772

猜你喜欢

转载自blog.csdn.net/weixin_33724046/article/details/91732008