问题:在执行MapReduce任务过程中,遇到return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. 怎么办?
在任务执行日志中找到Yarn地址,从Web UI中查看任务执行日志 http://hello.com:8088/proxy/application_1610962683143_42106/。
如果结果显示:Application application_1610962683143_42106 could not be found, please try the history server说明任务需要从历史服务中查看
History Server的地址是什么呢,从mapred-site.xml获取History地址
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hello.com:19888</value>
</property>
打开http://hello.com:19888的History Server界面,可以通过Job Name或者Job ID搜到任务
打开Job诊断界面,从Diagnostics查看明细
从诊断明细中可以看出,这次Hive对应的MapReduce任务失败的原因是使用 str_to_map()函数遇到null,报错空指针,导致任务失败