【总结】遇到return code 2 from …….mr.MapRedTask. 怎么办

问题:在执行MapReduce任务过程中,遇到return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. 怎么办?

在任务执行日志中找到Yarn地址,从Web UI中查看任务执行日志 http://hello.com:8088/proxy/application_1610962683143_42106/
如果结果显示:Application application_1610962683143_42106 could not be found, please try the history server说明任务需要从历史服务中查看

History Server的地址是什么呢,从mapred-site.xml获取History地址

  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hello.com:19888</value>
  </property>

打开http://hello.com:19888的History Server界面,可以通过Job Name或者Job ID搜到任务
【总结】遇到return code 2 from …….mr.MapRedTask. 怎么办

打开Job诊断界面,从Diagnostics查看明细
【总结】遇到return code 2 from …….mr.MapRedTask. 怎么办

从诊断明细中可以看出,这次Hive对应的MapReduce任务失败的原因是使用 str_to_map()函数遇到null,报错空指针,导致任务失败
【总结】遇到return code 2 from …….mr.MapRedTask. 怎么办

猜你喜欢

转载自blog.51cto.com/10120275/2601750