spark问题记录

1.问题:spark配置history server后,执行./bin/spark-shell --master yarn-client。在该shell里面执行action后退出shell,此时history server的webUI上不出现这个shell application。

解决driver在SparkContext使用stop()方法后才将完整的信息提交到指定的目录,如果不使用stop()方法,即使在指定目录中产生该应用程序的目录,history server也将不会加载该应用程序的运行信息。

猜你喜欢

转载自zhangxiong0301.iteye.com/blog/2192951