运行yarn宕机(pyspark任务,通过O…

  添加fair调度器以后,pyspark任务能成功提交到与big2不同的big1机子上,但是big1机子宕机了……
  回头查日志,是这样的:
ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL 15: SIGTERM

  2台运行节点node在vmware里面都增加到4GB的内存以后,pyspark运行所在的机子终于不宕机了。
  (后面成功配好后,实际运行pyspark时,用$ top 命令查看资源占用的时候,计算节点整个4GB,会占掉2.5GB,怪不得会宕机,看来2GB内存确实不够)

猜你喜欢

转载自blog.csdn.net/u010770993/article/details/70312482