解决Spark standalone部署模式cores为0的问题

在docker中运行spark程序,发现docker日志打印如下内容:

[Timer-0] o.a.spark.scheduler.TaskSchedulerImpl    : 
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

意思是说初始化任务没有获取到任何资源,去spark UI页面查看一下:
可以看到已经没有活着的slave了
可以看到,集群已经没有活着的worker了,spark application的状态是WATING。

启动spark集群master的sbin目录下的start-slaves.sh
重启slave之后恢复正常
可以看到,当slaves都启动之后,就恢复正常了,UI页面有几台worker的信息,Spark应用的状态恢复为RUNNING。

猜你喜欢

转载自blog.csdn.net/lzufeng/article/details/82878409