spark架构 driver worker

 spark架构

spark任务的两种运行模式 

spark submit --deploy cluster/client

当为client模式时,本地提交时,driver程序在堡垒机上运行,所以堡垒机上能看到自己打印的一些日志;线上时,driver程序在客户端节点上执行。客户端节点的资源,决定了提交到集群的任务的并发数,一版为队列中状态的是在客户端节点上,执行中状态才是在集群上的;当选择cluster模式时,driver程序在集群上运行, 查看日志只能通过集群代理查看。

Spark任务两种运行模式 

 

猜你喜欢

转载自blog.csdn.net/zhuiqiuuuu/article/details/84330127