版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/86062852
1 Spark 的3种提交模式
standlone模式
,基于 Spark 自己的 Master-Worker集群;- 基于YARN的
yarn-cluster模式
- 基于YARN的
yarn-client模式
2 yarn-client模式
- 用于测试,因为 Driver 运行在本地客户端,负责调度 application,会与yarn集群产生超大量的网络通信,导致网卡流量激增;
- 好处就是本地可以看到所有的 log,方便调试;
3 yarn-cluster模式
- 用于生产环境,因为 Driver 运行在 NodeManager,没有网卡流量激增;
- 调试不方便,本地用 spark-submit 提交后,看不到 log, 只能通过 yarn-application-logs application id 这种命令来看,很麻烦;