Spark内核源码深度剖析（2） -基于 YARN 的两种提交模式

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/86062852

1 Spark 的3种提交模式

1. standlone模式，基于 Spark 自己的 Master-Worker集群；
2. 基于YARN的 yarn-cluster模式
3. 基于YARN的yarn-client模式

2 yarn-client模式

• 用于测试，因为 Driver 运行在本地客户端，负责调度 application,会与yarn集群产生超大量的网络通信，导致网卡流量激增；
• 好处就是本地可以看到所有的 log,方便调试；

3 yarn-cluster模式

• 用于生产环境，因为 Driver 运行在 NodeManager，没有网卡流量激增；
• 调试不方便，本地用 spark-submit 提交后，看不到 log, 只能通过 yarn-application-logs application id 这种命令来看，很麻烦；