Spark应用程序的执行过程

版权声明:All right reserved https://blog.csdn.net/a308601801/article/details/86620086

1)构建 Spark Application 的运行环境(启动 SparkContext),SparkContext 向资源管理器(可以是 Standalone、Mesos 或YARN)注册并申请运行 Executor 资源;

2)资源管理器分配 Executor 资源并启动 StandaloneExecutorBackend,Executor 运行情况将随着心跳发送到资源管理器上;

3)SparkContext 构建成 DAG 图,将 DAG 图分解成 Stage,并把 Taskset 发送给 Task Scheduler。Executor 向 SparkContext 申请 Task,Task Scheduler 将 Task 发放给 Executor 运行同时 SparkContext 将应用程序代码发放给 Executor;

4)Task 在 Executor上运行,运行完毕释放所有资源。

猜你喜欢

转载自blog.csdn.net/a308601801/article/details/86620086
今日推荐