Spark架构原理-SparkContext的初始化原理

我们通过spark-submit提交自己编写的代码,即提交一个Application。首先就是有一个Driver进程,在该进程构造SparkConf和SparkContext,而在构造SparkContext的时候会去构造DAGScheduler和TaskScheduler,以及Spark UI。在这里我们对SparkContext初始化原理进行剖析,就是剖析如何构造这三个组件的。

猜你喜欢

转载自blog.csdn.net/Anbang713/article/details/81606192