[Spark]Spark入门资料阅读

Spark在集群上的运行模式

http://spark.apache.org/docs/latest/cluster-overview.html Component章节
1 Each application gets its own executor processes,所以各application间是独立的。
2 spark可以使用多种 cluster manager,包括 Spark’s own standalone cluster manager, Mesos or YARN。
3 driver program 需要监听和接收its executors,所以driver对于各executers必须是网络可达的。
4 因为driver schedules tasks on the cluster, 所以driver节点和worker节点最好在一个局域网中。

spark各组件定义:https://blog.csdn.net/minge_se/article/details/79137085

猜你喜欢

转载自www.cnblogs.com/coding-gaga/p/11623337.html