spark stage 的理解

先看看依赖关系的解释:


如下图,左边的一系列操作,map,filter,union,join操作都是窄依赖,而这一系列的窄依赖,都是转换的过程,并不会触发action,因此,spark会将这些转换放在同一个阶段Stage2中。而宽依赖会触发action,因此作为另一个阶段Stage3




猜你喜欢

转载自blog.csdn.net/a469517790/article/details/80027790