Spark核心编程-RDD操作原理分析

一、union算子内部实现原理剖析

说明:将两个RDD合并,返回两个RDD的并集,返回元素不去重。

二、groupByKey算子内部实现原理剖析

说明:将RDD[K, V]中每个K对应的V值合并到一个集合Iterable[V]中。

三、reduceByKey算子内部实现原理剖析

说明:将RDD[K, V]中每个K对应的V值根据映射函数来运算。

四、distinct算子内部实现原理剖析

说明:去除RDD重复的元素,返回所有元素不重复的RDD。

五、cogroup算子内部实现原理剖析

说明:相当于SQL中的全外关联,返回左右RDD中的记录,关联不上的为空。

六、intersection算子内部实现原理剖析

说明:返回两个RDD的交集,返回元素去重。

七、join算子内部实现原理剖析

说明:内连接,基于cogroup实现,将两个RDD之间相同的key进行连接,不同的抛弃掉。

八、sortByKey算子内部实现原理剖析

九、cartesian算子内部实现原理剖析

十、coalesce算子内部实现原理剖析

说明:对RDD进行重新分区。两个参数:第一个参数为重分区的数目;第二个参数为是否进行shuffle,默认情况下为false。

十一、repartition算子内部实现原理剖析

说明:是coalesce函数第二个参数为true的实现。

猜你喜欢

转载自blog.csdn.net/Anbang713/article/details/81589315