一、union算子内部实现原理剖析
说明:将两个RDD合并,返回两个RDD的并集,返回元素不去重。
二、groupByKey算子内部实现原理剖析
说明:将RDD[K, V]中每个K对应的V值合并到一个集合Iterable[V]中。
三、reduceByKey算子内部实现原理剖析
说明:将RDD[K, V]中每个K对应的V值根据映射函数来运算。
四、distinct算子内部实现原理剖析
说明:去除RDD重复的元素,返回所有元素不重复的RDD。
五、cogroup算子内部实现原理剖析
说明:相当于SQL中的全外关联,返回左右RDD中的记录,关联不上的为空。
六、intersection算子内部实现原理剖析
说明:返回两个RDD的交集,返回元素去重。
七、join算子内部实现原理剖析
说明:内连接,基于cogroup实现,将两个RDD之间相同的key进行连接,不同的抛弃掉。
八、sortByKey算子内部实现原理剖析
九、cartesian算子内部实现原理剖析
十、coalesce算子内部实现原理剖析
说明:对RDD进行重新分区。两个参数:第一个参数为重分区的数目;第二个参数为是否进行shuffle,默认情况下为false。
十一、repartition算子内部实现原理剖析
说明:是coalesce函数第二个参数为true的实现。