Spark中foldByKey算子详解介绍

在这里插入图片描述


一、Spark中foldByKey算子详解介绍

上一节我们讲述了 aggregateByKey 算子来实现分区间和分区内不同逻辑的聚合,但是我们还有一种情景就是分区内和分区间聚合规则一致,有朋友会说那不就是 reduceByKey ,确实是这样的,reduceByKey分区内和分区间执行规则是一致的,但是它没有初始值这个参数,而本文讲解的 foldByKey 就可以实现这一点指定初始值,而分区内和分区间聚合规则一致。

1、函数介绍

foldByKey 是 Spark 中的一个转换算子(Transformation Operator),用于对键值对类型的 RDD 中的值进行聚合操作,类似于 reduceByK

猜你喜欢

转载自blog.csdn.net/m0_47256162/article/details/132321977