一、Spark中foldByKey算子详解介绍
上一节我们讲述了 aggregateByKey
算子来实现分区间和分区内不同逻辑的聚合,但是我们还有一种情景就是分区内和分区间聚合规则一致,有朋友会说那不就是 reduceByKey
,确实是这样的,reduceByKey分区内和分区间执行规则是一致的,但是它没有初始值这个参数,而本文讲解的 foldByKey
就可以实现这一点指定初始值,而分区内和分区间聚合规则一致。
1、函数介绍
foldByKey
是 Spark 中的一个转换算子(Transformation Operator),用于对键值对类型的 RDD 中的值进行聚合操作,类似于 reduceByK