Spark——aggregateByKey 案例

参数:

(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U)

1、作用
在 kv 对的 RDD 中,,按 key 将 value 进行分组合并,合并时,将每个 value 和初始值作为 seq 函数的参数,进行计算,返回的结果作为一个新的 kv 对,然后再将结果按照key 进行合并,最后将每个分组的 value 传递给 combine 函数进行计算(先将前两个 value进行计算,将返回结果和下一个 value 传给 combine 函数,以此类推),将 key 与计算结果作为一个新的 kv 对输出。

2、参数描述

(1)zeroValue:给每一个分区中的每一个 key 一个初始值;
(2)seqOp:函数用于在每一个分区中用初始值逐步迭代value;
(3)combOp:函数用于合并每个分区中的结果。

3、需求
创建一个 pairRDD,取出每个分区相同 key 对应值的最大值,然后相加。

4、需求分析
在这里插入图片描述
(1)创建一个 pairRDD:
在这里插入图片描述

(2)取出每个分区相同 key 对应值的最大值,然后相加:
在这里插入图片描述

(3)打印结果
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_43520450/article/details/108538102