创建KeyValues对RDDS

map()函数 返回key/value
例如,包含数行数据的RDD,把每行数据的第一个单词作为keys
sc.textFile("/user/tast.txt").map(line=>(line.split(" ")(0),line))

KeyValues对的RDDS的transformations
example:{(1,2),(3,4),(3,6)}
reduceByKey :
作用:把相同key的value结合 . 
eg:rdd.reduceByKey((x,y)=>x+y)
result:{(1,2),(3,10)}

groupByKey:
作用:把相同的key的values分组
eg:rdd.groupByKey()
result:{(1,[2]),(3,[4,6])}

mapValues:
作用:函数作用于pairRDD的每个元素,key不变
eg:rdd.mapValues(x=>x+1)
result: {(1,3),(3,5),(3,7)}

flatMapValues:
作用:符号化的时候使用
eg:rdd.flatMapValues(x to 5)
result: {(1,2),(1,3),(1,4),(1,5),(3,4),(3,5)}

keys:
作用:用户返回keys
eg:rdd.keys
result:{1,3,3}

values:
作用:返回values
eg:rdd.values 
result: {2,4,6}

sortByKey
作用:按照key排序的rdd
eg:rdd.sortByKey()
result: {(1,2),(3,4),(3,6)}

combineBykey():
遍历partition中的元素,元素的key,要么之前见过 要么不是
如果是新元素 使用我们提供的createCombiner()函数
如果是这个partition已经存在的key就会使用mergeValue()函数
合计每个partition的结果的时候,使用mergeCombiners()

猜你喜欢

转载自blog.csdn.net/weixin_42201566/article/details/86134280