map()函数 返回key/value
例如,包含数行数据的RDD,把每行数据的第一个单词作为keys
sc.textFile("/user/tast.txt").map(line=>(line.split(" ")(0),line))
KeyValues对的RDDS的transformations
example:{(1,2),(3,4),(3,6)}
reduceByKey :
作用:把相同key的value结合 .
eg:rdd.reduceByKey((x,y)=>x+y)
result:{(1,2),(3,10)}
groupByKey:
作用:把相同的key的values分组
eg:rdd.groupByKey()
result:{(1,[2]),(3,[4,6])}
mapValues:
作用:函数作用于pairRDD的每个元素,key不变
eg:rdd.mapValues(x=>x+1)
result: {(1,3),(3,5),(3,7)}
flatMapValues:
作用:符号化的时候使用
eg:rdd.flatMapValues(x to 5)
result: {(1,2),(1,3),(1,4),(1,5),(3,4),(3,5)}
keys:
作用:用户返回keys
eg:rdd.keys
result:{1,3,3}
values:
作用:返回values
eg:rdd.values
result: {2,4,6}
sortByKey
作用:按照key排序的rdd
eg:rdd.sortByKey()
result: {(1,2),(3,4),(3,6)}
combineBykey():
遍历partition中的元素,元素的key,要么之前见过 要么不是
如果是新元素 使用我们提供的createCombiner()函数
如果是这个partition已经存在的key就会使用mergeValue()函数
合计每个partition的结果的时候,使用mergeCombiners()