scala（Row、Array、Tuple、RDD、DF之间类型转换）

前言

spark中因为Rdd和Dataframe的一些封装函数处理，经常会遇到类型的相关转换，今天就记录些常见的几种类型转换。

Array => Row

val arr = Array("aa/2/cc/10","xx/3/nn/30","xx/3/nn/20")
// val row = Row.fromSeq(arr)
val row = RowFactory.create(arr)

Row => Array

val a:Array[Any] = row.toSeq.toArray

有时候会对数组类型T做限定、比如String之类的。这时就需要中间处理下

val a:Array[String] = row.toSeq.map(m => m.toString).toArray

Tuple => Array

val tuple = ((20201022,5060180989186180L,"[12, 15)"),288556)
tuple.productIterator.toArray

对象T转数组也可以用上述方法。

Array => RDD

val rdd = sparkSession.sparkContext.parallelize(Array(tuple))

RDD => DataFrame

// 定义类
case class Person(name:String, age:Int)

可以通过RDD[Row]

	val rdd = sparkSession.sparkContext.parallelize(Array(("tom",1),("luna",2))).map(row =>Row(row._1, row._2))
	// 创建Schema
    val schema=StructType(Array(
      StructField("name",StringType,true),
      StructField("age",IntegerType,true)
    ))
   	val df = sparkSession.createDataFrame(rdd,schema)

也可以通过sparkSession.implicits._隐式转换直接到df。

	import sparkSession.implicits._
	val df = sparkSession.sparkContext.parallelize(Array(("tom",1),("luna",2)))
      .map(row =>Person(row._1, row._2)).toDF()

DataFrame => RDD

	val rdd1 = df.rdd