Spark sql :load和save操做--spark学习笔记之一

一、load和save基础操作

对于spark SQL的DataFrame来说，无论是从什么数据源创建出来的DataFrame，都有一些共同的load和save操作。

load操作主要用于加载数据，创建出DataFrame；

save操作主要用于将DataFrame中的数据保存到文件中。

scala实现：

package **.tag.test


import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}

object GenericLoadSave {

    def main(args: Array[String]) {

      val conf = new SparkConf()
        .setAppName("GenericLoadSave")

      val sc = new SparkContext(conf)
      val sqlContext = new SQLContext(sc)

      val usersDF = sqlContext.read.load("hdfs://ns1/***/users.parquet")
      usersDF.write.save("hdfs://ns1/home/***/nameAndFavoriteColors_scala")
     usersDF.select("name","favorite_color").write.save("hdfs://ns1/***/nameAndFavoriteColors_scala")
   }
}

二、手动指定数据源类型

Spark SQL 内置了一些数据源类型，比如json,parquet,jdbc等等，可以在不同类型的数据源之间进行转换。

val df = sqlContext.read.format("json").load("people.json")

df.select("name","age").write.format("parquet").save("nameAndAges.parquet")

三、SaveMode

spark SQL对于save操作，提供了不同的save mode。主要用来处理当目标位置已经有数据时，应该如何处理。

saveMode.ErrorifExists(默认）：如果目标位置已经存在数据，那么抛出一个异常。

saveMode Append ：如果目标位置已经存在数据，那么将数据追加进去。

saveMode Overwrite ：如果目标位置已经存在数据，覆盖。

saveMode.ignore ：如果目标位置已经存在数据，不做任务操作，忽略。

北风网spark学习笔记之一