Spark的RDD 文件读取与保存

RDD 文件读取与保存

Spark 的数据读取及数据保存可以从两个维度来作区分:文件格式以及文件系统。其中:
(1)文件格式分为:text 文件、csv 文件、sequence 文件以及Object 文件;
(2)文件系统分为:本地文件系统、HDFS、HBASE 以及数据库。
(这里只介绍常见的text 文件、sequence 文件以及Object 文件)

文件介绍

text文件: text文件是文本文件。

sequence 文件: SequenceFile 文件是Hadoop 用来存储二进制形式的key-value 对而设计的一种平面文件(Flat File)。
object文件: object文件是将对象序列化后保存的文件,采用Java 的序列化机制(注:序列化要指定类型)。

案例实操

文件保存

package com.atguigu.bigdata.spark.core.rdd.io

import org.apache.spark.{
    
    SparkConf, SparkContext}

object Spark01_RDD_IO_Save {
    
    

  def main(args: Array[String]): Unit = {
    
    
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Spark01_RDD_IO_Save ")
    val sc = new SparkContext(sparkConf)

    val rdd = sc.makeRDD(
      List(
        ("a", 1),
        ("b", 2),
        ("c", 3),
        ("d", 4)
      )
    )

//保存文件
    rdd.saveAsTextFile("output")
    rdd.saveAsObjectFile("output1")
    rdd.saveAsSequenceFile("output2")


    sc.stop()
  }

}

文件读取

package com.atguigu.bigdata.spark.core.rdd.io

import org.apache.spark.{
    
    SparkConf, SparkContext}

object Spark02_RDD_IO_Load {
    
    

  def main(args: Array[String]): Unit = {
    
    
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Spark02_RDD_IO_Load ")
    val sc = new SparkContext(sparkConf)

 //读取文件的数据
    val rdd = sc.textFile("output")
    println(rdd.collect().mkString(","))

    val rdd1 = sc.objectFile[(String,Int)]("output1")
    println(rdd1.collect().mkString(","))

    val rdd2 = sc.sequenceFile[String,Int]("output2")
    println(rdd2.collect().mkString(","))


    sc.stop()
  }

}

猜你喜欢

转载自blog.csdn.net/weixin_44480968/article/details/119832172

相关文章