Java代码中使用不同的SparkContext创建RDD的方式

  • 方式 1:
    java中 可以new JavaSparkContext(conf)这样创建 sparkContext对象
  • 方式 2:
    也可以用 SparkSession.builder().config(conf).getOrCreate().sparkContext()来创建对象

方式1:创建rdd方式 parallelize(集合,int) makeRDD(集合,int) 来创建

方式2:但第二种格式 使用 parallelize(集合,int,参数三)需要三个参数才可以创建rdd

发布了19 篇原创文章 · 获赞 5 · 访问量 488

猜你喜欢

转载自blog.csdn.net/qq_42890382/article/details/104297022