SparkSQL的执行模式

1、DSL模式 【通过调用方法】

dataFame.select("name").show
dataFame.filter($"age" > 25).show

2、SQL模式 【通过执行SQL】

    1、先创建一张表:

              一个SparkContext可以多次创建  sparkSession
 
//Session内可访问, 一个SparkSession结束后,表自动删除。
dataFrame.createOrReplaceTempView("people")    使用表名不需要任何前缀。

//应用级别内可访问,一个SparkContext结束后,表自动删除。
          dataFrame.createGlobalTempView("people")     使用表名需要加上 " global_temp." 前缀,  比如  global_temp.people

     2、执行SQL

spark.sql("select * from people") 即可

猜你喜欢

转载自blog.csdn.net/liangzelei/article/details/80619981