UDF sqarkSQL 이해와 응용 프로그램에서 사용자 정의 함수

UDF sqarkSQL 이해와 응용 프로그램에서 사용자 정의 함수

일부 기능은 우리가 함수를 정의 할 수 있도록 달성 될 수 없다 sqarksql 통치약 없다
예컨대 sqarksql에 CONCAT_WS ( ",", "A ", "B") => 다음은 중간의 필드와 두 개의 필드로 결합, 분리 된
입력 라인 UDF는 행이라고 반환
여러 행이 udtf라는 입력 라인 반환
멀티 라인 리턴 라인이 udaf라고 입력합니다

예를 들어 수요 :
당신은 ID가 그에게 당신이하는 지방을 반환 해주지 입력
은 SQL 달성 할 수없는 내가 나 자신 좋은 패키지 캔 함수를 호출 할 수있을 때, 우리는 우리가 조정 이후 자신의 패키지의 기능을 할 수있다
코드를 달성하기 위해 :
스파크 환경을 조성

val spark: SparkSession = SparkSession.builder().master("local[*]")
  .appName(this.getClass.getSimpleName)
  .getOrCreate()
  import spark.implicits._

목록 모음 만들기 :

val tp: Dataset[(String, String)] = spark.createDataset(List(("aaa","bbb"),("aaa","ccc"),("aaa","ddd")))
val df: DataFrame = tp.toDF("f1","f2").show()
表格实现:
+---+---+
| f1| f2|
+---+---+
|aaa|bbb|
|aaa|ccc|
|aaa|ddd|
+---+---+

방법 1 : DSL 스타일은 df.selectExpr 생성 ( "표현을")

df.selectExpr("concat_ws('---',f1,f2) as f3").show()
代码实现:
+---------+
|       f3|
+---------+
|aaa---bbb|
|aaa---ccc|
|aaa---ddd|
+---------+

두 번째 방법 : 당신이 df.select 사용하려면 (CONCAT_WS는 ()) 당신은 SQL 함수에서 불꽃을 가져와야합니다

import org.apache.spark.sql.functions._
df.select(concat_ws("|||",$"f1",'f2)as "f3")
代码实现:
+---------+
|       f3|
+---------+
|aaa|||bbb|
|aaa|||ccc|
|aaa|||ddd|
+---------+

세 가지 방법 : 등록보기 쓰기 SQL 문에

 
    df.createTempView("data")
    spark.sql(
      """
        |
        |select
        |concat_ws("_",f1,f2)as da
        |from
        |data
        |
      """.stripMargin).show()
代码实现:
  +---------+
|       da|
+---------+
|aaa///bbb|
|aaa///ccc|
|aaa///ddd|
+---------+    

네 가지 방법 : 사용자 정의 기능을 사용하는 방법 DUF

  首先先注册一个udf传入三个参数1.函数名字,2.需要传入的可变参数们

    spark.udf.register("Myconcat_ws",(s:String,a:String,b:String)=>{
      a+s+b+a+b+s
    })
    df.selectExpr("Myconcat_ws('/-/-/-/',f1,f2) as f3").show()
    代码实现:
  +--------------------------+
|f3                        |
+--------------------------+
|aaa/-/-/-/bbbaaabbb/-/-/-/|
|aaa/-/-/-/cccaaaccc/-/-/-/|
|aaa/-/-/-/dddaaaddd/-/-/-/|
+--------------------------+
    

    spark.stop()
  }
}