Spark-03 scala

前言

spark可以用三种不同的语言编写:scala,python和java,相比于其他两种语言,scala的性能较好。

ps:scala也是基于jvm的一种语言,有些地方效率比java更高。

1.函数式编程

Spark依赖于函数式编程,使用函数作为基本编程输入,函数没有状态或副作用,只包含输入和输出。

下面进入spark-shell,启动sparkshell不用先启动spark, 如果加了/spark-shell

启动命令:./spark-shell (local模式启动) ./spark-shell  --master(启动spark)

 现在写一个大小写字母转换的函数

再写spark读取一个文件,用.map方法遍历每一行,把toUpper传递进去

除此以外还能传递匿名函数。

猜你喜欢

转载自www.cnblogs.com/daysn/p/11367093.html