下载安装包,添加环境变量不再赘述。
注意spark和scala要对应版本。例如Spark使用官网下载的spark-2.4.4-bin-hadoop2.7,打开%SPARK_HOME%\jars文件夹,里面找到该版本的spark对应的scala为2.11.12,如果版本对应不上,在使用spark-submit时会报java.lang.BootstrapMethodError:java.lang.NoClassDefFoundError
IDEA里新建scala项目后,要在Project Structure中选择scala的sdk版本
Tip:使用2.13版本的scala时,spark-shell会报一个循环引用的错。
scala项目打包方式:还是在Project Structure里打成jar包,然后命令行spark-submit+jar包的绝对路径就能运行了。