Windows下Scala+Spark+IDEA+Hadoop环境搭建

下载安装包,添加环境变量不再赘述。

注意spark和scala要对应版本。例如Spark使用官网下载的spark-2.4.4-bin-hadoop2.7,打开%SPARK_HOME%\jars文件夹,里面找到该版本的spark对应的scala为2.11.12,如果版本对应不上,在使用spark-submit时会报java.lang.BootstrapMethodError:java.lang.NoClassDefFoundError

IDEA里新建scala项目后,要在Project Structure中选择scala的sdk版本

Tip:使用2.13版本的scala时,spark-shell会报一个循环引用的错。

scala项目打包方式:还是在Project Structure里打成jar包,然后命令行spark-submit+jar包的绝对路径就能运行了。

发布了14 篇原创文章 · 获赞 3 · 访问量 1134

猜你喜欢

转载自blog.csdn.net/qq_33808530/article/details/103161702