Windows下搭建scala+spark环境

作为一个初学者,网上虽然有多文章讲解但还是有很多坑,记录下摸索过程。

按照本文流程可以搭建一个完善的windows下基于scala的spark开发环境。

1.JDK安装,1.8版本以上,环境变量配置好。

2.hadoop、spark下载后配置好环境变量,具体下载安装详见我的另一篇博文WIN10 搭建本地spark python 环境》。

3.下载scala-2.11,sbt 并安装好,配置好环境变量。 

4.InteliJ(scala的IDE)下载并安装好。

注:以上步骤的安装如果不清楚可以百度,很容易找到方法。

5.下载scala的插件(InteliJ中无法下载,所以需要自己下载安装包后在InteliJ中安装),安装前前打开安装好的InteliJ,

查看所需下载的插件版本。这里版本一定要对应,否则会无法安装。

5.1 插件下载地址:https://plugins.jetbrains.com/plugin/1347-scala

下图红框处为版本号:v2018.1.9

扫描二维码关注公众号,回复: 4690915 查看本文章

File - Setting - Plugins



5.2下载后选择本地安装



重启后可以在File-New-Projects下看到scala了。


6.新建scala项目,选择sbt创建即可。同时添加spark文件下的jars到Libraries(一定要添加到Libraries负责报错)里,

   如何添加在百度中搜索<InteliJ 添加jar包>。

7.新建文件是scala.class文件,同时选择object类型,且在object类中写上main函数,否则会出现没有run功能的情况。

猜你喜欢

转载自blog.csdn.net/weixin_42247685/article/details/80390858
今日推荐