作为一个初学者,网上虽然有多文章讲解但还是有很多坑,记录下摸索过程。
按照本文流程可以搭建一个完善的windows下基于scala的spark开发环境。
1.JDK安装,1.8版本以上,环境变量配置好。
2.hadoop、spark下载后配置好环境变量,具体下载安装详见我的另一篇博文《WIN10 搭建本地spark python 环境》。
3.下载scala-2.11,sbt 并安装好,配置好环境变量。
4.InteliJ(scala的IDE)下载并安装好。
注:以上步骤的安装如果不清楚可以百度,很容易找到方法。
5.下载scala的插件(InteliJ中无法下载,所以需要自己下载安装包后在InteliJ中安装),安装前前打开安装好的InteliJ,
查看所需下载的插件版本。这里版本一定要对应,否则会无法安装。
5.1 插件下载地址:https://plugins.jetbrains.com/plugin/1347-scala
下图红框处为版本号:v2018.1.9
扫描二维码关注公众号,回复:
4690915 查看本文章
File - Setting - Plugins
5.2下载后选择本地安装
重启后可以在File-New-Projects下看到scala了。
6.新建scala项目,选择sbt创建即可。同时添加spark文件下的jars到Libraries(一定要添加到Libraries负责报错)里,
如何添加在百度中搜索<InteliJ 添加jar包>。
7.新建文件是scala.class文件,同时选择object类型,且在object类中写上main函数,否则会出现没有run功能的情况。