无痛搭建Spark2.1+Scala2.11.8+jdk1.8+IntelliJ的环境

前言

最近又需要在OS X的系统下重新安装spark, intelliJ Idea, scala的环境,讲道理不难,阅读者可以按照教程享受个无痛搭建环境的体验。

IntelliJ

JDK下载安装

  1. JDK下载网站
    https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
    我选的是 JDK1.8的dmg. Scala好像最高支持1.8,安装其他更高版本的无法运行。

Mac上用dmg安装连环境都不用配置,真爽。

Scala

  1. 去https://www.scala-lang.org 按照指示下载,有两种方式,一种通过intelliJ Idea这个ide里面下载,另外一种是通过command line下载。如果想下载其他的版本,可以在下载页寻找 “all previous release” 选项卡。在这里是选择IntelliJ IDEA来安装Scala。

  2. 首先,在IntelliJ IDEA安装Scala插件,当你第一次运行IntelliJ IDEA,会出现下面的界面。
    在这里插入图片描述
    依次点击: “Configure” -> “Prefernences” -> 在左侧查找 “Plugins”
    在这里插入图片描述
    在Marketplace下面,安装Scala插件。在Scala的选项卡下面选择"install"。
    点击过后会在下面显示Downloading…,速度依网速而定。
    安装完后需要重新启动ide.

  3. 安装Scala包。
    还是回到IntelliJ IDEA初始界面。
    在这里插入图片描述

    依次点击:“Configure” -> “Project Defaults” -> “Project Structure”。
    在弹出的页面当中,先选择"Global Libraries",然后点击中间窄栏的"+“号,选择"Scala SDK”。
    在这里插入图片描述

    在弹出来的小窗口的左下角选择"Download...",选择自己想要的版本下载就好,我这里选择2.11.8.
    

在这里插入图片描述

	到了这一步,可能下载不了了。。。因为线上下载真挺慢,所以可以去scala官网拉到下面直接下载好了。

在这里插入图片描述

	左边是下载好的包,右边是解压的。

	此时再次回到IntelliJ IDEA的界面,还是依次打开:"Configure" -> "Project Defaults" -> "Project Structure" -> "Global Libraries" ,点击"+"号,选择"Scala SDK",弹出这样的界面。

在这里插入图片描述

要加载下载好的包,选择"Browse…",选择你包解压的目录。
在这里插入图片描述

出现这样的目录即可,点击右下角的"Apply"和"OK"

Spark

  1. https://archive.apache.org/dist/spark 找到自己需要的版本下载,我下载的是2.1 with Hadoop的版本

  2. 下载完后跟安装Scala一样,解压,然后回到IntelliJ IDEA,依次打开:“Configure” -> “Project Defaults” -> “Project Structure” -> “Libraries”。

  3. 点"+"号,点击“Java”,然后找到spark的解压目录,注意这次是把spark目录下面的jars文件夹下面所有的jar包加载进去。(这一步可能要新建一个项目然后再按照前面3步才可以成功将jar包导入工程里)
    在这里插入图片描述

  4. 如图,然后点击"Apply" “OK”

  5. 一般来说,到这里就完成了,如果你发现右键项目文件夹无法创建Scala class。那继续依次打开"Project Structure",找到Modules选项卡下,选择src/main/scala,然后点一下"Sources",就可以了。

在这里插入图片描述

大功告成

快点新建一个Scala Class来跑一下吧

object Test {
 def main(args: Array[String]): Unit = {
    println("hello world")
  }
}

在这里插入图片描述

发布了10 篇原创文章 · 获赞 0 · 访问量 3884

猜你喜欢

转载自blog.csdn.net/coolljp21/article/details/86759886