win10安装spark流程

win10安装spark流程

说明

安装步骤分为java,scala,spark和hadoop四步,以下是对我整个安装过程的记录。


一、安装JDK

官网下载了8u172版本。点击打开链接

安装完毕以后,添加环境变量JAVA_HOME、增加环境变量path路径。



打开cmd键入java -version,看到如下界面说明java安装成功。



二、安装scala

官网下载了msi格式,并安装成功。点击打开链接


增加path环境变量路径


打开cmd键入scala,出现如下图片说明配置成功。



三、安装spark

官网下载最新版本。点击打开链接


下载完毕后,解压在某全英文目录下。

添加环境变量SPARK_HOME,添加环境变量path路径。



打开cmd键入spark-shell,看到如下图片说明spark配置成功。

此时会出现一个hadoop错误,可以忽略,等到hadoop配置完毕既能解决。



四、安装hadoop

官网下载hadoop 2.8.3。点击打开链接



下载完毕后解压到某一全英文目录下。

添加环境变量HADOOP_HOME,添加环境变量path路径。



因为bin目录缺少winutils.exe,所以去git上下载相应版本的bin替换即可。点击打开链接


打开cmd键入spark-shell,可以看到scala、java的版本,spark自此配置成功。


猜你喜欢

转载自blog.csdn.net/NJYR21/article/details/80291630
今日推荐