win10中spark环境的配置

使用的软件版本:

jdk使用的1.8

winutils 为从 这里:

https://github.com/steveloughran/winutils

下载的相应版本的

1、先配置JDK环境,在环境变量中配置好 JAVA_HOME,CLASSPATH,PATH中添加上%JAVA_HOME%\bin,%JAVA_HOME%\jre\bin,需要注意的是,jdk的路径中不要出现空格,否则下面执行spark-shell的时候会找不到文件。

配置好后执行 java  javac  java -version 命令验证java是否安装成功

2、安装scala,直接双击安装即可,最好路径中也不要有空格,为了防止各种奇怪的错误,下面安装的软件路径中都不要有空格。配置SCALA_HOME 环境变量,并在PATH中添加 %SCALA_HOME%\bin  ,配置好后 在cmd中执行 scala或者 scala -version验证是否安装成功

3、安装spark,将下载的spark软件解压即可,然后配置环境变量 SPARK_HOME,并在PATH中配置

4、安装hadoop,将下载的hadoop软件解压即可,然后配置环境变量 HADOOP_HOME,并在PATH中配置

5、将下载的winutils.exe 放到 hadoop的bin文件夹中

6、在cmd 中执行 spark-shell 验证是否安装有问题。

在这里记录一个粗心的问题:最简单的java的路径的安装的时候,犯了一个错误,配置JAVA_HOME的时候没有定位到jdk那一级目录,真是粗心大意,结果导致后面无论怎么弄路径或者换版本都在执行spark-shell的时候出现找不到文件的错误。

猜你喜欢

转载自blog.csdn.net/shengfengwuying/article/details/85071360