Spark在Win10下的环境搭建

本教程是参考另一个博客完成的,中间解决了一些其他问题,相同部分我就直接复制参考博文,文中大部分贴图不是我按照的版本,不需要对应版本号。

参考博客:https://blog.csdn.net/songhaifengshuaige/article/details/79480491

前言
本章将介绍如何在WIN10下实现spark环境搭建。

本章概要
1、版本说明
2、环境准备:
jdk配置;
scala安装与配置;
spark安装与配置;
hadoop安装与配置;

版本说明
jdk:1.8
scala:2.11.8
spark:2.3.0
hadoop:2.8.3

环境准备
jdk配置
1、配置JAVA_HOME与Path:

Path


2、验证配置:


scala安装与配置
1、scala下载:
访问官方地址http://www.scala-lang.org/download/2.11.8.html


2、配置Path:


3、验证配置:


Spark安装与配置
1、spark下载:
访问官方地址http://spark.apache.org/downloads.html

选中官方推荐的地址即可下载,其他地址也可用(建议采用迅雷等下载工具下载,速度比较会快很多)


2、解压至D盘;


3、配置Path:


4、通过spark-shell进入Spark的交互式命令行模式:

如上,可以看到对应的spark、scala、java版本,同时也看到了异常信息,该异常信息是由于hadoop导致的,下面来配置hadoop。


Hadoop安装与配置
1、hadoop下载
访问官方http://hadoop.apache.org/releases.html

进入下载页,如下建议地址(同样建议用迅雷等下载工具下载,速度更快)


2、解压至


3、配置HADOOP_HOME&Path:

path:


4、winutils下载:https://github.com/cdarlint/winutils

下载对应版本的bin目录直接替换本地bin目录即可。

5、此时继续spark-shell进入spark命令行交互模式:

此时即不会出现上述的异常提示。

6、访问控制台中的webui如下:

发布了69 篇原创文章 · 获赞 28 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/qq_24852439/article/details/103064668