windows系统使用eclipse搭建本地spark的java开发环境

1.pom文件添加依赖:

<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-core_2.11</artifactId>
	<version>2.3.2</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql_2.11</artifactId>
	<version>2.3.2</version>
</dependency>

2.下载hadoop对应版本的winutils,解压两个文件之后,把winutils的bin目录下的文件复制到hadoop的bin目录下。

3.代码中加入hadoop的安装目录:

System.setProperty("hadoop.home.dir", "E:\\hadoop-xxx");
SparkConf sparkConf = new SparkConf().setMaster("local");
SparkSession spark = SparkSession.builder()
				.config(sparkConf)
				.appName("job's name")
				.getOrCreate();

4.运行本地spark代码。

猜你喜欢

转载自blog.csdn.net/huashetianzu/article/details/83181148
今日推荐