java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries错误解决办法

问题描述

java.io.IOException: Could not locate executable，主要问题是我们虽然设置了本地运行模式val conf = new SparkConf() conf.setAppName("wordcount") conf.setMaster("local") //单击本地运行，但是本地却没有Hadoop环境可运行，所以会报错。

解决办法

需要一个在windows环境下的hadoop安装包，并且需要配置环境变量，hadoop安装包我们可以直接从虚拟机上拷一份到windows，但是需要进行编译才能在windows上使用。这里我已经编译好了一份hadoop2.6.4 windows环境编译包，只需要将hadoop安装目录下的bin和lib包替换掉就行，需要的可以自行下载。下面介绍如何解决这个问题。

1、解压缩windows hadoop包

2、替换bin和lib目录

3、配置环境变量

4、 重启IDEA并重新运行spark程序