大数据 Hadoop Windows开发环境搭建

1、解压Hadoop安装包、源码包

2、新建一个文件夹用于存放jar包

3、将hadoop-2.6.5\share\hadoop下的所有jar包拷贝到新建的文件夹中

4、配置环境变量，将Hadoop安装包解压路径配置到环境变量中

 加入到PATH中

 再配置一条HADOOP_USER_NAME

5、替换安装包目录下bin目录的文件

 替换文件https://pan.baidu.com/s/1EV7FfbZ5Hk-5lrp-9KpYpg

6、将bin目录下的hadoop.dll文件拷贝到C:\Windows\System32

7、安装eclipse mars.2后，将hadoop-eclipse-plugin-2.6.0插件拷贝到eclipse安装目录的plugis目录下

8、打开eclipse，window>preferences>hadoop map/reduce 将路径设置为hadoop安装路径

9、在map/reduce locations窗口下新建一个连接

10、window>preferences>java>buid path>user libraries，new一个library。

11、点击add external jars，将之前拷贝出来的jar包全部导入

12、在项目中右键>build path>configure build path>libraries>add library>user library，选择上一步创建的library。

13、将运行的Hadoop集群中的hdfs-site.xml和core-site.xml放到项目的src目录下

14、以上步骤完成后便可以编写代码了