Eclipse连接Hadoop集群

注意事项

该Hadoop集群为远程Hadoop集群
Hadoop集群已配置完毕，若未配置完毕，请转至多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
Eclipse所在的操作系统为Windows
Eclipse所在操作系统已安装JDK
Eclipse所在系列为 Eclipse IDE for Java EE

准备文件

hadoop-2.6.0.rar 提取码xix0
hadoop-eclipse-plugin-2.6.0.jar 提取码9uzl

具体步骤

将hadoop-2.6.0.rar压缩包解压
增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录
在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin
将hadoop-eclipse-plugin-2.6.0.jar拷贝到Eclipse安装目录中dropins文件夹
注意：该插件版本必须与Hadoop版本一致
GitHub源码下载
打开hadoop-2.6.0的安装目录，打开bin文件夹，复制hadoop.dll和winutils.exe文件，打开目录C:\Windows\System32，将以上两个文件拷贝到该文件夹
打开Eclipse，依次点击“Window”→“Preferences”→“Hadoop Map/Reduce”，Hadoop installation directory配置为hadoop-2.6.0.rar压缩包解压目录

注意，若在Preferences中找不到Hadoop Map/Reduce，则cd到Eclipse安装目录，执行./eclipse -clean，然后重启Eclipse
依次点击“Window”→“Show View”→“Other…”→“MapReduce Tools”→“Map/Reduce Locations”
在“Map/Reduce Locations”视图中右键“New Hadoop location…”，新建连接
弹出如下窗口，这个是初始界面
下面我讲解这些配置如何填写

Location name
可以任意填写
Map/Reduce(V2) Master
- Host
  方法一：填写远程Hadoop所在虚拟机的IP地址，比如我的是172.16.29.94
  方法二：直接填入其主机名（比如我的是master），要在相关文件中进行配置：进入目录C:\Windows\System32\drivers\etc，找到hosts文件，打开后加入IP地址与主机名的映射，如下图所示
- Port（划重点！我在这里掉进过很多坑！）
- 将远程集群的Hadoop安装目录下**/hadoop/hadoop-2.7.7/etc/hadoop/目录下的core-site.xml**、hdfs-site.xml、mapred-site.xml、slaves和yarn-site.xml5个文件通过Xftp等SFTP文件传输软件将五个文件复制，并在本机的（Windows系统）中Hadoop安装目录下的**\hadoop-2.6.0\etc\hadoop**目录中使用以上5个文件覆盖原文件
  对于5个文件如何配置，强烈建议阅读多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
- 打开复制的yarn-site.xml文件，找到变量名为yarn.resourcemanager.address的变量值，我的文件的变量值为master:8032
- 将该变量值中的端口号填入Map/Reduce(V2) Master的Port中，我需要填入的值为8032
DFS Master
- Port
  - 打开复制的core-site.xml文件，找到变量名为fs.defaultFS的变量值，我的文件的变量值为hdfs://master:9000
  - 将该变量值中的端口号填入DFS Master的Port中，我需要填入的值为9000
User name
填写远程Hadoop所在的操作系统的用户名，我的是root

综上，配置结果如下、
Eclipse连接Hadoop配置结果
点击Finish即可
11. 查看Project Explorer中的DFS Locations，依次展开文件夹，若能查看远程Hadoop集群的HDFS内容，则Eclipse连接Hadoop集群成功
注意：若找不到DFS Locations，或报出“Map/Reduce location status updater”错误，需要执行以下步骤