我的hadoop集群是在centos系统上运行的,之前采用的是在windows本地通过Eclipse开发完MapReduce之后打成jar包再发送到centos集群去运行测试,效率不是很高。因此现在考虑直接在windows本地通过hadoop-eclipse插件的方式进行测试。
首先是复制集群上已经部署好的hadoop安装目录到windows本地,具体放在哪里自己决定。之后配置环境变量HADOOP_HOME、HADOOP_USER_NAME、path变量值等。之后就可以配置插件了。
网上很多文章介绍如何编译插件,但尝试了一整天也没有编译成功。最后直接使用git上提供的已经编译好的jar包,发现可以使用。
打开这个地址https://github.com/winghc/hadoop2x-eclipse-plugin,可以发现有2.2.0、2.4.0和2.6.0三个版本的插件,我的hadoop版本是2.7.5的,就近原则选择下载2.6.0版本。。。。
下载之后直接放到Eclipse安装目录下的plugins目录下即可,然后重启eclipse。
启动后,可能会自动在Project Explorer中显示DFS Locations目录,也可能不自动显示。不管显示不显示,都执行以下三个操作:
①window->perspective->open perspective->other->map/reduce
②window->preferences->hadoop存放目录
③window->show view->MapReduce tools->map/reduce locations
之后便可以看到一个黄色的小象(map/reduce locations),然后就可以右键单击进行new/edit hadoop location
配置完之后刷新DFS Locations即可以看到集群上hdfs中存储的目录结构:
之后就可以直接在本地操作hdfs了。