eclipse连接Hadoop远程提交代码
安装eclipse
链接:https://pan.baidu.com/s/1tyMPBXfIdybJpG-r-ZbcNw
提取码:j986
下好后将压缩包移动到/opt目录
mv eclipse-jee-luna-SR2-linux-gtk-x86_64.tar /opt
然后切换到/opt目录
cd /opt
解压缩包
tar -zxvf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar
在/usr/bin目录为该Eclipse创建软链接
ln -s /opt/eclipse/eclipse /usr/bin/eclipse
将该软链接复制到桌面启动即可
安装hadoop插件
链接:https://pan.baidu.com/s/1sJOG_sjWXrnc-loXSC0UbQ
提取码:hf2i
将该插件直接拖入eclipse的插件目录下
如果是按照上面教程安装的则在
/opt/eclipse/plugins
将插件拖入这个目录重启eclipse即可(这个插件是hadoop2.7.4版本的,其他版本使用可能会出问题,建议下载符合自己版本号的)
如果出现红框内的内容则插件安装成功
配置hadoop插件
点击Preferences
这里要选择hadoop的安装目录
然后按照图示点击Other
找到Map/Reduce Locations后选择点击OK
然后会出现如图的界面,刚安装是没有节点的,我这里是创建了一个节点
连接到Hadoop
右键选择New Hadoop location
Location name可以自己起,因为我搭建的是伪分布式Hadoop用的是本地的节点所以Host是localhost,如果是远程的则要用节点的IP
配置好后就可以看到HDFS中的目录与文件并可以直接创建目录和右键上传,我这里直接右键上传了Hadoop安装目录下的README.txt文件来做WorldCount测试
创建Map/Reduce项目
在File中NEW下选择Other
找到Map/Reduce Project点击Next
起个项目名创建就成功创建了一个Map/Reduce项目
测试WordCount
这里我将hadoop中的WordCount.java复制过来
路径在hadoop安装路径下
hadoop/src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/WordCount.java
在53行有一个otherArgs,这个是设置输入文件和输出文件的路径的,原本是通过命令行直接赋参数给args来获取的,现在通过celipse需要对该变量进行修改
这里可以看出该字符串数组的前n-1个地址均为输入地址,最后一个地址是输出地址
因为是测试所以我只设置一个输入地址
String[] otherArgs = new String[]{"hdfs://localhost:9000/input/","hdfs://localhost:9000/output/test"};
然后运行该程序
成功运行并输出结果