cdh3u4 编译eclipse-plugin(转载)

使用的是CDH3u4的hadoop,和单独的hadoop差不多,但是参考网上的教程的时候遇到的问题还是很多的,所以就记录下来。

1.添加工程

在Eclipse中Import导入已有的工程目录:\src\contrib\eclipse-plugin\

2.添加build-contrib.xml

直接把\src\contrib\build-contrib.xml拖到工程中就可以了,注意选择复制的添加方式。

3.修改build-contrib.xml

这里是重头戏。

找到<property name="hadoop.root" location="${root}/../../../"/>修改location为hadoop的实际解压目录,在其下添加

<property name="eclipse.home" location="你的Eclipse安装目录"/>
<property name="version" value="Hadoop安装版本"/>

例如

<property name="eclipse.home" location="D:/Eclipse"/>
<property name="version" value="0.20.2-cdh3u4"/>

具体位置需要改为你的,注意location里的斜杠方向。CDH3版本号多了个后缀,要么直接加上cdh3u4,要么不加但是把所有用到的有version的jar包都去掉cdh3u4,显然前一种方法比较方便。

4.修改build.xml

找到<import file="../build-contrib.xml"/>,改为<import file="build-contrib.xml"/>

添加hadoop-core的jar包,这个问题足足困扰了两天。

找到<path id="classpath">,在下面添加 <pathelement location="${hadoop.root}/hadoop-core-0.20.2-cdh3u4.jar"/>

这个文件的位置变了,直接用复制过来的。

5.复制一些文件

hadoop-core-0.20.2-cdh3u4.jar 到 \build\hadoop-core-0.20.2-cdh3u4.jar;\lib\commons-cli-1.2.jar到\build\ivy \lib\Hadoop\common\commons-cli-1.2.jar,如果上述目录没有则新建一下。

6.编译

在build.xml上右击run,选择Ant Run就可以了。

 

7.继续修改jar文件

在eclipse里面添加了文件之后,添加远程HDFS后双击时会出现一个错误提示(不影响正常使用)

An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/map/JsonMappingException
An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/JsonProcessingException

其中第二个是 在部分改正了第一个问题后才会出现的,原因都一样,编译出来的jar包里面没有包含jackson-core-asl-1.5.2.jar和 jackson-mapper-asl-1.5.2.jar包,打开这两个包,然后把里面的org文件夹都复制到hadoop-core-0.20.2- cdh3u4.jar中的class文件夹中,就能解决。

然后打开DFS Location后又会有错误

An internal error occurred during: "Connecting to DFS Hadoop0".
org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap
解决方法也一样,把guava-r09-jarjar.jar中的org文件夹也添加到hadoop-core-0.20.2-cdh3u4.jar中去。

 

此外网上说需要修改源代码,但是我实际比较了下,在cdh3u4里面已经改过了,另外也有要求对编译生成的jar包添加部分lib实现登陆功能,但也是对以前版本的,我这个版本并不需要。具体可以根据运行插件时的错误来添加相应的包,跟上面一样。

大家也可以去https://code.google.com/p/hadoop-eclipse-plugin/downloads/list下载别人编译好的文件,我也是通过和这里面的代码进行比较后才发现不需要添加lib的

 

这次整个过程的主要的问题是对ant的使用缺乏了解,以为和Eclipse的一些classpath是通用的,所以明明在eclipse里面添加了对应的jar包,但是仍然提示无法找到,浪费了好几天时间……

ant是基于xml的,所以改配置还是比较方便,只要知道classpath是用了哪几个参数就可以了。

截图就没高兴截,个人感觉光看这些叙述应该够了。

 

部分参考的内容:

在eclipse中配置hadoop插件

http://www.cnblogs.com/hiddenfox/archive/2011/11/26/2264461.html

《转载》hadoop cdh3u3 eclipse插件编译

http://www.cnblogs.com/riverphoenix/archive/2012/05/03/2481034.html

hadoop-eclipse-plugin-for-cdh3-u3

http://blog.thisisfeifan.com/2012/04/hadoop-eclipse-plugin-for-cdh3-u3.html

 

转自:http://yzyzero.iteye.com/blog/1845396

使用的是CDH3u4的hadoop,和单独的hadoop差不多,但是参考网上的教程的时候遇到的问题还是很多的,所以就记录下来。

1.添加工程

在Eclipse中Import导入已有的工程目录:\src\contrib\eclipse-plugin\

2.添加build-contrib.xml

直接把\src\contrib\build-contrib.xml拖到工程中就可以了,注意选择复制的添加方式。

3.修改build-contrib.xml

这里是重头戏。

找到<property name="hadoop.root" location="${root}/../../../"/>修改location为hadoop的实际解压目录,在其下添加

<property name="eclipse.home" location="你的Eclipse安装目录"/>
<property name="version" value="Hadoop安装版本"/>

例如

<property name="eclipse.home" location="D:/Eclipse"/>
<property name="version" value="0.20.2-cdh3u4"/>

具体位置需要改为你的,注意location里的斜杠方向。CDH3版本号多了个后缀,要么直接加上cdh3u4,要么不加但是把所有用到的有version的jar包都去掉cdh3u4,显然前一种方法比较方便。

4.修改build.xml

找到<import file="../build-contrib.xml"/>,改为<import file="build-contrib.xml"/>

添加hadoop-core的jar包,这个问题足足困扰了两天。

找到<path id="classpath">,在下面添加 <pathelement location="${hadoop.root}/hadoop-core-0.20.2-cdh3u4.jar"/>

这个文件的位置变了,直接用复制过来的。

5.复制一些文件

hadoop-core-0.20.2-cdh3u4.jar 到 \build\hadoop-core-0.20.2-cdh3u4.jar;\lib\commons-cli-1.2.jar到\build\ivy \lib\Hadoop\common\commons-cli-1.2.jar,如果上述目录没有则新建一下。

6.编译

在build.xml上右击run,选择Ant Run就可以了。

 

7.继续修改jar文件

在eclipse里面添加了文件之后,添加远程HDFS后双击时会出现一个错误提示(不影响正常使用)

An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/map/JsonMappingException
An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/JsonProcessingException

其中第二个是 在部分改正了第一个问题后才会出现的,原因都一样,编译出来的jar包里面没有包含jackson-core-asl-1.5.2.jar和 jackson-mapper-asl-1.5.2.jar包,打开这两个包,然后把里面的org文件夹都复制到hadoop-core-0.20.2- cdh3u4.jar中的class文件夹中,就能解决。

然后打开DFS Location后又会有错误

An internal error occurred during: "Connecting to DFS Hadoop0".
org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap
解决方法也一样,把guava-r09-jarjar.jar中的org文件夹也添加到hadoop-core-0.20.2-cdh3u4.jar中去。

 

此外网上说需要修改源代码,但是我实际比较了下,在cdh3u4里面已经改过了,另外也有要求对编译生成的jar包添加部分lib实现登陆功能,但也是对以前版本的,我这个版本并不需要。具体可以根据运行插件时的错误来添加相应的包,跟上面一样。

大家也可以去https://code.google.com/p/hadoop-eclipse-plugin/downloads/list下载别人编译好的文件,我也是通过和这里面的代码进行比较后才发现不需要添加lib的

 

这次整个过程的主要的问题是对ant的使用缺乏了解,以为和Eclipse的一些classpath是通用的,所以明明在eclipse里面添加了对应的jar包,但是仍然提示无法找到,浪费了好几天时间……

ant是基于xml的,所以改配置还是比较方便,只要知道classpath是用了哪几个参数就可以了。

截图就没高兴截,个人感觉光看这些叙述应该够了。

 

部分参考的内容:

在eclipse中配置hadoop插件

http://www.cnblogs.com/hiddenfox/archive/2011/11/26/2264461.html

《转载》hadoop cdh3u3 eclipse插件编译

http://www.cnblogs.com/riverphoenix/archive/2012/05/03/2481034.html

hadoop-eclipse-plugin-for-cdh3-u3

http://blog.thisisfeifan.com/2012/04/hadoop-eclipse-plugin-for-cdh3-u3.html

 

转自:http://yzyzero.iteye.com/blog/1845396

猜你喜欢

转载自wliufu.iteye.com/blog/1863427
今日推荐