intellij 运行nutch 进行网络资源爬虫

前置条件:

1、安装ANT java编辑工具

将Apache-Nutch 编译成idea可以打开的文件

安装ANT安装教程:https://mp.csdn.net/postedit/84541347

2、下载Nutch源码;https://download.csdn.net/download/qq_31854907/10807862

3、安装好ANT后,将Nutch的源码进行编译:

Nutch源码是用ant进行构建的,需要转换成eclipse工程才可以导入IDE正确使用,Intellij和Netbeans都可以支持ecilpse工程。

解压下载的apache-nutch-1.9-src.zip,得到文件夹apache-nutch-1.9。
在执行转换之前,我们先修改一下ivy中的一个源,将它改为开源中国的镜像,否则转换的过程会非常缓慢。(ant源码中并没有附带依赖jar包,ivy负责从网上自动下载jar包)。
修改apache-nutch-1.9文件夹中的ivy/ivysettings.xml:

 

 找到repo.maven.org,将
      value="http://repo1.maven.org/maven2/" 替换成http://maven.oschina.net/content/groups/public/

 windows系统在控制台进入apache-nutch-1.9的根目录,执行命令ant eclipse -verbose进行编码等待从maven中下载jar

当下载结束后可使用intellij 打开Nutch源码

猜你喜欢

转载自blog.csdn.net/qq_31854907/article/details/84545515