nutch本地模式调试环境配置

    nutch本地模式调试可以跟踪详细的爬取过程,便于调试。现将环境配置做如下说明:

   1、apache官网下载nutch文件,我们以apache-nutch-1.4-bin.tar.gz 为例。将apache-nutch-1.4-bin.tar.gz解压到linux工作目录。

   2、执行 chmod +x runtime/local/bin/nutch 修改权限。

   3、runtime/local 目录下运行命令 ./bin/nutch

   4、安装提示说明做配置调整。

   5、以上操作过程完成后nutch即可以正常爬取数据。

注意事项:

   1、本地模式的nutch不需要在conf目录中添加hadoop的配置文件,一旦添加就会在hadoop中运行服务,此处要注意。

    2、在local中添加urls文件并创建任意文本,内容为待排去的网站地址。

自定义nutch:

1、将编译好的runtime/local/lib中的apache-nutch-*.jar 同步覆盖服务器中的runtime/local/lib中的apache-nutch-*.jar

2、覆盖runtime/local/plugins文件夹中的插件。

猜你喜欢

转载自peigang.iteye.com/blog/2095059