nutch crawler 解析 下

好,咱们继续。

parse

$bin/nutch parse $commonOptions $skipRecordsOptions $CRAWL_PATH/segments/$SEGMENT

CLASS=org.apache.nutch.parse.ParseSegment

这就是传说中的解析网页内容的操作。

map中:

首先只解析成功的内容,看上一步返回的状态码,如果不是成功的情况直接 return . 下一步又是通过插件来解析文本的,看来得重开一篇专门讲插件的, 干活都在插件中。 

updatedb

$bin/nutch updatedb $commonOptions $CRAWL_PATH/crawldb  $CRAWL_PATH/segments/$SEGMENT

CLASS=org.apache.nutch.crawl.CrawlDb

更新 crawlDb中的内容了。

map中:

万年不变的 urlfilter  urlNormalizers  这一步看吐了。

然后根据 segments 下面 fetch 和 parse 中的内容更新 crawlDB 。为下一轮抓取做一些准备。

下一个操作是invertlinks 跟抓取没有什么关系。暂时忽略吧。

猜你喜欢

转载自sharp-fcc.iteye.com/blog/1868365