向scrapy中的spider传参,实现增量

有时候需要根据项目的实际需求向spider传递参数来控制spider的运行方式。

比如说,1.根据用户提交的url来控制spider爬取的网站。2.根据需求增量爬取数据。

今天就写一个增量(augmenter)的方式:

1.首先在spider里添加

image.png

注:在网上也看了不少的博客,最后发现*args, **kwargs这两个必须加上,要不然会出现bug,不信的话可以试试哦!

如果想减少代码量的话,可以写到类里面去继承!那这样的话,spider里面就不要在写了!!!要不然就不起作用了!!!

2.spider实现方式:

image.png


image.png


这样就实现了简单的增量!增量的方式有很多,常见的:时间、计数、爬取特定的几页!

注:工作中的遇到的一些问题,可能我的方法不一定是最好的,大家一起相互交流+扣扣781816703




猜你喜欢

转载自blog.51cto.com/12925223/2117818