爬虫会话(cookie)的保持

为什么需要保持爬虫会话

最近在做某平台的爬虫应用,整体的业务流程比较简单,就是用户授权帐号密码后,爬虫进行登录,抓取用户数据提供比官网管理后台体验更好的功能服务。

该项目爬虫抓取数据的方式有别于通常的做法。通常的方式是爬虫授权后,一次性的爬取需要的数据后就结束生命周期。但本次的爬虫,需要在授权登陆后,进入类似休眠的状态,当用户需要使用某个功能时,应用再去唤醒它进行数据爬取。这就需要爬虫保持其会话(cookies信息)

如何保持

授权登陆后,将cookie信息json化后,持久化到数据库。当需要爬虫再次工作时,从数据库中读取cookie json数据转化为对象。  

表结构

猜你喜欢

转载自www.cnblogs.com/xi0510/p/9289261.html