@Author:Runsen
之前爬了拉钩,爬了boss ,你认为我会放过51jobs 吗
这是不可能的,今日用下scrapy 来爬 51jobs,前程无忧
关于新建项目和spider 不说了,今日用scrapy 对接selenium来爬,和之前用Scrapy 爬取天气网一模一样
一开始就是先处理 item。
通过对详情页的分析,可以爬取下面的信息。
from scrapy import Item,Field
class QcwyItem(Item):
# define the fields for your item here like:
# name = scrapy.Field()
job_url