今天以58同城的二手市场为例(也就是转转)给大家介绍一下大规模的结构数据怎么爬取。
分析
先看下转转的网页结构与我想爬取的数据:
类目
物品页
爬取类目链接比较简单,在这里就不多讲,然后把爬取的类目链接赋值给channel_list变量(具体原因见下面说明)
page_spider.py
main.py
这就是多进程了!!!用法简单,不多说
结果
为了方便看爬取情况,又建立了一个counts.py
结果
get到了吗!进群:125240963 即可获取数十套PDF哦!
今天以58同城的二手市场为例(也就是转转)给大家介绍一下大规模的结构数据怎么爬取。
分析
先看下转转的网页结构与我想爬取的数据:
类目
物品页
爬取类目链接比较简单,在这里就不多讲,然后把爬取的类目链接赋值给channel_list变量(具体原因见下面说明)
page_spider.py
main.py
这就是多进程了!!!用法简单,不多说
结果
为了方便看爬取情况,又建立了一个counts.py
结果
get到了吗!进群:125240963 即可获取数十套PDF哦!