——个人笔记
一系列:
python爬虫(一)
python爬虫(二)
python爬虫(三)
python爬虫(四)
python爬虫(五)
python爬虫(六)
python爬虫(七)
python爬虫(八)
python爬虫(十)
python爬虫(十一)
爬虫如果按照之前是按照顺序执行的,那么当我们要爬取很多数据时那么就会很慢。相信大家可能会知道有协程(类似多线程,但是是有区别的),但是当协程数量多,我们就要对多协程控制执行数量。
同样我们要实现多协程,那么我们同样要引入gevent库,和之前一样,在终端输入pip install gevent
运行,然后我们就可以开始了。首先我们要在开头申明这个程序是协作式执行的:
from gevent import monkey
#从gevent库里导入monkey模块。
monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行,就是可以帮助程序实现异步。
那么我们就可以开始爬了:
url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']
#把8个网站封装成列表。
def crawler(url):
#定义一个crawler()函数。
r = requests.get(url)
#用requests.get()函数爬取网站。
print(url,time.time()-start,r.status_code)
#打印网址、请求运行时间、状态码。
tasks_list = [ ]
#创建空的任务列表。
for url in url_list:
#遍历url_list。
task = gevent.spawn(crawler,url)
#用gevent.spawn()函数创建任务。
tasks_list.append(task)
#往任务列表添加任务。
gevent.joinall(tasks_list)
#执行任务列表里的所有任务,就是让爬虫开始爬取网站。
看了代码和图示,可能还是有点懵,其实大概说一下,我们先定义一个爬取数据的函数,然后task = gevent.spawn(crawler,url)
这里的 gevent.spawn()就是创建协程任务,第一个参数就是函数名,然后后面的参数就是第一个参数的函数的参数(可能有点绕口,理解一下,如果你调用的函数没有参数,那么就只有第一个参数),你把所有任务都放进列表中后,调用gevent.joinall()就可以执行了。
但是上面的方法没办法直接控制爬虫数量,也就是说,如果我要爬取1000个网站而不是8个,那么会压垮服务器,怎么解决呢?那么我们可以想象一下日常生活我们是怎么解决的,排队!那么同样,这也可以排队,我们就要引入queue(队列,队列就是先进先出)了,from gevent.queue import Queue
从gevent库里导入queue模块。其实queue也是存储结构,只不过,它具有先存储进去的要先取出来的特性而已。那么我们看看queue有什么方法:
非常简单,其实就是存数据,取数据,查看还有多少。work = Queue()
这样就创建了一个queue对象,那么看完整代码:
from gevent import monkey
#从gevent库里导入monkey模块。
monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行,就是可以帮助程序实现异步。
import gevent,time,requests
#导入gevent、requests
from gevent.queue import Queue
#从gevent库里导入queue模块
url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']
work = Queue()
#创建队列对象,并赋值给work。
for url in url_list:
#遍历url_list
work.put_nowait(url)
#用put_nowait()函数可以把网址都放进队列里。
def crawler():
while not work.empty():
#当队列不是空的时候,就执行下面的程序。
url = work.get_nowait()
#用get_nowait()函数可以把队列里的网址都取出。
r = requests.get(url)
#用requests.get()函数抓取网址。
print(url,work.qsize(),r.status_code)
#打印网址、队列长度、抓取请求的状态码。
tasks_list = [ ]
#创建空的任务列表
for x in range(2):
#相当于创建了2个爬虫
task = gevent.spawn(crawler)
#用gevent.spawn()函数创建执行crawler()函数的任务。
tasks_list.append(task)
#往任务列表添加任务。
gevent.joinall(tasks_list)
#用gevent.joinall方法,执行任务列表里的所有任务,就是让爬虫开始爬取网站。