python协程池详解及多任务协程池下载器语法实现

协程池

在python中，当需要创建的⼦协程数量不多时，可以直接利⽤gevent模块中的spawn动态成⽣多个协程，但如果是上百甚⾄上千个⽬标，⼿动的去创建协程的⼯作量巨⼤，此时就可以⽤到gevent模块提供的pool.Pool⽅法。初始化Pool时，可以指定⼀个最⼤协程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建⼀个新的协程⽤来执⾏该请求；但如果池中的协程数已经达到指定的最⼤值，那么该请求就会等待，直到池中有协程结束，才会⽤之前的协程来执⾏新的任务。

协程池下载器

多任务协程池图片下载器的实现：

import re
import gevent
from gevent import monkey,pool
import time,random
import urllib.request

monkey.patch_all()


jpg_num = 0
def down_load_img(img_uel,img_name):
    global ipg_num
    ipg_num += 1
    print("正在下载第{}张".format(jpg_num))
    
    img = urllib.request.urlopen(img_uel)  # 设置网络连接
    img_content = img.read()  # 读取网址信息
    # 设置一个新的文件并将信息写入
    with open(r"%s" % img_name,"wb") as f1:
        f1.write(img_content)
        time.sleep(random.random())
    
    
    
def main():
    p = pool.Pool(5)  # 创建协程池
    local_addr = r"1.html"
    url_txt = open(local_addr,"r",encoding="utf-8")  # 打开文件
    # 读取文件并将文件信息写入变量
    uri_content = url_txt.read()
    ret_list = re.findall(r"https://[^:]*\.jpg",uri_content)  # 利用正则表达式筛选信息
    # 重置列表
    num = 0
    my_list = []
    
    t_start = time.time() # 设置开始时间
    for img_url in ret_list:
        my_list.append(p.spawn(down_load_img,img_url,"%d.jpg" % num ))
        if num == 100: # 设置想要的下载文件数量
            break
        num += 1
        
    gevent.joinall(my_list)  # 添加任务到协程池 
    t_stop = time.time() # 设置结束时间
    print("下载文件一共用了：%.2f秒" % (t_stop-t_start)) # 计时

if __name__ == '__main__':
    main()