一、线程安全队列
python内置的线程安全队列模块叫queue
python的Queue模块中提供了同步的、线程安全的队列类
FIFO(先进先出)队列的Queue(常用)
LIFO(后进先出)lifoQueue
可以使用队列来实现线程间的同步。
二、队列的常用方法
函数 | 描述 |
---|---|
qsize() | 返回队列大小 |
empty() | 判断队列是否为空 |
full() | 判断队列是否满了 |
get() | 从队列中获取先插入的数据 |
put() | 将一个数据放到队列中 |
- qsize()返回队列大小
from queue import Queue |
|
# 指定队列当中最多可存放5个数据 |
|
queue = Queue(5) |
|
for num in range(5): |
|
# put()将一个数据放到队列中 |
|
queue.put(num) # 队列中获取先插入的数据 |
|
print("当前队列的大小为:", queue.qsize()) |
|
------------------------- |
|
当前队列的大小为: 5 |
- empty()判断队列是否为空
- full() 判断队列是否为满
from queue import Queue |
|
# 指定队列当中最多可存放5个数据 |
|
queue = Queue(5) |
|
for num in range(5): |
|
# put()将一个数据放到队列中 |
|
queue.put(num) # 队列中获取先插入的数据 |
|
# 判断队列是否为空 |
|
print(queue.empty()) |
|
print(queue.full()) |
|
---------------------- |
|
False |
|
True |
- put() 将一个数据放到队列中
-
get() 从队列中获取先插入的数据
from queue import Queue |
|
# 指定队列当中最多可存放5个数据 |
|
queue = Queue(5) |
|
for num in range(5): |
|
# put()将一个数据放到队列中 |
|
queue.put(num) # 队列中获取先插入的数据 |
|
print("当前队列的大小为:", queue.qsize()) |
|
# get()从队列中获取先插入的数据 |
|
for i in range(1,6): |
|
print(queue.get(i)) |
|
------------------------------------- |
|
当前队列的大小为: 5 |
|
0 |
|
1 |
|
2 |
|
3 |
|
4 |
个人博客推荐:白煮蛋的博客
三、在多线程当中使用
Queue是线程安全的队列,在使用时无须加锁,可以再多线程当中直接使用
队列也是实现线程间同步的方式
from queue import Queue |
|
import threading |
|
import random |
|
import time |
|
def put_data(queue): |
|
while True: |
|
queue.put(random.randint(10,100)) |
|
time.sleep(1) |
|
print(queue.qsize()) |
|
def get_data(queue): |
|
while True: |
|
print(f"已经获取到队列当中的--{queue.get()}--元素") |
|
def main(): |
|
queue = Queue(10) |
|
t1 = threading.Thread(target=put_data,args=(queue,)) |
|
t2 = threading.Thread(target=get_data,args=(queue,)) |
|
t1.start() |
|
t2.start() |
|
if __name__ == '__main__': |
|
main() |
四、生产者与消费者模式
产生数据的模块,就形象地称为生产者;而处理数据的模块,就称为消费者。
单单抽象出生产者和消费者,还够不上是生产者/消费者模式。该模式还需要有一个缓冲区处于生产者和消费者之间,作为一个中介。生产者把数据放入缓冲区,而消费者从缓冲区取出数据。
-
缓冲区
如果制造数据的速度时快时慢,缓冲区的好处就体现出来了。当数据制造快的时候,消费者来不及处理,未处理的数据可以暂时存在缓冲区中。等生产者的制造速度慢下来,消费者再慢慢处理掉。
- 队列==缓冲区
(一)生产者与消费者模式案例
import requests |
|
from bs4 import BeautifulSoup |
|
import os |
|
from threading import Thread |
|
from queue import Queue |
|
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.26"} |
|
# 生产者类 |
|
class Page_Url(Thread): |
|
# page_queue 生产者队列 |
|
# img_queue 消费者队列 |
|
def __init__(self,page_queue,img_queue): |
|
super().__init__() |
|
self.page_queue = page_queue |
|
self.img_queue = img_queue |
|
def run(self): |
|
while True: |
|
if self.page_queue.empty(): |
|
break |
|
url = self.page_queue.get() |
|
self.download_image(url) |
|
def download_image(self,url): |
|
resp = requests.get(url, headers=headers).text |
|
# print(resp) |
|
soup = BeautifulSoup(resp, "lxml") |
|
image_list = soup.find_all("img", class_="ui image lazy") |
|
for img in image_list: |
|
title = img.get("title") |
|
href = img.get("data-original") |
|
self.img_queue.put((title,href)) |
|
# 消费者类 |
|
class Img_Url(Thread): |
|
# page_queue 生产者队列 |
|
# img_queue 消费者队列 |
|
def __init__(self, page_queue, img_queue): |
|
super().__init__() |
|
self.page_queue = page_queue |
|
self.img_queue = img_queue |
|
def run(self): |
|
while True: |
|
data = self.img_queue.get() |
|
title,href = data |
|
try: |
|
with open("./image/"+title+os.path.splitext(href)[-1],"wb") as f: |
|
resp =requests.get(href).content |
|
f.write(resp) |
|
print(title,"保存成功!") |
|
except OSError: |
|
pass |
|
# 判断两个队列是否全部清空 |
|
if self.page_queue.empty() and self.img_queue.empty(): |
|
break |
|
def main(): |
|
# 创建两个队列 |
|
page_queue = Queue() |
|
img_queue = Queue() |
|
for num in range(1,6): |
|
url = "https://www.fabiaoqing.com/biaoqing/lists/page/{}.html".format(num) |
|
# 将前五页的url添加到生产者队列 |
|
page_queue.put(url) |
|
t1 = Page_Url(page_queue,img_queue) |
|
t1.start() |
|
t2 = Img_Url(page_queue,img_queue) |
|
t2.start() |
|
if __name__ == '__main__': |
|
main() |
(二)步骤解析
1、主类main
(1)创建生产者与消费者队列
(2)将前5页的url添加到生产者队列
def main(): |
|
# 创建两个队列 |
|
page_queue = Queue() |
|
img_queue = Queue() |
|
for num in range(1,6): |
|
url = "https://www.fabiaoqing.com/biaoqing/lists/page/{}.html".format(num) |
|
# 将前五页的url添加到生产者队列 |
|
page_queue.put(url) |
|
t1 = Page_Url(page_queue,img_queue) |
|
t1.start() |
|
t2 = Img_Url(page_queue,img_queue) |
|
t2.start() |
2、生产者类
(1)生产者队列while循环当中获取的前5页的链接,当队列为空,停止获取。
def run(self): |
|
while True: |
|
if self.page_queue.empty(): |
|
break |
|
url = self.page_queue.get() |
|
self.download_image(url) |
(2)将获取的链接给到dowl_img
def download_image(self,url): |
|
resp = requests.get(url, headers=headers).text |
|
# print(resp) |
|
soup = BeautifulSoup(resp, "lxml") |
|
image_list = soup.find_all("img", class_="ui image lazy") |
|
for img in image_list: |
|
title = img.get("title") |
|
href = img.get("data-original") |
(3)将获取到的名称和链接添加到消费者队列
self.img_queue.put((title,href)) |
3、消费者类
(1)从队列当中获取图片名称和链接
def run(self): |
|
while True: |
|
data = self.img_queue.get() |
|
title,href = data |
(2)保存图片
try: |
|
with open("./image/"+title+os.path.splitext(href)[-1],"wb") as f: |
|
resp =requests.get(href).content |
|
f.write(resp) |
|
print(title,"保存成功!") |
|
except OSError: |
|
pass |
|
# 判断两个队列是否全部清空 |
|
if self.page_queue.empty() and self.img_queue.empty(): |
|
break |
好了, 以上是本文所有内容,希望对大家有所帮助,也希望大家对码农之家多多支持,你们的支持是我创作的动力!祝大家生活愉快!