Python多进程opencv调用rtsp视频流(改进版)

• 前几天遇到了一个问题，利用opencv程序调取rtsp视频流，因为处理程序要消耗的CPU时间过于长，VideoCapture的read是按帧读取，所以经常导致内存溢出，延时还高得出奇。

  所以想到是不是可以利用多进程把读取视频和处理视频分开，这样就可以消除因处理图片所导致的延迟。

• 逻辑论证在上一篇中有讲解，但是会有程序不好读、不好移植、不好维护的缺点，而且图片的处理算法放到进程内也不好调试。

• 经过一年多的学习又加上最近看完了《流畅的python》就正好改进一下直接重新包装实现VideoCapture。同时也感谢@qq_39658909的提问

所用库

multiprocessing
gc
opencv-python
abc

实现方法

• 不熟悉抽象基类的话可以直接看总结
• 将主要的实现逻辑写成一个抽象基类ABVideoCapture，其子类只用关心要做的图像算法，并实现到.process_image(image)这一方法中，就可以定制一个自带算法处理的实时VideoCapture类
• ABVideoCapture也可以选择重构.write静态方法以支持从其他的数据源中读取图片。这里边有鸭子类型带来的好处
• ABVideoCapture.read_gen()是一个生成器函数，也是整个实例可以快速运行的核心，ABVideoCapture.read()和ABVideoCapture.__iter__()都依赖于它。实例会维护一个由它返回的生成器ABVideoCapture.__read_gen。它可以一个一个的生成经过自定义算法处理过后的缓存栈顶的图片。
• 抽象基类实现了迭代器协议__iter__和上下文管理器协议__enter__、__exit__。

实现代码

import gc
import abc
from multiprocessing import Process, Manager

import cv2


# 定义抽象基类，此类不能直接实例化
# 做好框架
# 其子类只用实现.process_image方法，返回任意图像算法处理后的从缓存栈中读取的图片
class ABVideoCapture(abc.ABC):
    def __init__(self, cam, top=100):
        self.stack = Manager().list()
        self.max_cache = top
        self.write_process = Process(target=self.__class__.write, args=(self.stack, cam, top))
        self.write_process.start()
        self.__read_gen = self.read_gen()

    @abc.abstractmethod
    def process_image(self, image):
        """
        对输入的图片进行处理并返回处理后的图片
        """

    def read_gen(self):
        while True:
            if len(self.stack) != 0:
                img = self.process_image(self.stack.pop())
                yield img

    def read(self):
        try:
            return True, next(self.__read_gen)
        except StopIteration:
            return False, None
        except TypeError:
            raise TypeError('{}.read_gen必须为生成器函数'.format(self.__class__.__name__))

    def __iter__(self):
        yield from self.__read_gen

    def release(self):
        self.write_process.terminate()

    def __del__(self):
        self.release()

    @staticmethod
    def write(stack, cam, top):
        """向共享缓冲栈中写入数据"""
        cap = cv2.VideoCapture(cam)
        while True:
            _, img = cap.read()
            if _:
                stack.append(img)
                # 每到一定容量清空一次缓冲栈
                # 利用gc库，手动清理内存垃圾，防止内存溢出
                if len(stack) >= top:
                    del stack[:]
                    gc.collect()

    def __enter__(self):
        return self

    def __exit__(self, exc_type, exc_val, exc_tb):
        self.release()


# 继承ABVideoCapture，对缓存栈中的图片不做处理直接返回
class VideoCapture(ABVideoCapture):
    def process_image(self, image):
        # 这里对图像的处理算法可以随意制定
        return image

示例一（经典用法）

camera_addr = 0

cap = VideoCapture(camera_addr)
while True:
    _, img = cap.read()
    if _:
        cv2.imshow('img', img)
        key = cv2.waitKey(1) & 0xFF
        if key == ord('q'):
            break

cap.release()
cv2.destroyAllWindows()

示例二（上下文+迭代器）

camera_addr = 0
with VideoCapture(camera_addr) as cap:
    for img in cap:
        cv2.imshow('img', img)
        key = cv2.waitKey(1) & 0xFF
        if key == ord('q'):
            break
cv2.destroyAllWindows()

总结

• 当然，对于用户，只用继承ABVideoCapture然后像代码中那样重写process_image就可以
• 甚至直接像实例中那样用VideoCapture得到图像再去处理也是可以的
• 其它抽象基类的实现细节可以完全不用管