一步一步学OAK之三:实现RGB相机场景切换

Setup 1: 创建文件

• 创建新建3-rgb-scene文件夹
• 用vscode打开该文件夹
• 新建一个main.py 文件

Setup 2: 安装依赖

安装依赖前需要先创建和激活虚拟环境，我这里已经创建了虚拟环境OAKenv，在终端中输入cd…退回到OAKenv的根目录，输入 OAKenv\Scripts\activate激活虚拟环境

安装pip依赖项：

pip install numpy opencv-python depthai blobconverter --user

Setup 3: 导入需要的包

在main.py中导入项目需要的包

import cv2
import depthai as dai
from itertools import cycle

Setup 4: 遍历所有场景模式和特效模式

scenes = cycle([item for name,item in vars(dai.RawCameraControl.SceneMode).items() if name !="UNSUPPORTED" and name.isupper()])
effects = cycle([item for name,item in vars(dai.RawCameraControl.EffectMode).items() if name.isupper()])

curr_scene = "OFF"
curr_effect = "OFF"

这段代码创建了两个无限循环的迭代器scenes和effects，用于循环遍历dai.RawCameraControl.SceneMode和dai.RawCameraControl.EffectMode中的所有场景模式和特效模式。

scenes迭代器通过从dai.RawCameraControl.SceneMode中选择大写名称的项，并排除UNSUPPORTED和非大写字母的项来创建。这样可以获取到所有合法的场景模式。

effects迭代器通过从dai.RawCameraControl.EffectMode中选择大写名称的项来创建，也排除了非大写字母的项。

curr_scene和curr_effect是当前选择的场景和特效模式，默认为"OFF"。

这段代码的作用是创建了用于循环遍历场景模式和特效模式的迭代器，并初始化当前选择的场景和特效模式为"OFF"。

Setup 5: 创建pipeline

pipeline = dai.Pipeline()

Setup 6: 创建节点

camRgb = pipeline.create(dai.node.ColorCamera)
camRgb.setIspScale(1,3)

xoutRgb = pipeline.create(dai.node.XLinkOut)
xoutRgb.setStreamName("video")
camRgb.video.link(xoutRgb.input)

camRgb.setIspScale(1,3)将ISP（图像信号处理）的缩放比例设置为1:3。这意味着从摄像头读取到的图像将会在宽度上保持原始大小，而高度会缩小为原来的1/3。

创建了一个xoutRgb节点，并设置了该节点对应的输出流名称为"video"。xoutRgb节点将会作为管道的输出节点，用于将视频流传输到其他设备或模块。

通过camRgb.video.link(xoutRgb.input)将颜色摄像头节点的视频输出链接到xoutRgb节点的输入。这样就建立了颜色摄像头节点到xoutRgb节点的数据流连接。

camControlIn = pipeline.create(dai.node.XLinkIn)
camControlIn.setStreamName("camControl")
camControlIn.out.link(camRgb.inputControl)

创建一个camControlIn节点，它代表了XLinkIn节点，用于接收来自其他设备或模块的相机控制指令。

使用camControlIn.setStreamName("camControl")设置了它的流名称为"camControl"。

通过camControlIn.out.link(camRgb.inputControl)将camControlIn节点的输出连接到camRgb节点的输入控制引脚(inputControl)上。这样，通过XLinkIn节点可以接收来自其他设备或模块的相机控制指令，并将其传递给颜色摄像头节点。

Setup 7: 连接设备并启动管道

with dai.Device(pipeline) as device:

Setup 8: 创建与DepthAI设备通信的输入队列和输出队列

    videoQ = device.getOutputQueue(name="video", maxSize=4, blocking=False)
    ctrlQ = device.getInputQueue(name="camControl")

创建了两个队列对象：videoQ和ctrlQ。这些队列用于在设备上接收和发送数据。

videoQ是一个输出队列，通过调用device.getOutputQueue(name="video", maxSize=4, blocking=False)来创建。它将从设备上的"video"流接收数据，并最多存储4个数据帧。blocking=False表示在队列为空时，从队列获取数据时不会阻塞。

ctrlQ是一个输入队列，通过调用device.getInputQueue(name="camControl")来创建。它用于发送相机控制指令到设备上的相机控制节点。这里的"name"参数与之前设置的相机控制流名称"camControl"对应。

Setup 9: 定义putText函数

    def putText(frame, text, coords):
        cv2.putText(frame, text, coords, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0), 4)
        cv2.putText(frame, text, coords, cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1)

定义了一个putText函数，它将在图像帧上绘制文本。

函数接受三个参数：

• frame：要绘制文本的图像帧。
• text：要绘制的文本内容。
• coords：文本的起始坐标。

在函数内部，使用cv2.putText函数两次进行文本绘制：

• 第一次调用用于绘制黑色的文本，具有较大的轮廓（thickness=4），用于创建阴影效果。使用cv2.FONT_HERSHEY_SIMPLEX指定字体，0.5指定字体比例因子，(0, 0, 0)指定文本颜色（黑色）以及thickness=4指定较大的轮廓宽度。
• 第二次调用用于绘制白色的文本，具有较小的轮廓（thickness=1），用于绘制文本内容。使用相同的参数，但将文本颜色设置为(255, 255, 255)（白色）以及thickness=1指定较小的轮廓宽度。

这样，函数将在图像帧的指定坐标上绘制带有阴影效果的文本。

Setup 10: 主循环

    while True:

获取视频帧

 		videoIn = videoQ.tryGet()
        if videoIn is not None:
            frame = videoIn.getCvFrame()
            putText(frame, f"[E] Effect: {curr_effect}", (10, 20))
            putText(frame, f"[S] Scene: {curr_scene}", (10, 40))
            cv2.imshow("video", frame)

这段代码从输出队列videoQ中获取一个视频帧。

首先，使用videoQ.tryGet()方法尝试获取一个视频帧。如果成功获取到视频帧，则将其赋值给videoIn变量。

然后，使用getCvFrame()方法从视频帧对象videoIn中获取OpenCV格式的图像帧，并将其赋值给frame变量。

接下来，使用putText()函数在图像帧上绘制文本。其中，使用f-string将当前特效(curr_effect)和场景(curr_scene)的值转换为字符串，并绘制在图像上。

最后，使用cv2.imshow("video", frame)显示图像帧，窗口标题为"video"。

这段代码的作用是从输出队列中获取视频帧，并在图像帧上绘制当前特效和场景的文本，最后在窗口中显示图像。

f-string是Python中格式化字符串的一种方式。它允许在字符串中插入变量或表达式的值。

一个f-string的格式为：在字符串前加上字母"f"，然后用花括号{}括起需要插入的变量或表达式。

例如，f"[E] Effect: {curr_effect}"中的花括号内的curr_effect表示要插入的变量，而整个字符串中的"[E] Effect: "是固定的文本部分。

当这个f-string被执行时，curr_effect的值会被插入到相应位置来替代花括号内的部分。

这样可以方便地将变量的值插入到字符串中，以构建带有动态内容的文本。在给图像帧添加文本时，可以使用f-string将变量的值插入到文本中来实现动态文本。

等待用户按键输入

		key = cv2.waitKey(1)
        if key == ord('e') or key == ord('E'):
            effect = next(effects)
            print("Switching colorCamera effect:", str(effect))
            curr_effect = str(effect).lstrip("EffectMode.")
            cfg = dai.CameraControl()
            cfg.setEffectMode(effect)
            ctrlQ.send(cfg)
        # Scene currently doesn't work
        elif key == ord('s') or key == ord('S'):
            scene = next(scenes)
            print("Currently doesn't work! Switching colorCamera Scene:", str(scene))
            curr_scene = str(scene).lstrip("SceneMode.")
            cfg = dai.CameraControl()
            cfg.setSceneMode(scene)
            ctrlQ.send(cfg)
        elif key == ord('q'):
            break

这段代码中，cv2.waitKey(1)用于等待用户按键输入，并返回按下键的ASCII码。

使用if语句判断用户按下的键。如果按下键是字母 ‘e’ 或 ‘E’，则执行以下代码块：

1. 调用next(effects)从effects迭代器中获取下一个特效。
2. 打印信息以指示切换特效，并将特效转换为字符串并去除前缀"EffectMode."。
3. 创建一个dai.CameraControl()对象，并使用setEffectMode()方法设置特效模式为获取到的特效。
4. 将配置对象cfg通过控制队列ctrlQ发送出去。

如果按下的键是字母 ‘s’ 或 ‘S’，则执行以下代码块：

1. 调用next(scenes)从scenes迭代器中获取下一个场景。
2. 打印信息以指示切换场景，并将场景转换为字符串并去除前缀"SceneMode."。
3. 创建一个dai.CameraControl()对象，并使用setSceneMode()方法设置场景模式为获取到的场景。
4. 将配置对象cfg通过控制队列ctrlQ发送出去。

如果按下的键是字母 ‘q’，则跳出循环，结束程序的运行。

这段代码的作用是根据用户按键的不同来切换特效、场景，或者结束程序的运行。

Setup 11:运行程序

在终端中输入如下指令运行程序

python main.py

效果如下