音视频项目的流程

初学者可能不知道音视频项目码流的传输流程,这里以这个项目为例子带大家了解一下

背景

本项目是基于君正的ptz ipc

PTZ :在安防监控应用中是 Pan/Tilt/Zoom 的简写,代表云台全方位(左右/上下)移动及镜头变倍、变焦控制。

后台服务器使用了涂鸦的方案。

流程图

在这里插入图片描述

视屏流由sensor采集传相ISP,此时采集的视屏流格式为IVS格式

ISP调优后将IVS格式视屏流传输给FrameSource

FrameSource中分出两条,主码流与次码流,主码流为1920 x 1080p,次码流640 x 360p。

在FrameSource中还有抓图的流程,抓出一张YUV图像进行扫app中的二维码配网,获取手机连接wifi的ssid和psk

channel0中传输的是主码流,ENCODE编码后YUV视屏流编码成H.264格式视屏流

channel1中传输的是次码流,在这个通道中进行IVS图像相关算法,而后编码。在chnnel1中,还会从编码后的视屏流中抓取jpeg图像,作为拍照功能。

p2p是涂鸦智能做的,使用MQTT传到服务器,再用MQTT传到手机app

手机中有专门用于视屏解码的模块,我们不用做

ISP

图像调优

在这一块里主要作用是将图像调整。主要是一些参数设置,图像旋转等。
以及sensor驱动的配置

FrameSource

视屏源模块

视频源,是 IMP 系统的图像数据源,可设置图像的分辨率、裁减、缩放等属性,以
及后端降噪功能。

FrameSource 是一个数据流相关概念,可以设置图像分辨率,格式等,并向后端提
供原始图像

OSD

时间水印功能

IVS

图像相关的算法模块

这个项目中用到了人型追钟、人型侦测报警等算法

p2p

peer to peer
这一块是涂鸦智能做的,使用MQTT传输

设备和手机在同网段下直接编码完传送给手机不需要经过服务器

猜你喜欢

转载自blog.csdn.net/qq_28258885/article/details/113490295