初学者可能不知道音视频项目码流的传输流程,这里以这个项目为例子带大家了解一下
背景
本项目是基于君正的ptz ipc
PTZ :在安防监控应用中是 Pan/Tilt/Zoom 的简写,代表云台全方位(左右/上下)移动及镜头变倍、变焦控制。
后台服务器使用了涂鸦的方案。
流程图
视屏流由sensor采集传相ISP,此时采集的视屏流格式为IVS格式
ISP调优后将IVS格式视屏流传输给FrameSource
FrameSource中分出两条,主码流与次码流,主码流为1920 x 1080p,次码流640 x 360p。
在FrameSource中还有抓图的流程,抓出一张YUV图像进行扫app中的二维码配网,获取手机连接wifi的ssid和psk
channel0中传输的是主码流,ENCODE编码后YUV视屏流编码成H.264格式视屏流
channel1中传输的是次码流,在这个通道中进行IVS图像相关算法,而后编码。在chnnel1中,还会从编码后的视屏流中抓取jpeg图像,作为拍照功能。
p2p是涂鸦智能做的,使用MQTT传到服务器,再用MQTT传到手机app
手机中有专门用于视屏解码的模块,我们不用做
ISP
图像调优
在这一块里主要作用是将图像调整。主要是一些参数设置,图像旋转等。
以及sensor驱动的配置
FrameSource
视屏源模块
视频源,是 IMP 系统的图像数据源,可设置图像的分辨率、裁减、缩放等属性,以
及后端降噪功能。
FrameSource 是一个数据流相关概念,可以设置图像分辨率,格式等,并向后端提
供原始图像
OSD
时间水印功能
IVS
图像相关的算法模块
这个项目中用到了人型追钟、人型侦测报警等算法
p2p
peer to peer
这一块是涂鸦智能做的,使用MQTT传输
设备和手机在同网段下直接编码完传送给手机不需要经过服务器