参考大神：http://www.52im.net/thread-228-1-1.html
实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体。
视频为何需要压缩？
1.未经压缩的数字视频的数据量巨大 2. 存储困难，一张DVD只能存储几秒钟的未压缩数字视频 3. 传输困难 1M的带宽传输1秒的数字电视视频需要大约4分钟
视频主要压缩了什么？
原始视频压缩的目的是去除冗余信息， 可以去除的包括：
1.空间冗余： 图像相邻像素之间有较强的相关性
2.时间冗余： 视频序列的相邻图像之间的内容相似
3.编码冗余： 不同像素值出现的概率不同
4.视觉冗余： 人的视觉系统对某些细节不敏感
5.知识冗余： 规律性的结构可由先验知识和背景知识得到
数据压缩分为:
无损压缩: 压缩前/解压缩后图像完全一致X=X' , 压缩比低(2:1~3:1), 典型格式例如:Winzip,JPEG-LS
有损压缩: 压缩前解压缩后图像不一致X≠X', 压缩比高(10:1~20:1), 利用人的视觉系统的特性. 典型格式例如: MPEG-2, H.264/AVC, AVS
编码器(Encoder): 压缩信号的设备或程序
解码器(Decoder):解压缩信号的设备或程序
编解码器(Codec):编解码器对
编解码的技术流程和原理
编解码器的实现平台:
超大规模集成电路VLSI
ASIC, FPGA
数字信号处理器DSP
软件
编解码器产品:
机顶盒 数字电视 摄像机 监控器
视频编码标准: 兼容不同厂家生产的编码器压缩的码流能够被不同厂家的加码器解码
标准编解码器可以进行批量生产,节约成本
主流视频编码标准:
(MPEG-2) (MPEG-4 Simple Profile ) (H.264/AVC) (AVS) (VC-1)
标准化组织 ITU VECG ISO MPEG
视频传输: 通过传输系统将压缩的视频码流从ongoing编码端传输到解码端
传输系统: 互联网 地面无线广播 卫星
视频传输面临的问题:
传输系统不可靠: 带宽限制 信号衰减 噪声干扰 传输延迟
视频传输出现的问题: 不能解码出正确的视频 视频播放延迟
视频传输差错控制: 差错控制(Error Control) 解决视频传输过程中由于数据丢失或延迟导致的问题
差错控制技术有: 信道编码差错控制技术 编码器差错恢复 解码器差错隐藏
视频传输中Qoss质量保证参数: 数据包的端到端的延迟 带宽:比特/秒 数据包的流失率 数据包的延迟时间的波动
图像是人对视觉感知的物质再现.三维自然场景的对象包括:深度,纹理和亮度信息. 二维图像: 纹理和亮度信息.
视频是连续的图像. 视频由多幅图像构成,包含对象的运动信息, 又称为运动图像.
数字视频可以理解为自然场景空间和时间的数字采样表示.
空间采样的主要技术指标为: 解析度(Resolution) 像素(Pixel)
时间采样的主要技术指标为: 帧率(帧/秒)
数字视频系统的构成和运行原理
采集: 照相机 摄像机 处理: 编解码器, 传输设备 显示: 显示器
人类视觉系统HVS的构成:眼睛 神经 大脑
HVS特点: 对高频信息不敏感
对高对比度更敏感
对高度信息比色度信息更敏感
对运动的信息更敏感
针对HVS的特点,数字视频系统的设计应该考虑的因素:
丢弃高频信息,只编码低频信息
提高边缘信息的主观质量
降低色度的解析度
对感兴趣区域(Region of interseting, ROI) 进行特殊处理
RGB色彩空间: 三原色分别是红(R), 绿(G),蓝(B) ,任何颜色都可以通过按一定比例混合三原色产生
有RGB三原色组成 广泛用于BMP, TIFF, PPM等 每个色度成分通常用8bit表示[0 255]
YUV色彩空间: Y: 高度分量 UV: 两个色度分量 YUV能更好的反映HVS特点
RGB可以转化到YUV空间,主流的编解码标准的压缩对象都是YUV图像
YUV图像可以根据HVS的特点, 对色度进行分量采样,可以降低视频数据量
根据亮度和色度分量的采样比率,YUV图像通常有以下几种分量方式: 4:4:4 4:2:2 4:2:0
根据YUV图像的亮度,分辨率定义了几种图像格式: SQCIF 128*96 QCIF CIF 4CIF SD HD
如何理解帧和场图像
一帧图像包括两场 如一帧图像分为0 ~ 9行 , 0,2,4,6,8 叫顶场 1,3,5,7,9叫底场
逐行图像是指: 一帧图像的两场在同一时间得到, ttop = tbot
隔行图像是指: 一帧图像的两场在不同时间得到, ttop ≠ tbot