第三章、视频基础知识

本章将讲解视频的基础知识（像素、RGB、分辨率等）、视频帧（图像）与显示器之间的关系。重点讲解YUV数据格式（如YUV4:4:4､YUV4:2:2､YUV4:2:0等），并让你掌握 YUV 与RGB 之间的转换以及视频未编码码流该如何计算。

图像的基本概念

图像：平时我们看到的视频是有一幅幅图像组成，而图像是由一个个像素组成，是二维图像用有限数字数值像素的表示。如图所示，当我们放大一个图像后，能明显看到一个个像素块。

像素：由一个数字序列表示的图像中的一个最小单位。可以理解为一个二维数组的一个元素，其值大小表示灰度（强度）

分辨率：水平分辨率指的一幅图像的宽，垂直分辨率指的一幅图像的高。一般说的分辨率用水平分辨率（宽）X 垂直分辨率（高）表示。

图像深度：是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。图像深度确定彩色图像的每个像素可能有的颜色[数，或者确定灰度图像的每个像素可能有的灰度级数.它决定了彩色图像中可出现的最多颜色数，或灰度图像中的最大灰度等级。

比如一幅单色图像,若每个像素有8位，则最大灰度数目为2^8 = 256。一幅彩色图像RGB3个分量的像素位数分别为4,4,2,则最大颜色数目为2^(4+4+2) = 1024, 就是说像素的深度为10位，每个像素可以是1024种颜色中的一种。

主要的颜色空间

RGB

人的眼睛是根据所看见的光的波长来识别颜色的。可见光谱中的大部分颜色可以由三种基本色光按不同的比例混合而成，这三种基本色光的颜色就是红（Red）、绿（Green）、蓝（Blue）三原色光。这三种光以相同的比例混合、且达到一定的强度，就呈现白色（白光）；若三种光的强度均为零，就是黑色（黑暗）。这就是加色法原理，加色法原理被广泛应用于电视机、监视器等主动发光的产品中。

每个像素都有红(R),绿(G),蓝(B)三个分量 1个像素点使用3个字节，位深度为24位可表示256*256*256=16,77,216种颜色 24位真彩色。

常见的RGB的存储包含如下：

RGB16：每像素占2字节，R、G、B分别用5bit，6 bit，5 bit表示。
RGB24：每像素占3字节，R、G、B各占一字节。
RGB32：每像素占4字节，A（Alpha）、R、G、B各占一字节。

RGB24的一张 1920 * 1280 大小的图片，就占用 1920 * 1280 * 3 / 1024 / 1024 = 7.03MB 存储空间。

YCbCr色彩空间

节选自参考文献1

人类视觉系统（HVS）对色度的敏感程度低于亮度。而在RGB色彩空间里，3种颜色分量的重要性相同，所以也必须以相同的度量来存储它们，但实际上我们可以通过提高亮度的精度，降低色度的精度来有效地表示颜色图像。

YCbCr或Y'CbCr有的时候会被写作：YCBCR或是Y'CBCR，是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中。Y'和Y是不同的，Y就是所谓的流明（luminance），Y'表示光的浓度且为非线性，使用伽马修正（gamma correction）编码处理，而CB和CR则为蓝色和红色的浓度偏移量成分。

Y'CbCr不是一种绝对的色彩空间，是一种针对RGB资讯所做的编码。真正的颜色显示是根据实际RGB色盘（colorant）来决定的。因此Y'CbCr所表示的值只有在标准RGB色盘或是ICC数据（ICC profile）有提供的时候才能计算。

YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr的Y与YUV中的Y含义一致，Cb和Cr与UV同样都指色彩，Cb指蓝色色度，Cr指红色色度，在应用上很广泛，JPEG、MPEG、DVD、摄影机、数字电视等皆采此一格式。因此一般俗称的YUV大多是指YCbCr。

YUV 采样格式

节选自参考文献2

YUV 图像的主流采样方式有如下三种：

YUV 4:4:4 采样

YUV 4:2:2 采样

YUV 4:2:0 采样

YUV 4:4:4

YUV 4:4:4 表示 Y、U、V 三分量采样率相同，即每个像素的三分量信息完整，都是 8bit，每个像素占用 3 个字节。如下图所示：

其中，Y 分量用叉表示，UV 分量用圆圈表示。

四个像素为： [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
采样的码流为： Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
映射出的像素点为：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

可以看到这种采样方式与 RGB 图像大小是一样的，并没有达到节省带宽的目的，当将 RGB 图像转换为 YUV 图像时，也是先转换为 YUV 4:4:4 采样的图像。

YUV 4:2:2

YUV 4:2:2 表示 UV 分量的采样率是 Y 分量的一半。每两个Y共用一组UV分量。每个像素占用 2 个字节。如下图所示：

其中，Y 分量用叉表示，UV 分量用圆圈表示。

四个像素为： [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
采样的码流为： Y0 U0 Y1 V1 Y2 U2 Y3 U3
其中，每采样过一个像素点，都会采样其 Y 分量，而 U、V 分量就会间隔一个采集一个。
映射出的像素点为：[Y0 U0 V1]、[Y1 U0 V1]、[Y2 U2 V3]、[Y3 U2 V3]

映射为像素点时，第一个像素点和第二个像素点共用了 U0、V1 分量，第三和第四个像素点公用了 U2、V3 分量，以此类推。从而节省了图像空间。

比如一张 1920 * 1280 大小的图片，采用 YUV 4:2:2 采样时的大小为：

(1920 * 1280 * 8 + 1920 * 1280 * 0.5 * 8 * 2 ) / 8 / 1024 / 1024 = 4.68M

可以看出，比 RGB 节省了三分之一的存储空间。

YUV 4:2:0

YUV 4:2:0 采样，并不是指只采样 U 分量而不采样 V 分量。而是指，在每一行扫描时，只扫描一种色度分量（U 或者 V），和 Y 分量按照 2 : 1 的方式采样。。也就是说，如果第一行是 4:2:0，下一行就是 4:0:2，在下一行就是 4:2:0，以此类推。每四个Y共用一组UV分量。每个像素占用 12 个比特。如下图所示：

其中，Y 分量用叉表示，UV 分量用圆圈表示。

假设第一行扫描了 U 分量，第二行扫描了 V 分量，那么需要扫描两行才能够组成完整的 UV 分量。

图像像素为：
[Y0 U0 V0]、[Y1 U1 V1]、 [Y2 U2 V2]、 [Y3 U3 V3]
[Y5 U5 V5]、[Y6 U6 V6]、 [Y7 U7 V7] 、[Y8 U8 V8]

采样的码流为：
Y0 U0 Y1 Y2 U2 Y3
Y5 V5 Y6 Y7 V7 Y8

其中，每采样过一个像素点，都会采样其 Y 分量，而 U、V 分量就会间隔一行按照 2 : 1 进行采样。

映射出的像素点为：
[Y0 U0 V5]、[Y1 U0 V5]、[Y2 U2 V7]、[Y3 U2 V7]
[Y5 U0 V5]、[Y6 U0 V5]、[Y7 U2 V7]、[Y8 U2 V7]

从映射出的像素点中可以看到，四个 Y 分量是共用了一套 UV 分量，而且是按照 2*2 的小方格的形式分布的，相比 YUV 4:2:2 采样中两个 Y 分量共用一套 UV 分量，这样更能够节省空间。

一张 1920 * 1280 大小的图片，采用 YUV 4:2:0 采样时的大小为：