视频编码标准的发展历程
目前已经有H266、AVS3、AV1等新编码标准。
H264的编码劣势
- 宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引、量化等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少；
- 由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4x4或8x8变换后的低频系数相似程度大大提高，导致出现大量的冗余；
- 由于分辨率的大大增加，表示同一个运动的运动矢量的幅值降大大增加，h264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少，因此，随着运动矢量的幅值的大幅增加，h264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低；
- h264中的关键算法如采用CABLC和CABAC两种机遇上下文的熵编码方法、deblock滤波都要求串行编码，并行度比较低；针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，h264的这种串行化处理越来约成为制约运算性能的瓶颈。
HEVC编码顺势而为，孕育而生！！
h264与HEVC关键特性对比
HEVC编码框架
附英文版和中文版。
HEVC编码标准关键特性介绍
复杂的编码结构
VPS、SPS、PPS、SS之间的关系：
slice与SS之间的关系：
tile与CTU之间关系：
tile与slice之间关系：
灵活的编码单元
为更灵活有效地表示视频内容，H.265/HEVC 为图像的划分定义了一 套全新的分割模式，包括编码单元(CodingUnit, cu)、预测单元 (PredictionUnit，PU) 和变换单元(TransformUnit, TU)。这种特性有助于编码器根据祝频内容特性、视频应用和终端的特性 来自适应地选择编码模式。
改进的帧内编码预测技术
-
亮度帧内预测模式：
■ 帧内PU 支持5种大小：4x4、8x8、16x16、32x32、64x64；
■ 每种都有35种预测模式：planar模式（模式0，适用像素值变化缓慢的区域）、DC模式（模式1，适用于大面积平坦区域）、33种角度模式；
■ DC模式和H.264 /AVC 类似，对当前块的所有像素使用同一个预测值，即它们的平均值，适合像素变化缓慢的区域；
■ planar模式的预测值由水平和垂直两个方向上已知像素的线性内插产生，特别适用于图像的平坦区域。
■ 在帧内编码中色度信号也采用相应亮度信号所采用的预测模式。 -
色度帧内预测模式：
■ 每种有5种预测模式：planar、水平（角度10）、垂直（角度26）、DC和对应的最佳亮度预测模式。 -
预测过程：
■ 35种预测模式是在PU的基础上定义的，而具体帧内预测过程的实现是以TU为单位的，标准规定PU可以以四叉树的形式划分TU，且一个PU内所有TU共享同一种预测模式。具体步骤：
● 判断当前TU相邻像素是否可用并做相应处理；
● 对参考像素进行滤波；
● 根据滤波后的参考像素值计算当前TU的预测像素值。
先进的帧间预测技术
为了提升帧间预测性能，在H. 265/HEVC 中引入了新的帧间预测技 术，包括运动信息融合技术(Merge)、先进的运动矢量预测技术( Advanced Motion Vector Predictor, AMVP) 以及基于Merge 的Skip模式。Merge 技 术 利 用 空 域 相 关性 和 时 域 相 关性 来减 少 相 邻 块 之 间 的 运 动 参 数 冗 余 ， 具体来说，就是取其相邻 PU 的运动参数作为当前 PU 的运动参数。 AMVP 技术的作用与Merge 技术类似，也是利用空域相关性和时域相关 性来减少运动参数的元余。AMVP 技术得到的运动矢量一 方面为运动估 计提供搜索起点，另一方面作为预测运动矢量使用。
- merge模式
为当前PU建立MV候选列表，存在5个候选MV，遍历这5个，进行率失真代价计算，代价最小的作为该merge的最优MV。编码器只需要传输该MV在候选列表中的索引即可； - AMVP模式
Advanced Motion Vector Prediction，利用空域和时域的运动相关性，为当前PU建立候选MV列表，选择最后MV后，进行差分编码。解码端通过运动向量残差MVD与预测MV在列表中的序号即可计算出当前PU的MV。类似于merge模式，不过AMVP模式的MV候选列表长度只有2。
RQT技术
RQT (Residual Quad-treeTransform)技术是一种基于四叉树结构的自适应变换技术，它为最优TU 模式选择提供了很高的灵活性。
HEVC使用了4种不同的整数DCT变换，4x4、8x8、16x16、32x32。
HEVC规定在帧内4x4亮度分量残差编码中使用4x4整数DST，由于帧内预测编码是基于左边和上边已经编码块的数据，因此预测块距离已编码块越近，相关性越强，预测误差越小。预测误差的这种数据分布特征和 DST 的正弦基函数 sin 非常相似，起始点最小，然后逐渐变大。但是因为 DST 计算量比 DCT 大，需要增加更多的变换类型标识，因此 DST 仅用于4*4的帧内预测亮度残差块。
TU是h265中进行变换、量化、熵编码的基本单元，4x4、8x8、16x16、32x32，CU可以以四叉树划分TU。由于PU、TU都直接由CU划分得到，二者大小没有明确关系，一个PU可能包含多个TU，一个TU也可以跨越多个PU，但二者都必须小于CU。
ACS技术
ACS (Adaptive Coeficient Scanning)包括 三类:对角扫描、水平扫 描和垂直扫描。
SAO技术
基于于块的混合编码框架必然会导致块效应、振铃效应、颜色偏差、图像模糊等失真效应，h265采用环路滤波处理，在量化之后，在熵编码之前，包括去方块滤波（Deblock Filter，DBF）、像素自适应补偿（Sample Adaptive Offset，SAO）。
DBF去除块效应，SAO去除振铃效应，先DBF之后SAO。
IBDI技术
IBDI (Internal Bit Depth Increase) 技术是指在编码器的输入端将末压缩图像像素深度由 P 比特增加到 Q 比特 (Q>P )，在解码器的输出端又将解压缩图像像素深度从 Q 比特恢复到 P 比特。
参考
新一代高效视频编码H.265/HEVC原理、标准与实现 [万帅，杨付正 编著] 2014年版。