举个栗子：一部90分钟的彩色电影，每秒放映24帧。把它数字化，每帧512x512象素，每象素的R、G、B三分量分别占8 bit，总比特数为:90*60*24*3*512*512*8bit=97200MB=95GB.
如一张CD光盘可存600兆字节数据，这部电影图像(不包括声音)就需要160张CD光盘用来存储。

1、图像压缩的可能性

图像作为信源有很大的冗余度，通过编码的方法减少或去掉这些冗余信息后可以有效压缩图像，同时又不会损害图像的有效信息。数据是用来表示信息的。如果不同的方法为表示等量的信息使用了不同的数据量，那么使用较多数据量的方法中，有些数据必然是代表了无用的信息，或者是重复地表示了其它数据已表示的信息，这就是数据冗余的概念。

相对数据冗余 $$R_{D}$
如果n1和n2代表两个表示相同信息的数据集合中所携载信息单元的数量，则n1表示的数据集合的相对数据冗余 $$R_{D}$ 定义为:

其中为压缩率

相对数据冗余和压缩率的一些特例

2、图像压缩的可能性

■三种基本的数据冗余

编码冗余

如果图像中平均每个像素使用的比特数大于该图像的信息熵，则图像中存在冗余。

像素冗余

◆反映图像中像素之间的相互关系:空间冗余，几何冗余，帧间冗余

◆因为任何给定像素的值可以根据与这个像素相邻的像素进行预测，所以单个像素携带的信息相对较少

◆对于一幅图像，很多单个像素对视觉的贡献是冗余的。它的值可以通过与它相邻的像素值为基础进行预测

如:原图像数据: 250 253 251 252 250; ----40bit。

压缩后数据: 250 3 1 2 0 ---- 14bit。

视觉心理冗余

●人眼感觉到的图像区域亮度不仅取决于该区域的反射光，例如根据马赫带效应，在灰度值为常数的区域也能感觉到灰度值的变化
●这是由于眼睛对所有视觉信息感受的灵敏度不同。在正常视觉处理过程中各种信息的相对重要程度不同
●有些信息在通常的视觉过程中与另外一些信息相比并不那么重要，我们认为这些信息是心理视觉冗余的，去除这些信息并不会明显降低图像质量
➢由于消除心理视觉冗余数据会导致一定量信息的丟失，所以这一-过程通常称为量化
➢心理视觉冗余压缩是不可恢复的，量化的结果导致了数据有损压缩。

■如果能减少或消除上述三种冗余的1种或多种冗余，就能取得数据压缩的效果。

保真度准则——评价压缩算法的标准
a.客观保真度准则—定量描述
b.主观保真度准则—定性或定性基础上的定量描述

➢客观保真度准则
如果信息损失的程度，可以表示为原始或输入图像与压缩后又解压缩输出的图像的函数，这个函数就被称为客观保真度准则。
一般表示为：
e(x, y) = f '(x, y) − f (x, y)
式中：f(x,y)是输入图像，f '(x, y)是压缩后解压缩的图像， e(x,y)是误差函数
由此可得两个图像之间的均方根误差：

均方信噪比：

➢主观保真度准则

通过视觉比较两个图像，给出一个定性的评价，如很粗、粗、稍粗、相同、稍好、较好、很好，这种评价被称为主观保真度准则

二、图像压缩模型

一个图像压缩系统:编码器和解码器。
➢编码器由一个消除输了冗余的信源编码器和一个用于增强信源编码输出的噪声抗扰性的信道编码器构成。

➢解码器由一个信源解码器和一个信道解码器构成。

信源编码器

减少或消除输入图像中的编码冗余、像素间冗余及心理视觉冗余。

■转换器:减少像素间冗余,
■量化器:减少心理视觉冗余，该步操作是不可逆的
■符号编码器:减少编码冗余
并不是每个图像压缩系统都必须包含这3种操作，如进行无误差压缩时，必须去掉量化器

信源解码器

■符号解码器:进行符号编码的逆操作

■反向转换器: 进行转换器的逆操作
为什么没有反向量化器? ---量化过程导致了不可逆的信息损失

信道编码器和信道解码器
■信道编码是解决可靠性问题，尽量使处理过的信
号在传输过程中不出错或少出错，即使出错也要有能力尽量纠正错误。

■汉明(Hamming)编码:在编了码的码字后面增加足
够的比特位以保证各个正确的码字之间至少有一定数量的比特位不相同

三、信息论要素

信源的定义：信源指能够产生信息的事物

如上图。第一行是信源可能产生的信息，第二行是这些信息出现的概率

信息量：

熵：

编码应用中，熵表示信源中消息的平均信息量。在不考虑消息间的相关性时，是无失真代码平均长度比特数的下限。

说明该信源编码平均码长最短情况下为7/4，不能再小，否则就会引起错误。而平均码长比此数大许多时，就表明还有待改进。

熵的性质:
(1) 熵是一个非负数，即总有H(s)>=0。
(2) 当其中一个符号sj的出现概率p(sj)=1时，其余符号si(i≠j)的出现概率p(si)=0，H(s)=0。
(3) 当各个si出现的概率相同时，则最大平均信息量为logq。(此处对数以2为底)
(4)熵值总有H(s)< logq。(此处对数以2为底)

无失真编码定理
可以证明，在无干扰的条件下，存在一:种无失真的编码方法，使编码的平均长度L与信源的熵H(s)任意地接近, 即L=H(s)+ε。其中ε为任意小的正数，但以H(s)为其下限即L≥H(s)，这就是香农(Shannon)无干扰编码定理。

编码效率：

压缩比：

由香农(Shannon)无干扰编码定理，无失真编码最大可能的数据压缩比为：

熵与冗余度的关系
对于无失真图像的编码，原始图像数据的压缩存在一个下限，即平均码组长度不能小于原始图像的熵，而理论上的最佳编码的平均码长无限接近原始图像的熵。

信息冗余度一“信息剩余度”。是指一定数量的信号单元可能有的最大信息量与其包含的实际信息量之差。通常用R表示。在通信系统中，信源编码是降低信号中的信息冗余度的编码，目的是提高通信系统的有效性；信道编码是提高信息冗余度的编码，目的是提高通信系统的可靠性

基本编码定理

无噪声编码定理

噪声编码定理

信源编码定理

四、无损压缩和有损压缩

无误差压缩的必要性
■ 在医疗或商业文件的归档，有损压缩因为法律原因而被禁止
■ 卫星成像的收集，考虑数据使用和所花费用,不希望有任何数据损失
■X光拍片，信息的丢失会导致诊断的正确性无损压缩的压缩率一般为2-10

无误差压缩技术
■减少像素间冗余:建立一种可替代的图像表达方式
减少编码冗余:对这种表达方式进行编码

变长编码
➢霍夫曼(Huffman)编码

➢其它变长编码

➢算术编码

LZW编码

位平面编码

无损预测编码

霍夫曼编码栗子：

几种变长编码：

五、有损压缩

概述
■牺牲图像复原的准确度以换取压缩能力的增加

■如果产生的失真可以容忍，则压缩能力的增加是有效的
分类
■有损预测编码
➢直接对像素在图像空间进行操作，称为空域方法

■变化编码
➢基于图像变换的编码方法，称为变换域方法

1、有损预测编码

（1）有损压缩的基本概念

有损压缩是：■通过牺牲图像的准确率来达到增大压缩率的目的。
■如果容忍解压后的结果中有一定的误差，那么压缩率可以显著提高。
有损压缩方法的压缩比:■在图像压缩比大于30:1时，仍然能够重构图像。
■在图像压缩比为10:1到20:1时，重构图像与原图几乎没有差别，且无损压缩的压缩比很少有能超过3:1的。
有损与无损压缩的根本差别在于有没有量化器模块。

数据源编、解码一般类型：

（2）量化器

■减少数据量的最简单的办法是将图像量化成较少的灰度级，通过减少图像的灰度级来实现图像的压缩;

■这种量化是不可逆的，因而解码时图像有损失。
例如:如果输入是256个灰度级，对灰度级量化后输出，只剩下4个层次，数据量被大大减少。

（3）量化器的定义

阶梯形量化函数t=q(s)，是一个s的奇函数(即q(-s)=-q(s))，它可以通过L/2、 $$s_{i}$ 和 $$t_{i}$ 来完全描述，从而定义了一个量化器。
■ $$s_{i}$ 被称为量化器的决策级(阈值) ;

■ $$t_{i}$ 被称为量化器的重构级(代表级)。

■L: 是量化器的级数。
由于习惯的原因， $$s_{i}$ 被认为是映射到 $$t_{i}$ ，如果它在半开区间( $$s_{i}$ , $$s_{i+1}$ ]

（4）无损到有损——算法演变

基本思想

对无损预测压缩的误差进行量化，通过消除视觉心理冗余，达到对图像进一步压缩的目的。

——引入量化（Quantification）

解码原理及过程

注意:上述方案的压缩编码中，预测器的输入是fn, 而解压中的预测器的输入是fn'，要使用相同的预测器，编码方案要进行修改。

修改后的有损预测编码：

DPCM简介
差分脉冲编码调制(Differential Pulse CodeModulation, DPCM)，采用反馈方法预测估值。

编码原理图：

2、变换编码

编码、解码流程图：

变换编码基本原理

将FFT逆变换表达式进行改写：

变换编码，即要用等式的右部近似原图像。

进一步改写：

其中:
1)F是一个包含了f(x,y)的象素的n*n的矩阵;
2) $$H_{uv}$ 的值只依赖坐标变量x,y,u,v，与T(u,v)和f(x,y) 的值无关。被称为基图像。可以在变换前一次生成，对每一个n*n的子图变换都可以使用。

基图像 $$H_{uv}$ ：

误差评估：

其中，||F-^F||是(F- ^F)的矩阵范数， $$\sigma _{2T(u,v)}$ 是变换在(u,v)位置上的系数方差。
最后的简化是基于基图像的规范正交，并假设F的像素是通过一个具有0均值和已知协方差的随机处理产生的。

误差评估小结

(1)总的均方近似误差是丢弃的变换系数的方差之和(也即对于m(u,v) =0的系数方差之和)。。

(2)能把大多数信息封装到最少的系数里去的变换，可得到最好的子图像的近似，同时重构误差也最小。

(3)在导致等式成立的假设下，一个NX N的图像的(N/n)2个子图像的均方误差是相同的。因此，NX N图像的均方误差(是平均误差的测量)等于一个子图像的均方误差。

变换编码的几个关键问题

■变换的选择

■对变换的评价

■子图尺寸的选择

■压缩的位分配（编码）

变换的选择
(1) Karhunen-Loeve变换(KLT)

(2)离散傅立叶变换(DFT)

(3)离散余弦变换(DCT)

(4) Walsh-Hadamard变换( WHT)

(5)离散小波变换(DWT)

算法的实现
<1> 计算模板:方差最大的地方置1，其它地方置0;

<2>量化系数:例如最优Lloyd-Max量化器

<3〉结果编码:有两种分配二进制位的编码方法:
①系数被赋予相同数量的二进制位。
②系数之间固定地分配---定的二进制位。

六、图像视频压缩标准

1、图像压缩标准

◆JPEG—— 静态图像压缩标准
Joint Photographic Experts Group(联合图像专家组)

◆JPEG2000——新一代静态图像压缩标准

适用范围:
➢灰度图像，彩色图像
➢静止图像的压缩，视频序列帧内图像压缩

JPEG压缩标准（ISO 10918-1）

2、JPEG标准的划分

4种编码模式

■lossless encoding mode

■DCT based sequential encodingDCT_ based progressive encoding

■DCT_ based hierarchical encoding

3种技术层次(按算法的复杂性)

■基本系统(Baseline System)

■扩展系统(Extended System,提供二进制算术编码)

■专用无损失系统(Independent System)

3、JPEG2000压缩标准(ISO 15444)

■核心技术是离散小波变换(DWT)

■高压缩率

■同时支持有损和无损压缩

■实现了渐进传输

■支持“感兴趣区域”压缩

4、视频压缩

视频的定义：

■由多副尺寸相同的静止图像组成的序列

■与静止图像相比，视频多了一个时间轴，成为三维信号

5、视频编解码标准

视频压缩标准对比：

视频压缩标准对比（续）：

6、264/AVC标准

2001年12月，ITU的视频编编码专家组(VideoCoding Experts Group, 简称VCEG)与ISO/IEC的MPEG(Motion Picture Experts Group)组成联合视频组(Joint Video Team, 简称JVT) , 于2003年4月最终制定了H.264/AVC编码标准,其在ITU系列中称为H.264，在MPEG系列中称为MPEG-4第10部分高级视频编码模式(Advanced Video Coding，简称AVC。

H.264/AVC编解码器的基本架构

7、H.264实现的目标

■更高的编码效率，在H.263和MPEG-4的基础上，保持相同图像质量，节省50%的比特率。

■更好的图像质量，在各种编码速率条件下提供满意的主观图像质量。

■更强的时延适应性，适应低时延的实时通信应用，如视频会议等，也可适应高时延的数字存储等应用。

■更强的容错能力，适应包交换网络中的丢包和无线信道中的误码。

■更好的网络适应能力，分离视频编码层(VideoCoding Layer,简称VCL)和网络适配层(NetAbstraction Layer,简称NAL)，适应在不同特性的网络上打包传输。

8、视频编解码技术的下一步发展趋势探讨

■HEVC ( High Efficiency Video Coding )

■ 随着网络技术和终端处理能力的不断提高，人们对目前广泛使用的MPEG-2，MPEG-4, H. 264等，提出了新的要求。希望能够提供:

1)高清

2) 3D

3)移动无线

以满足新的家庭影院、远程监控、数字广播、移动流媒体、便携摄像、医学成像等新领域的应用。

■新一代视频压缩标准的核心目标是在H. 264/AVC high profile的基础上，压缩效率提高一倍。即在保证相同视频图像质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，可以允许编码端适当提高复杂度。

Structure of the current HEVC model (HM3)

冈萨雷斯《数字图像处理》学习笔记（八）图像压缩

一、图像压缩基本概念