前言
经过对课本前七章整体考点内容的梳理，理论上现在应该对各大题的解题方法拿捏的死死的了，但是概念方面想必还不清楚，这里最后在把重要概念梳理一遍。
一、概论
⮚信息论的创始人是香农，1948年香农发表《通信的数学理论》，从而创立了信息论。
⮚ 香农对信息的定义：信息是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（人或机器）获取和利用。
⮚ 信息的十一条重要性质：①存在的普遍性②有序性③相对性④可度量性⑤可扩充性⑥可存储、传输与携带型⑦可压缩性⑧可替代性⑨可扩散性⑩可共享性⑪时效性
⮚信息按照性质的分类：语法信息、语义信息和语用信息。其中语法信息考虑的是事物运动状态和变化方式的外在形式。事物运动状态可能是连续的也可能是离散的，于是又可以分成连续信息和离散信息；再者，事物运动状态还可能是清晰的或者是模糊的，这样又可以分为明晰信息和模糊信息。
⮚信息论的发展现状：
1924年，奈奎斯特解释了信号带宽和信号速率间的关系。
1948年，香农发表《通信的数学理论》标志着信息论的正式诞生。
1959年，香农发表的《保真度准则下的离散信源编码定理》系统提出信息率失真理论，为信源压缩编码的研究奠定理论基础。
⮚通信系统基本模型
⮚ 信源是消息的发生源，即信息的提供者。
⮚ 信源编码是为了提高通信的有效性往往通过信息压缩来实现。
⮚ 加密部分的作用是在保密通信中保障通信内容不被授权者获知。
⮚ 信道编码的作用有二：①提高信源和信道的适配性和提高信息传输的可靠性。②多路通信还有信号调制部分，将多个信源发出的信号搬移到不同的频段或插入不同的时隙，达到在同一条通信线路上传输多路信号的目的，提高通信效率。
⮚ 信道是信息传输的通道。
⮚ 信道译码、解密和信源译码分别是信道编码、加密和信源编码的反过程，使信号恢复到原始状态，然后到达通信的目的地–信宿。
⮚ 信宿即信息的接收者。
⮚信源编码是为了提高信息传输的有效性。
⮚信道编码是为了提高抗干扰能力，提高信息传输的可靠性。
⮚信息论研究内容：①信息论基础②一般信息论③广义信息论
·信息论基础主要研究信息的测度、信道容量、信息率失真函数，三个概念对应香农无失真信源编码、信道编码和限失真信源编码三个定理以及信源和信道编码。
·一般信息论主要研究信息传输和处理问题。除香农定理以外，还包括噪声理论、信号滤波和预测、统计监测与估计理论、调制理论。
⮚信息论研究目的：为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。即提高信息系统的有效性、可靠性、安全性和经济性以便达到系统最优化。
二、离散信息熵
⮚信息熵与平均自信息量含义不同：
信息熵：信源的平均不确定度。
平均自信息量：消除信源不确定度所需要的信息的度量。
⮚信源熵的三种物理含义：
信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量；
信源熵H(X)是表示信源输出前，信源的平均不确定性；
用信源熵H(X)来表征变量X的随机性。
信息熵的关键性质和定理：
⮚最大离散熵定理：当信源X中各个离散消息以等概率出现时，可得到最大信源熵：Hmax(X)=log2n
⮚上凸性
⮚离散无记忆信源X的N次扩展信源的熵，等于离散信源X的熵的N倍。H(XN)=NH(X)
⮚平均互信息量符号I（X;Y），疑义度符号H（X/Y），噪声熵H(Y/X)，联合熵符号H(XY)。
⮚离散多符号记忆信源平均符号熵取极限值为：
⮚马尔可夫信源的定义：输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。
⮚信源的的冗余主要来自两个方面，一个是信源符号之间的相关性，一个是信源符号分布的不均匀性。
三、无失真离散信源编码
⮚编码的目的：为了优化通信系统
⮚通信系统的性能指标主要是有效性、可靠性、安全性、经济性
⮚信源编码通过压缩信源的冗余度来实现提高通信的有效性。
⮚信道编码是以增加信源的冗余度来实现提高信息传输的可靠性的编码。
⮚密码则是通过加密解密来实现你提高通信系统的安全性为目的的编码。
⮚离散无失真信源编码定理：无失真离散信源编码由定长编码与变长编码两种方式组成。
⮚定长编码定理：
信息率R=(K/L) log2m，只要 R≥H(X) 则可以实现无失真编码。反之亦然。即只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。
⮚变长编码定理：
若单符号离散无记忆信源的平均符号熵为H(X)，对信源符号进行m元变长编码，一定存在一种无失真编码方法，其码字平均长度K满足下列不等式：
⮚码字唯一可译条件：满足克拉夫特不等式，是存在唯一可译码的必然条件。
四、离散信道容量
⮚平均互信息量的物理意义(三种不同形式的表达式)：
（1）从接收端观察：I(X;Y) = H(X) - H(X/Y)
（2）从发送端观察：I(Y;X) = H(Y) - H(Y/X)
（3）从外部观察通信系统整体：I(X;Y) = H(X)+H(Y) - H(XY)
⮚平均互信息量的凸函数性：
平均互信息量I(X;Y)是输入分布p(xi)的上凸函数。
平均互信息量I(X;Y)是信道转移概率分布p(yj /xi)的下凸函数。
⮚数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
⮚信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍
五、纠错编码
⮚差错控制系统按照检、纠错码的应用方式分为四类：前向纠错(FEC)、反馈重传或自动请求重发(ARQ)、混合纠错(HEC)、信息反馈(IRQ)
⮚纠错编码的基本思想：
按一定规则给数字序列 m 增加一些多余的码元，使不具有规律性的信息序列 m 变换为具有某种规律性的数码序列 C。
信息码组：以 k 个码元为一组的码组
码字：n 个码元的码字
监督码元：r=(n－k)，附加的 r 个码元称为该码组的监督码元或监督元。
⮚最小码距是任意两码字之间的最小汉明距离，即不同位的最小个数。最多检错l=dmin-1个，最多纠错t=(dmin-1) / 2个
⮚信道编码定理（香农第二定理）：
若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率R<C，总可以找到一种编码，可以以所要求的任意小的误差概率实现可靠通信。
也即：对于一个离散无记忆信道，其信道容量为C，输入信源符号长度为L，当信息传输速率R＜C时，总可以找到一种编码方式，当L足够长时，译码的错误概率为任意小正数。
⮚线性分组码的性质：
⮚卷积码：
输入为一个无限长序列，每个节拍有k个符号送入编码器，同时有n个符号输出至信道，但每节拍的输出不仅与本节拍的输入有关，还与之前L-1个节拍的输入有关，记为(n, k, L)卷积码。
(n,k,m)卷积码：k 比特输入，n 比特输出，m 个移位
同样的编码效率 R 下，卷积码的性能优于分组码。
卷积码的译码方法: 维特比译码
六、连续信源熵和连续信道容量
⮚香农公式：
*⮚香农公式的物理意义：当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。当信道频带无限宽时，其信道容量与信号功率成正比。
七、信息率失真函数
⮚平均失真度：失真函数的数学期望，平均意义上表示信道每传递一个符号所引起的失真的大小。
⮚保真度准则 ：
则D就是允许失真的上界。在满足保真度准则前提下，求信息率最小值，即为信息率失真函数。
⮚信息率失真函数和信道容量C的对比：
⮚信息率失真函数R(D)的性质：
R(D)是非负函数；定义域0～Dmax , 值域0～H(X)
R(D)是单调不增、下凸的连续函数
⮚研究信道编码和率失真函数的意义：
⚫研究信道容量的意义：是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。
⚫研究信息率失真函数的意义：是为了解决在已知信源和允许失真度 D 的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。
八、限失真信源编码
⮚限失真编码定理：
简述香农三大定理内容：
香农三大定理是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理，香农第二定理是有噪信道编码定理，香农第三定理是保失真度准则下的有失真信源编码定理。
⮚无失真信源编码定理（香农第一定理）：信息率R=(K/L) log2m，只要 R≥H(X) 则可以实现无失真编码。反之亦然。即只要码字传输的信息量不小于信源携带的信息量，总可实现几乎无失真编码。
⮚有噪信道编码定理（香农第二定理）：对于一个离散无记忆信道，其信道容量为C，输入信源符号长度为L，当信息传输速率R＜C时，总可以找到一种编码方式，当L足够长时，译码的错误概率为任意小正数。即只要信息传输速率小于信道容量，就存在一类编码，使信息传输的错误概率可以任意小。
⮚限失真信源编码定理（香农第三定理）：只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D’≤D。在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。