对互信息量的理解

转自：https://blog.csdn.net/susiesun99/article/details/80460269

在概率论中对于两个随机变量X与Y，我们定义若两个随机变量X,Y满足

P(X,Y)=P(X)P(Y)

则我们说随机变量X,Y独立。即我们仅仅停留在随机变量X与Y是否相关这个非黑即白的问题上，而引入信息论中的互信息量，我们不仅可以说明随机变量X与Y之间是否相关，更可以反映随机变量之间相关性的强弱。我们定义信源X发出的消息a_i通过信道后，信宿Y只可能收到由于干扰作用引起的某种变型b_j，我们将由新宿收到b_j后推测信源发出a_i的概率p(a_i | b_j)称为后验概率，p(a_i)称为先验概率，此时定义b_j对a_i的互信息量为

上式可化为

下面我们将不通过数学推导，仅从物理含义解释互信息量。

首先我们已知条件自信息量I(a_i|b_j)在数值上与该事件所包含的不确定度相同，但两者的含义是不同的；不确定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息。

从不确定度的角度来看，上式中我们可以知道互信息量就是在对bj一无所知的条件下ai存在的不确定度与引入bj后ai仍存在的不确定度之差，就是引入bj后不确定度被消除的部分，也就是通过bj我们确定下来的信息，即我们通过bj获得的对ai的信息量。

从信息量的角度看时，I(a_i)是对bj一无所知的情况下发生ai后我们获得的信息量，I(a_i|b_j)是引入bj后发生ai我们获得的信息量。不难想象，当bj与ai毫无相关性，即相互独立时，此时p(ai | bj)=p(ai), I(a_i|b_j)=I(a_i)，我们通过信宿收到的bj是无法推测信源是否发出了ai，即通过引入bj来推测ai所得到的信息量是为0的，则此时互信息量为0，相当于信道不传递任何信息，可以看做信道断开；而如果bj与ai是一一对应的关系，即我们在信宿接收到bj时我们能完全确定信源就是ai，此时p(ai | bj)=1, I(a_i|b_j)=0，此时的互信息量最大且等于I(a_i)。

在思考信息量的时候我曾有一个误区，总是不经意间把信息量I(a_i|b_j)当做在在bj发生时我们对ai所确定下来的东西，而实际恰恰相反，信息量是未知的，信息量I(a_i|b_j)是不确定的信息，可以看做是信宿为bj时信源为ai的惊讶度，正因为有惊讶度的存在，所以才会有从bj得到关于ai的信息量。这样也解释了上述的所有问题，若bj和ai一一对应，我们通过bj可以完全确定ai，则我们收到bj时对ai没有任何的未知，故I(a_i|b_j)=0。当bj和ai相互独立的时候，就算知道bj也对ai没有任何帮助，所以面对bj和ai都是一样的未知，故I(a_i|b_j)=I(a_i)。

所以bj对ai的互信息量是通过bj对ai确定下来的信息，是信源ai通过信道传递到信宿这个过程中流经信道的信息量。