交互信息量
信源的信息熵解决了定量估算信源每发出一个符号提供的平均信息量这个信源的核心问题，对于由信源、信道和信宿组成的通信系统来说，最根本的问题，还在于如何定量估算信宿收到消息后，从消息中获取多少信息的问题，也就是信息传输问题。
信道的数学模型
考虑最简单的信道，单符号离散信道，输入端允许输出\(r\)中不同的符号，输出端相应输出\(s\)中不同的符号，如下图所示
\(p(b_j/a_i)\)这个条件概率体现了信道对输入符号\(a_i\)的传递作用。不同的信道有不同的条件概率，因此条件概率\(p(b_j/a_i)\)可以称为信道的传递概率。
我们可以使用传递概率矩阵来表示信道的传递特性
\[ \begin{array}{l} \qquad \qquad \quad {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {b_1}\qquad \qquad {b_2}\qquad \ldots \qquad \quad {b_s}\\\\ [P] = \begin{array}{*{20}{c}} {{a_1}}\\\\ {{a_2}}\\\\ \vdots \\\\ {{a_r}} \end{array}\left( {\begin{array}{*{20}{c}} {p({b_1}/{a_1})}&{p({b_2}/{a_1})}& \ldots &{p({b_s}/{a_1})}\\\\ {p({b_1}/{a_2})}&{p({b_2}/{a_2})}& \ldots &{p({b_s}/{a_2})}\\\\ \vdots & \vdots & \ldots & \vdots \\\\ {p({b_1}/{a_r})}&{p({b_2}/{a_r})}& \ldots &{p({b_s}/{a_r})} \end{array}} \right) \end{array} \]
交互信息量
怎么计算两个事件之间传递的信息量，或者说怎么计算信宿接收到的信息量，我们可以这么理解，我们把对不确定性大小的消除，消除了多少不确定性就代表接收到了多少的信息。那么消除的不确定的表达式是什么呢?应该是信宿在接收前对信源发出符号的不确定性减去在接收到符号后对信源还保留的不确定性的大小。那么我们就可以定义交互信息量了，简称互信息。
互信息表示的两个事件之间传递的信息量，我们定义为
\[ I(x;y) = I(x) - I(x|y) \]
上面的定义可以这么理解：对于一个通信系统，\(I(x)\)表示接收到\(x\)前，信宿对信源发送\(x\)的不确定性，\(I(x|y)\)表示接收到符号后，推测发送的是\(x\)的还保留的不确定性，二者之差就表示信宿消除的不确定性，也就表示信宿所获得的信息量。
根据上面的表达式，我们可以推出\(I(x;y)\)的表达式为
\[ I(x;y) = I(x) - I(x|y)= -logP(x) + logP(x|y) = log\cfrac{P(x|y)}{p(x)} = log\cfrac{p(x,y)}{p(x)p(y)} = I(x) + I(y) - I(xy) \]
从另一个角度理解\(I(x|y)\)
\[ I(x;y) = I(x) - I(x|y) \]
\(I(x;y)\)表示信宿获得的信息量，\(I(x)\)表示发送方发送的信息量，那么$I(x|y)= I(x) - I(x;y) $就可以看做是在符号传输过程中损失的信息量。
反向信道
在已知先验概率\(p(a_i)\)以及信道传递概率\(p(b_j/a_i)\)的情况下，我们可以很简单的计算出后验概率\(p(a_i/b_j)\)
\[ p(a_i/b_j) = \cfrac{p(a_ib_j)}{\sum\limits_{i=1}^{r}p(a_i)p(b_j/a_i)} = \cfrac{p(a_i)p(b_j/a_i)}{\sum\limits_{i=1}^{r}p(a_i)p(b_j/a_i)} \]
那么\(p(a_i/b_j)\)可以看做是信源是\(Y\)，信宿为\(X\)的传递概率，相应的信道我们称之为反向信道，相应的反向信道传递概率矩阵为
\[ \begin{array}{l} \qquad \qquad \quad {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {\mkern 1mu} {a_1}\qquad \qquad {a_2}\qquad \ldots \qquad \quad {a_r}\\ [P] = \begin{array}{*{20}{c}} {{b_1}}\\\\ {{b_2}}\\\\ \vdots \\\\ {{b_s}} \end{array}\left( {\begin{array}{*{20}{c}} {p({a_1}/{b_1})}&{p({a_2}/{b_1})}& \ldots &{p({a_r}/{b_1})}\\\\ {p({a_1}/{b_2})}&{p({a_2}/{b_2})}& \ldots &{p({a_r}/{b_2})}\\\\ \vdots & \vdots & \ldots & \vdots \\\\ {p({a_1}/{b_s})}&{p({a_2}/{b_s})}& \ldots &{p({a_r}/{b_s})} \end{array}} \right) \end{array} \]
那么
\[ I(y;x) = I(y) - I(y|x) = -logP(y) + logP(y|x) = log\cfrac{P(y|x)}{p(y)} = log\cfrac{p(x,y)}{p(y)p(x)} = I(x) + I(y) - I(xy) \]
我们可以得到
\[ I(x;y) = I(y;x) \]
所以不论是\(X\)向\(Y\)传递信息，还是\(Y\)向\(X\)传递信息，它们传递的信息量是相同的，这也是它们为什么叫做互信息的原因。
平均交互信息量
如何计算信源\(X\)向信宿\(Y\)传递的信息的大小，或者说怎么计算信宿接收到信息的大小。同上，我们把信宿\(Y\)接收到的信息大小也定义为对信源\(X\)不确定性的消除。那么同理我们可以很快的得出交互信息量的表达式
\[ I(X;Y) = H(X) - H(X/Y) = H(X) + H(Y) - H(XY) \]
所表达的意思同上。
同样的我们可以得到
\[ I(Y;X) = H(Y) - H(Y/X) = H(X) + H(Y) - H(XY) \]
所以我们得到
\[ I(X;Y) = I(Y;X) \]