【信息论】互信息I(X;Y)中H(X)怎么推导出来——p(x)怎么变成p(x,y)

问题

在研究互信息I(X;Y)时，存在：
$$I(X;Y)=H(X)-H(X|Y)$$
推导过程为：
$$H(X)=-\sum _{x}p(x)lo{g}_{2}p(x)$$
$$H(X|Y)=-\sum _x\sum _{y}p(x,y)lo{g}_{2}p(x|y)$$
$$\begin{gathered} H(X)-H(X|Y)=-\sum _{x}p(x)lo{g}_{2}p(x)+\sum _x\sum _{y}p(x,y)lo{g}_{2}p(x|y) \\ =-\sum _x\sum _{y}p(x,y)lo{g}_{2}p(x)+\sum _x\sum _{y}p(x,y)lo{g}_{2}p(x|y) \\ =-\sum _x\sum _{y}p(x,y)(lo{g}_{2}p(x)-lo{g}_{2}p(x|y)) \\ =\sum _x\sum _{y}p(x,y)(lo{g}_{2}p(x|y)-lo{g}_{2}p(x)) \\ =\sum _x\sum _{y}p(x,y)lo{g}_2\frac{p(x|y)}{p(x)} \\ =\sum _x\sum _{y}p(x,y)lo{g}_2\frac{p(x,y)}{p(x)p(y)} \\ =I(X;Y) \end{gathered}$$

之前不明白为什么第二行中$-{\sum }_{x}p(x)lo{g}_{2}p(x)$可以变为$-{\sum }_x{\sum }_{y}p(x,y)lo{g}_{2}p(x)$，下面从分别从公式和实际含义两个角度说明下：

一、公式证明

（一）假设模型

假设X存在M种取值，不妨设M=3，并设三种取值出现的概率分别为：
$$p(x_1)=A,p(x_2)=B,p(x_3)=C$$
假设Y存在N种取值，不妨设N=2，并设两种取值出现的概率分别为：
$$p(y_1)=a,p(y_2)=b$$
由于概率总和为1，故可得
$$A+B+C=1,a+b=1$$
备注：为了后续的观察，M=3和N=2是随便取，其实可为任意值

（二）计算H(X)

$$H(X)=-(Alo{g}_{2}A+Blo{g}_{2}B+Clo{g}_{2}C)$$

（三）计算$-{\sum }_x{\sum }_{y}p(x,y)lo{g}_{2}p(x)$

首先我们要先想清楚，${\sum }_x{\sum }_{y}p(x,y)$的含义：其实就将所有x出现的情况与y出现的情况都加起来，所以总共有$p(x,y)$总共有$M\ast N$种可能性，在本题$中M\ast N=6$，且我们由假设中可以知道具体是哪6种，即$p(x,y)$的取值分别为：
$$Aa,Ab,Ba,Bb,Ca,Cb$$
然后想清楚$lo{g}_{2}p(x)$中的$p(x)$有几种可能的取值：依然是3种，只是每一种x的取值会对应两种y，例如在$lo{g}_{2}p(x_1)$时有$p(x_1,y_1)=Aa$与$p(x_1,y_2)=Ab$
接下我们就可以计算了：
$$\begin{gathered} -\sum _x\sum _{y}p(x,y)lo{g}_{2}p(x) \\ =-（Aalo{g}_{2}A+Ablo{g}_{2}A+Balo{g}_{2}B+Bblo{g}_{2}B+Calo{g}_{2}C+Cblo{g}_{2}C） \\ =-a(Alo{g}_{2}A+Blo{g}_{2}B+Clo{g}_{2}C)-b(Alo{g}_{2}A+Blo{g}_{2}B+Clo{g}_{2}C) \\ =-(a+b)(Alo{g}_{2}A+Blo{g}_{2}B+Clo{g}_{2}C) \\ 由于a+b=1 \\ =-(Alo{g}_{2}A+Blo{g}_{2}B+Clo{g}_{2}C) \\ =H(X) \end{gathered}$$

二、从实际含义的角度理解

1. 实际上$-lo{g}_{2}p(x)$的含义的含义是自信息，即当x取某一值时的信息量，例如当$x=x_1$时信息量为$-lo{g}_{2}p(x_1)$
   (关于自信息的理解可以看这里自信息)

2. 而熵是对x的数学期望，即将所有x可能的取值对应的自信息全部相加，并乘以相应的概率，因此有熵的公式$H(X)=-{\sum }_{x}p(x)lo{g}_{2}p(x)$

3. ${\sum }_x{\sum }_{y}p(x,y)$表示将所有x与y可能的概率全部相加，虽然出现了y，但是后面乘以自信息不变，依然是$-lo{g}_{2}p(x)$，所以y的出现并不会整体的熵，因为计算过程中根本就没有考虑y的自信息

举个例子：

小明喜欢吃的食物有：汉堡10元，薯条5元，鸡块3元
小明吃汉堡的概率为A，吃薯条的概率为B，吃鸡块的概率为C，（A+B+C=1）

求小明每次在吃上面平均花多少钱（注意不包括喝），即

扫描二维码关注公众号，回复： 12305841 查看本文章

money_吃=10*A+5*B+3*C

现在把喝的情况也考虑进来

他还喜欢喝的饮料有：可乐5元，橙汁4元
喝可乐的概率为a，喝橙汁的概率为b，（a+b=1）

但问题为：考虑不同的饮料情况，请问小明在吃上面平均花了多少钱？
所以最后依然只求小明在吃这一方面平均花了多少钱，所以为：
（1）若喝可乐：

money_可乐 = （10*A+5*B+3*C）=money_吃

（2）若喝橙汁：

money_橙汁 = （10*A+5*B+3*C）=money_吃

（3）求吃的数学期望：

a*money_可乐+b*money_橙汁
= a*money_吃+b*money_吃
= (a+b)*money_吃
= money_吃

因为最后的问题依然求的是关于吃的钱，所以就算把喝的情况考虑进来，也不影响吃的数学期望
因为最终是把所有不同的饮料情况考虑都进去，所以相当于不用考虑饮料的不同（因为你求的是关于吃的钱）

纯属个人理解，不足之处欢迎指出