信道容量计算题

T1

(二进无噪信道)设 X = Y = { 0 , 1 } , Q = I 2 X=\mathcal{Y}=\{0,1\},Q=I_2 X=Y={ 0,1},Q=I2​ ,试求信道容量。

解：
有
$$\begin{array}{rl}& I(p;Q)=p(0)[Q(0|0)\log \frac{Q(0|0)}{p(0)Q(0|0)+p(1)Q(0|1)}\\ & +Q(1|0)\log \frac{Q(1|0)}{p(0)Q(1|0)+p(1)Q(1|1)}]\\ & +p(1)[Q(0|1)\log \frac{Q(0|1)}{p(0)Q(0|0)+p(1)Q(0|1)}\\ & +Q(1|1)\log \frac{Q(1|0)}{p(0)Q(1|0)+p(1)Q(1|1)}]\\ & =p(0)\log \frac{1}{p(0)}+p(1)\log \frac{1}{p(1)}=H(X)\end{array}$$
因此$C={\max }_{n(x)}H(X)=\log ||\mathcal{X}||=1$bit,当且仅当$p$为均匀分布时取得。

T2

(对称信道)设 X = Y = { 0 , 1 } \mathcal{X} = \mathcal{Y} = \{ 0, 1\} X=Y={ 0,1}, $Q=\left[\begin{array}{cc}1-\epsilon & \epsilon \\ \epsilon & 1-\epsilon \end{array}\right]$,求信道容量。
解:
计算可得

$$\begin{array}{rl}& (p;Q)=-[p(0)(1-\epsilon )+p(1)\epsilon ]\log [p(0)(1-\epsilon )+p(1)\epsilon ]\\ & -[p(0)\epsilon +p(1)(1-\epsilon )]\log [p(0)\epsilon +p(1)(1-\epsilon )]\\ & -\epsilon \log \epsilon -(1-\epsilon )\log (1-\epsilon )\\ & =H(Y)-h(\epsilon )\le \log ||\mathcal{Y}||-h(\epsilon )=1-h(\epsilon ).\end{array}$$

其中$h$为第一章中的二进熵函数。显然等号成立当且仅当输出分布$Y=\mu =(\frac{1}{2},\frac{1}{2})$是均匀分布。

由此，反解输入分布：设$\xi Q=\mu$
则当$\epsilon \ne \frac{1}{2}$时，$Q$可逆，$\xi$有唯一解，用Cramer 法则解之可得 $\xi =(\frac{1}{2},\frac{1}{2})$ 也是均匀分布。
当$\epsilon =\frac{1}{2}$ 时 $|Q|=0$,不可逆。此时解得：${\xi }_1+{\xi }_2=1$ ,即只要$\xi$是一个输入分布即可，也就是任何输入分布均可达到信道容量。$\square$

注$\xi Q=\mu$有时不一定有解，这时需采取其他方法。参看T3

T3

(对称删除信道) 设 X = { 0 , 1 } , Y = { 0 , 1 , 2 } , Q = [ 1 − ε 0 ε 0 1 − ε ε ] \mathcal{X}=\{0,1\},\mathcal{Y}=\{0,1,2\},Q=\begin{bmatrix}1-\varepsilon&0&\varepsilon\\0&1-\varepsilon&\varepsilon\end{bmatrix} X={ 0,1},Y={ 0,1,2},Q=[1−ε0​01−ε​εε​]。试求信道容量。

解:
类似T2，可得$I(p;Q)=H(Y)-h(\epsilon )$ ,但是这次不一定存在使$Y$服从均匀分布的初始分布了，原因是由于一般没有(这里利用的是线性方程组有解当且仅当系数矩阵的秩等于增广矩阵的秩)

$$r\left[\begin{array}{ccc}1-\epsilon & 0& \frac{1}{3}\\ & & \\ 0& 1-\epsilon & \frac{1}{3}\\ & & \\ \epsilon & \epsilon & \frac{1}{3}\end{array}\right]=2,$$

于是只能利用定义进行计算了，事实上

$$\begin{array}{rl}H(Y)& =-(1-\epsilon )p(0)\log (1-\epsilon )p(0)-(1-\epsilon )p(1)\log (1-\epsilon )p(1)-\epsilon \log \epsilon \\ & \le -(1-\epsilon )\log \frac{1-\epsilon }{2}\epsilon \log \epsilon \end{array}$$

其中等号成立当且仅当$X$服从均匀分布，其推导与二进熵函数类似。于是

$$C=-(1-\epsilon )\log \frac{1-\epsilon }{2}-\epsilon \log \epsilon +\epsilon \log \epsilon +(1-\epsilon )\log (1-\epsilon )=1-\epsilon \text{。口}$$