错误概率&平均错误概率的计算

发送端有三种等概率符号$({\mathrm{x}}_1,{\mathrm{x}}_2,{\mathrm{x}}_3)$,p$({\mathrm{x}}_{\mathrm{i}})=1/3$,接收端收到三种符号$({\mathrm{y}}_1,{\mathrm{y}}_2,{\mathrm{y}}_3)$,

信道转移概率矩阵为：

$$\begin{array}{rl}& \text{.}\\ & P=\left[\begin{array}{ccc}0.5& 0.3& 0.2\\ 0.4& 0.3& 0.3\\ 0.1& 0.9& 0\end{array}\right]\end{array}$$

（1）

计算接收端收到一个符号后得到的信息量 H(Y);

解：
转移概率
$$\begin{array}{rl}& \\ P=& \left[\begin{array}{ccc}0.5& 0.3& 0.2\\ 0.4& 0.3& 0.3\\ 0.1& 0.9& 0\end{array}\right]\end{array}$$
联合概率
$$P(XY)=\left[\begin{array}{ccc}\frac{1}{6}& \frac{1}{10}& \frac{1}{15}\\ \frac{2}{15}& \frac{1}{10}& \frac{1}{10}\\ \frac{1}{30}& \frac{3}{10}& 0\end{array}\right]$$

$$p(y_1)=\frac{1}{6}+\frac{2}{15}+\frac{1}{30}=\frac{1}{3},p(y_2)=\frac{1}{2},p(y_3)=\frac{1}{6}$$

后验概率
$$\begin{array}{r}P(X\mid Y)=\left[\begin{array}{ccc}\frac{1}{2}& \frac{2}{5}& \frac{1}{10}\\ \frac{1}{5}& \frac{1}{5}& \frac{3}{5}\\ \frac{2}{5}& \frac{3}{5}& 0\end{array}\right]\end{array}$$

$$H(Y)=\frac{1}{3}\log (3)+\frac{1}{2}\log (2)+\frac{1}{6}\log (6)=1.459$$

（2）

计算噪声熵 H(Y/X);

解：

$$H(Y\mid X)=\frac{1}{6}\log (2)+\frac{1}{10}\log (\frac{10}{3})+\frac{1}{15}\log (5)+\frac{2}{15}\log (\frac{5}{2})+\frac{1}{10}\log (\frac{10}{3})+\frac{1}{10}\log (\frac{10}{3})+\frac{1}{30}\log (10)+\frac{3}{10}\log (\frac{10}{9})=1.175$$

（3）

计算接收端收到一个符号y${}_2$的错误概率；

解：

当接收为 y2,发为 x2 时正确，如果发的是 x1 和 x3 为错误，各自的概率为：

$$\text{P(x1/y2)=}\frac{1}{5},\text{P(x2/y2)=}\frac{1}{5},\text{P(x3/y2)=}\frac{3}{5}$$

其中错误概率为：

$$Pe=P(x1/y2)+P(x3/y2)=\frac{1}{5}+\frac{3}{5}=0.8$$

（4）

计算从接收端看的平均错误概率；

解：

平均错误概率为

$$\frac{2}{15}+\frac{1}{30}+\frac{1}{10}+\frac{3}{10}+\frac{1}{15}+\frac{1}{10}=0.733$$

（5）

计算从发送端看的平均错误概率；

解：
仍为 0.733

（6）

从转移矩阵中能看出该信道的好坏吗？

解：
此信道不好。 原因是信源等概率分布，从转移信道来看
正确发送的概率 x1-y1 的概率 0.5,有一半失真
x2-y2 的概率 0.3,有失真严重
x3-y3 的概率0，完全失真

（7）

计算发送端的 H(X)和 H(X/Y)

解：

$$H(X)=\log (3)=1.585$$
$$H(X\mid Y)=\frac{1}{6}\log (2)+\frac{1}{10}\log (5)+\frac{1}{15}\log (\frac{5}{2})+\frac{2}{15}\log (\frac{5}{2})+\frac{1}{10}\log (5)+\frac{1}{10}\log (\frac{5}{3})+\frac{1}{30}\log (10)+\frac{3}{10}\log (\frac{5}{3})=1.301$$