无线通信基础（三）：高斯噪声中的估计

1、标量估计

  若我们有观测量
$y=x+w,$其中 $w\sim \mathcal{N}(0,\frac{N_0}{2})$，为了从独立的AWGN中获得零均值实信号 $x$的估值 $\hat x$，我们采用MSE估计，即
${\rm MSE}:={\mathbb E}[(x-{\hat x})^2]，$这里的平均既是针对随机信号 $x$的，也是针对噪声 $w$的。估计问题与高斯噪声中的检测问题有很大不同，因为检测是要在有限种可能中做出判断，而估计问题却是要获得估计值。
  下面我们先从无观测时的估计出发，随后再讨论有观测的情况。

（1）情况1: 只有X的PDF可知

  现在有一随机变量 $X$，想要对其进行估计，假定其PDF $p_{\rm X}(x)$已知，则其MSE为
${\rm MSE}={\mathbb E}[(X-{\hat x})^2]=\int{(x-{\hat x})^2p_{\rm X}(x)}dx.$为了最小化MSE，我们求其关于 $\hat x$的一阶导数，有
$-2\int{(x-{\hat x})p_{\rm X}(x)}dx=0，$因此
$\int {{\hat x}p_{\rm X}(x)}dx=\int {xp_{\rm X}(x)}dx，$即 ${\hat x}={\mathbb E}[X]$。进一步，我们求MSE关于 $\hat x$的二阶导数，有
$2\int{p_{\rm X}(x)}dx=2>0，$即当 ${\hat x}={\mathbb E}[X]$时，MSE最小。这样我们可以得到最小MSE为
${\rm MSE}={\mathbb E}[(X-{\hat x})^2]={\mathbb E}[(X-{\mathbb E}[X])^2]={\rm var}[X].$

【小结】如果我们知道随机变量 $X$的PDF，则当其估计值 ${\hat x}={\mathbb E}[X]$时候，能够得到最小MSE，这个最小MSE就是 $X$的方差。

（2）情况2: 与X相关的随机变量Y的观测值可知

  若我们有观测量
$Y=X+W,$其中 $W\sim \mathcal{N}(0,\frac{N_0}{2})$为独立的AWGN，则可以用后验概率密度函数 $p_{\rm X|Y}(x|y)$来代替 $p_{\rm x}(x)$。现在我们的目标是最小化
${\rm MSE}:={\mathbb E}[(X-{\hat x(y)})^2|Y=y]=\int{(x-{\hat x(y)})^2p_{\rm X|Y}(x|y)}dx，$这里我们引入 ${\hat x}(y)$是想表示与测量值 $Y$的特定取值 $y$相关联的估计值 $\hat x$（这意味着不同的 $y$会有不同估计值 $\hat x$)，不过为了表达式看起来更简洁，下文中我们用 $\hat x$代替 $\hat x(y)$。与无测量情况相同，我们求一阶导数：
$-2\int{(x-{\hat x})p_{\rm X|Y}(x|y)}dx=0,$因此可以得到
${\hat x}=\int{xp_{\rm X|Y}(x|y)}dx={\mathbb E}[X|Y=y].$与之相关的MMSE为条件方差 $\sigma_{\rm Y|X}^2$。显然与无测量时的唯一区别在于，我们将测量值作为条件。

【小结】如果我们知道与随机变量 $X$相关的随机变量 $Y=y$（观测量），则当 $X$的估计值 ${\hat x}={\mathbb E}[X|Y=y]$时候，能够得到最小MSE，这个最小MSE就是条件方差 $\sigma_{\rm Y|X}^2$。

  下面我们来说明问什么MMSE估计器具有正交性质，即误差与观测量独立：
${\mathbb E}[(X-\hat x)Y]=0.$

证明：
  由于 $\hat x$为 $X$的估计值，因此有
${\mathbb E}_{\rm XY}[{\hat x}Y]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}{\hat x}yp_{\rm X,Y}(x,y)dxdy$ $=\int_{-\infty}^{\infty}yp_{\rm y}(y)[\int_{-\infty}^{\infty}{\hat x}p_{\rm X|Y}(x|y)dx]dy,$对于MMSE估计，由于 ${\hat x}={\mathbb E}[X|Y=y]$，因此有
${\mathbb E}_{\rm XY}[{\hat x}Y]=\int_{-\infty}^{\infty}yp_{\rm y}(y)[\int_{-\infty}^{\infty}{ x}p_{\rm X|Y}(x|y)dx]dy$ $=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}{x}yp_{\rm X,Y}(x,y)dxdy={\mathbb E}_{\rm XY}[XY].$故可以得到
${\mathbb E}_{\rm XY}[({X-\hat x})Y]=0.$获证。

  显然，决定MMSE正交特性的关键原因是，此时的估计值 $\hat x$就是 $X$在 $Y=y$时候的条件均值，即 ${\hat x}={\mathbb E}[X|Y=y]$。一般来说，条件均值算子 ${\mathbb E}[X|y]$是关于 $y$的复杂非线性函数。为了简化分析，我们假定该算子是线性的，由于 $x$的均值为零，则有 ${\hat x=cY}。事实上，$当 $x$是高斯随机变量时，这个假定不失一般性，因为在这种情况下，条件平均算子确实是线性的。
  下面我们来看如何获得 $c$？由MMSE的正交性可以得到
${\mathbb E}[(X-cY)Y]=0,$因此，有
${\mathbb E}[X^2]=c{\mathbb E}[X^2]+c{\mathbb E}[W^2],$故
$c=\frac{{\mathbb E}[X^2]}{{\mathbb E}[X^2]+{N_0}/{2}}.$对该结果直觉上的理解是，我们用发送信号能量( ${\mathbb E}[X^2]$)在总接收能量( ${\mathbb E}[X^2]+{N_0}/{2}$)中所占的比例大小，对接收信号 $y$进行加权。此时相应的MMSE为
${\mathbb E}[(X-\hat x)^2]={\mathbb E}[(X-cY)^2]=c\cdot\frac{N_0}{2} ,$即
${\rm MMSE:}\ \frac{{\mathbb E}[X^2]\cdot \frac{N_0}{2}}{{\mathbb E}[X^2]+{N_0}/{2}}.$

2、实向量空间中的估计

  现在考虑在向量空间中估计 $X$，即
${\bf y}={\bf h}x+{\bf w},$这里的 $x$与 ${\bf w}\sim {\mathcal N}(0,\frac{N_0}{2}{\bf I})$相互独立， ${\bf h}\in {\mathbb R}^n$。已知 $\bf y$到 $\bf h$方向上的映射
$\tilde y=\frac{{\bf h}^{\rm T}{\bf y}}{||\bf h||^2}=x+w$是充分统计量，这是因为 $\bf y$到与 $\bf h$正交方向上的映射与信号 $x$以及 $w$( $\bf h$方向上的噪声)都正交。这样我们就可以将问题变为标量估计：从 $\tilde y$中估计 $x$，其中 $w\sim {\mathcal N}(0,\frac{N_0}{2||{\bf h}||^2})$。因此，应用MMSE估计，可以得到 $x$的最优线性估计为
${\hat x}=\frac{{\mathbb E}[X^2]||{\bf h}||^2}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}/{2}}{\tilde y},$根据 $\hat x={\bf c}^{\rm T}{\bf y}$，可得
${\bf c}=\frac{{\mathbb E}[X^2]}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}/{2}}{\bf h},$以及
${\rm MMSE}=\frac{{\mathbb E}[X^2]\cdot \frac{N_0}{2}}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}/{2}}.$
另外一种衡量线性估计器性能的指标是信噪比
${\rm SNR}:=\frac{({\bf c}^{\rm T}{\bf h})^2{\mathbb E}[x^2]}{||{\bf c}||^2\cdot \frac{N_0}{2}},$定义为估计中信号能量与噪声能量的比值，这是由 $\hat x={\bf c}^{\rm T}{\bf y}$得到的。

3、复向量空间中的估计

  将我们的讨论扩展到复数域是很自然的。我们首先考虑复数标量估计
$y=x+w,$这里 $w\sim {\mathcal CN}(0,N_0)$与零均值发送信号 $x$独立。假定线性估计 $\hat x=c^*y$，有
${\rm MSE}={\mathbb E}[|x-\hat x|^2]$ $c=\frac{{\mathbb E}[|x|^2]}{{\mathbb E}[|x|^2]+{N_0}},$ ${\rm MMSE}=\frac{{\mathbb E}[X^2]N_0}{{\mathbb E}[X^2]+{N_0}}.$
  MMSE的正交性为 ${\mathbb E}[(\hat x -x)y^*]=0.$
  下面考虑如何在复向量空间里估计标量 $x$
${\bf y}={\bf h}x+{\bf w},$其中 $w\sim {\mathcal CN}(0,N_0{\bf I})$与 $x$独立，且 ${\bf h}\in \mathcal{C}^n.$与实向量空间类似，我们可以得到
$\tilde y=\frac{\bf h^{\rm H}y}{||{\bf h}||^2}=x+w,$其中， $w\sim{\mathcal CN}(0,\frac{N_0}{||{\bf h}||^2})$。因此，最优估计器为
${\bf c}=\frac{{\mathbb E}[X^2]}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}}{\bf h},$以及
${\rm MMSE}=\frac{{\mathbb E}[X^2]\cdot {N_0}}{{\mathbb E}[X^2]||{\bf h}||^2+{N_0}}.$