统计信号估计 (一) 克拉美罗界CRLB和正则条件的理解

克拉美罗下界实际上是对无偏估计量给出了方差的下界，也就是说，只要你使用无偏估计，方差一定大于等于CRLB，在满足某些条件的时候可以等于。但是要注意，方差大于CRLB的条件一定是无偏估计，如果是有偏估计方差是可以更小的，比如说最大似然法，贝叶斯估计等。

正则条件：

$E\left[\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right]=0$ 对于任意的 $\theta$, x 的PDF都满足
那么这个正则条件说明了什么，又是怎么的出来的呢？

• 推导
  - $\begin{aligned}E\left[\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right]= \int \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} p(\mathbf{x} ; \theta) d \mathbf{x} &=\int \frac{\partial p(\mathbf{x} ; \theta)}{\partial \theta} d \mathbf{x} \\ &=\frac{\partial}{\partial \theta} \int p(\mathbf{x} ; \theta) d \mathbf{x} \\ &=\frac{\partial 1}{\partial \theta} \\ &=0 \end{aligned}$
  求期望实际上就是对x求积分，所以左边两个表达式相等，注意这个概念，很多地方都需要这样来化简期望的。乍一看好像所有的PDF都应该满足上面的正则表达式才对，其实不是的，我们在运算的过程中忽略了一个很重要的前提——求偏导和积分可以互换，这就是正则条件的核心。这说明了x的PDF非零边界是和 $\theta$ 无关的，也就是积分上下限不含 $\theta$，举个例子， $U[-\theta,\theta]$很明显就不满足正则条件，因为此时积分和求偏导的顺序不可以交换。

CRLB结论：

$\operatorname{var}(\hat{\theta}) \geqslant \frac{1}{-E\left[\frac{\partial^{2} \ln p(\mathbf{x} ; \theta)}{\partial \theta^{2}}\right]}=\frac{1}{E\left[\left(\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right)^{2}\right]}$
这就是CRLB的表达式，很简洁，指明了任意一个无偏估计的方差下界，你可能又要问，这个怎么来的，有什么用。作用呢，很简单，既然我们已经知道了任意的无偏估计量方差都要大于等于这下界，那我的目标就很明确，找到最接近下界的估计量（最好等于），这个估计量就是最佳的无偏估计量。

最佳无偏估计量 设为 g(x),则有：

$\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}=I(\theta)(g(\mathbf{x})-\theta)$
这里的 $I(\theta)$就是我们在上面所求的 $E\left[\left(\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right)^{2}\right]$

这样的话，我们想要求最佳无偏估计量，只需要求 $\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}$， 然后将其化简成一个只含有 $\theta$ 的 $I(\theta)$乘上一个只含有x的函数与 $\theta$的差。

• 证明 $-E\left[\frac{\partial^{2} \ln p(\mathbf{x} ; \theta)}{\partial \theta^{2}}\right]={E\left[\left(\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right)^{2}\right]}$

• 由正则条件
  $\begin{aligned} E\left[\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right] &=0 \\ \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} p(\mathbf{x} ; \theta) d \mathbf{x} &=0 \\ \frac{\partial}{\partial \theta} \int \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} p(\mathbf{x} ; \theta) d \mathbf{x} &=0 \\ \int\left[\frac{\partial^{2} \ln p(\mathbf{x} ; \theta)}{\partial \theta^{2}} p(\mathbf{x} ; \theta)+\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} \frac{\partial p(\mathbf{x} ; \theta)}{\partial \theta}\right] d \mathbf{x} &=0 \end{aligned}$

• 即：
  $\begin{aligned}-E\left[\frac{\partial^{2} \ln p(\mathbf{x} ; \theta)}{\partial \theta^{2}}\right] &=\int \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} p(\mathbf{x} ; \theta) d \mathbf{x} \\ &=E\left[\left(\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right)^{2}\right] \end{aligned}$

• 证明 $\operatorname{var}(\hat{\alpha}) \geqslant \frac{\left(\frac{\partial g(\theta)}{\partial \theta}\right)^{2}}{-E\left[\frac{\partial^{2} \ln p(\mathbf{x} ; \theta)}{\partial \theta^{2}}\right]}$

• 你可能不明白为什么在上面我们看到的CRLB明明分子是1，这里就变成了一阶偏导的平方。其实这是因为最开始估计的是 $\theta$，但是这里估计的是 $\theta$的函数 $g(\theta)$，如果你令 $g(\theta)$= $\theta$，上面是不是变成了1 ？现在这个式子更符合一般情况明白了吧。

• 假设我们要估计 $\alpha$， $\alpha$是 $\theta$的函数，我们用 $g(\theta)$表示，由于是无偏估计，那么估计量 $\hat{\alpha}$的均值等于 $\alpha$，即有：

  $E(\hat{\alpha})=\alpha=g(\theta)$
  等同于： $\int \hat{\alpha} p(\mathbf{x} ; \theta) d \mathbf{x}=g(\theta)$ (1)
  再看正则条件： $E\left[\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right]=0$
  等同于： $\int \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} p(\mathbf{x} ; \theta) d \mathbf{x}=0$
  两边同时乘以待估参数 $\alpha$得： $\int \alpha \frac{\partial \ln p(\mathbf{x} ; \boldsymbol{\theta})}{\partial \boldsymbol{\theta}} p(\mathbf{x} ; \theta) d \mathbf{x}=\alpha E\left[\frac{\partial \ln p(\mathbf{x} ; \boldsymbol{\theta})}{\partial \boldsymbol{\theta}}\right]=0$ (2)
  (1)(2)两式相减得到：
  $\int(\hat{\alpha}-\alpha) \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} p(\mathbf{x} ; \theta) d \mathbf{x}=\frac{\partial g(\theta)}{\partial \theta}$ 利用柯西不等式
  $\left[\int w(\mathbf{x}) g(\mathbf{x}) h(\mathbf{x}) d \mathbf{x}\right]^{2} \leqslant \int w(\mathbf{x}) g^{2}(\mathbf{x}) d \mathbf{x} \int w(\mathbf{x}) h^{2}(\mathbf{x}) d \mathbf{x}$
  令 $w(\mathbf{x})=p(\mathbf{x} ; \theta)$… $g(\mathbf{x})=\hat{\boldsymbol{\alpha}}-\alpha$… $h(\mathbf{x})=\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}$
  可以得到： $\left(\frac{\partial g(\theta)}{\partial \theta}\right)^{2} \leqslant \int(\hat{\alpha}-\alpha)^{2} p(\mathbf{x} ; \theta) d \mathbf{x} \int\left(\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right)^{2} p(\mathbf{x} ; \theta) d \mathbf{x}$ 其中 $\int(\hat{\alpha}-\alpha)^{2} p(\mathbf{x} ; \theta) d \mathbf{x}$为方差， $\int\left(\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right)^{2} p(\mathbf{x} ; \theta) d \mathbf{x}=E\left[\left(\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right)^{2}\right]=-E\left[\frac{\partial^{2} \ln p(\mathbf{x} ; \theta)}{\partial \theta^{2}}\right]$

化简有：

$\operatorname{var}(\hat{\theta}) \geqslant \frac{\left(\frac{\partial g(\theta)}{\partial \theta}\right)^{2}}{-E\left[\frac{\partial^{2} \ln p(\mathbf{x} ; \theta)}{\partial \theta^{2}}\right]}=\frac{\left(\frac{\partial g(\theta)}{\partial \theta}\right)^{2}}{E\left[\left(\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}\right)^{2}\right]}$
等号成立的条件是： $\frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}=\frac{1}{\mathrm{c}(\theta)}(\hat{\theta}-\theta)$
这个等式是想说明达到下界的估计量满足什么样的条件，就是使上式成立, $\hat{\theta}$表示估计量。

公式太难打了，我就解释标量了，矢量更复杂