题目:
我们在相关高斯噪声中观测到DC电平的两个样本:
其中
是零均值,其协方差矩阵为:
参数 是
和
的相关系数。计算A的CRLB,并且将它与
为WGN(即
)的情况进行比较。另外,解释当
时会发生什么情况?最后,解释Fisher信息对非独立观测的叠加性质。
解答:
根据多维高斯分布的性质,如果:
记:
那么:
其联合概率密度可以表示为:
其中:
根据题目条件,上式问题简化为:
相关多维高斯联合概率密度,可以参考
统计信号处理基础 习题解答3-5_weixin_43270276的博客-CSDN博客
根据CRLB的求解步骤,首先对联合概率密度对应的似然函数取自然对数,得到:
然后对带估计的参数似然函数,对A求一阶偏导,且由于 与A无关,A是标量,因此:
对上式对A再求一阶偏导,得到:
因此:
当然,我们也可以直接使用一般高斯情况的CRLB公式,即当:
那么:
上式公式参考《统计信号处理基础-估计与检测理论》3.9节,证明参考附录3C。
由于待估计的参数仅有A ,因此可以进一步使用标量情况下的化简形式,即
根据题目条件, 与本题中待估计的A无关,因此:
而
因此:
由于只有一个待估计参数,带入后可以直接得到:
因此:
两种计算结果是一致的。
由于
因此:
那么:
因此:
接下来,讨论几种ρ的特殊情况:
当 时,此时
与
完全不相关,即
与
独立同分布。因此:
此时,多次观测量的平均可以有效减小估计量的CRLB。
当 时,此时
与
完全相关, 即
与
相同,即两次观测完全相同。因此:
此时,多次观测量的由于完全相同时,对估计量的CRLB没有影响。
当 时,此时
与
相反,即
,也就是两次观测引入的噪声信号可以相互抵消,此时:
在此种情况下,如果选取估计量:
因此:
最后,讨论一下Fisher信息阵在独立和非独立观测下的性质。
首先,Fisher信息阵具有如下性质:
非负性:
可加性:如果单次观测的Fisher信息为 ,那么N次独立观测的Fisher信息为
相关内容可以参考:
针对上面的题目,显然单次观测的Fisher信息为:
如果N次观测都是独立的,那么
因此:
也就是N次独立观测的Fisher信息具有累加性。
对于非独立观测,由于互相关系数 的取值范围在[-1,1]之间,因此,根据上述推导的结果,即:
因此,可以得到:
即多次非独立观测的Fisher信息阵的取值,在单次独立观测的Fisher信息阵与无穷大之间。