3.1 参数估计：矩估计方法

3.1 矩估计方法

假设我们知道某个随机变量满足高斯分布，但不知道高斯分布的两个参数 $\mu,\sigma^2$ ，怎么估计这些参数呢，这就是参数估计要解决的问题。实践中经常遇到这种问题。显然我们必须从这个分布中抽取样本，假设随机抽取到 $n$ 个样本 $(x_1,\cdots,x_n)$ ，怎么利用这些样本估计参数呢？

一个显而易见的方法是，利用抽取的样本可以获得样本均值 $\bar {\mu} = 1/n\sum_i x_i$ ，根据中心极限定理，知样本均值 $\bar {\mu}$ 为高斯分布，均值为 $\mu$ ，方差为 $\sigma^2/n$ 。当 $n$ 较大时，方差很小，样本均值 $\bar {\mu}$ 充分接近分布均值 $\mu$ ，我们就可以样本均值作为分布均值的估计值。

同理，样本方差为 $\bar {\sigma^2} = 1/(n-1)\sum_i (x_i - \bar {\mu})^2$，则 $\frac{(n-1)\bar {\sigma^2}}{\sigma^2}$ 服从自由度为 $n-1$ 的卡方分布 $\chi(n-1)$ 。根据自由度为n的卡方分布 $\chi(n)$ 的期望等于 $n$、方差等于 $2n$ ，则可得分布方差的估计值为 $\bar {\sigma^2}$ 。注意，计算样本方差是除以 $n-1$ 而不是样本数量 $n$ ，这是个十分难以理解的事实。但是如果分布均值已知，则样本方差为 $\bar {\sigma^2} = 1/n\sum_i (x_i - \mu)^2$，就是除以样本数量 $n$ 了。

上面这种估计参数的方法称为矩估计方法。矩估计方法估计高斯分布的参数可以获得很好效果，但是用来估计拉普拉斯的参数就不太好，鲁棒性不高。这是因为矩估计方法容易受异常值影响，比如计算样本平均值时，如果某个样本值很大，远大于其他样本，则样本均值受该异常样本影响很大，会使其远离分布均值。国家发布人均收入值时，很多人有被平均的感觉，就是因为收入是厚尾分布，存在大量的马云同志把人均收入提高了，但其实很多人收入低于平均收入。同理，估计方差参数更容易受异常值影响，因为方差计算是平方，某个远离样本均值的样本值由于平方运算，会放大影响。拉普拉斯分布是厚尾分布，很容易抽样到远离分布均值的样本（异常样本），采用矩估计方法十分不稳定。所以只要分布是厚尾分布，采用矩估计就不鲁棒，现实中很多随机变量都有厚尾现象。这也是前面介绍的最小二乘法和 PCA 鲁棒性不高的原因，需要采用相应的鲁棒方法。