UA MATH566 统计理论1 充分统计量例题答案3

例1.18 $X_1,\cdots,X_n \sim_{iid} N(\mu,\sigma^2)$，验证 $T(X)=(\bar{X},SST)$是完备统计量。
先写出样本的联合概率密度，
$f(x_1,\cdots,x_n) = \prod_{i=1}^n \{\frac{1}{\sqrt{2\pi \sigma} } \exp \left( - \frac{(X_i-\mu)^2}{2\sigma^2} \right)\} \\ = (2\pi)^{-n/2}\sigma^{-n}\exp\left( -\frac{1}{2\sigma^2}\sum_{i=1}^n (X_i-\mu)^2\right)$
我们把指数中的完全平方拆分一下，
$\sum_{i=1}^n (X_i-\mu)^2 = \sum_{i=1}^n(X_i-\bar{X}+\bar{X}-\mu)^2 \\= \sum_{i=1}^n(X_i-\bar{X})^2 + n(\bar{X}-\mu)^2 = SST +n(\bar{X}-\mu)^2$
交叉项为0，因为
$\sum_{i=1}^n(X_i-\bar{X})(\bar{X}-\mu) =(\bar{X}-\mu) (\sum_{i=1}^n X_i-n\bar{X}) =0$
因此
$f(x_1,\cdots,x_n) = (2\pi)^{-n/2}\sigma^{-n}\exp\left( -\frac{1}{2\sigma^2}[SST +n(\bar{X}-\mu)^2]\right)$
它只与 $(\bar{X},SST)$以及参数有关，根据Fisher-Neyman定理， $(\bar{X},SST)$是充分统计量。接下来验证它的完备性。因为 $\bar{X}$与 $SST$互相独立，所以可以分别考虑这两者对 $\mu$和 $\sigma^2$的完备性。对于样本均值，考虑它对 $N(\mu,1)$的完备性，假设 $h_1$是它的一个可测函数，则
$E[h_1(\bar{X})] = \int_{-\infty}^{+\infty} h(x) \frac{1}{\sqrt{2 \pi}}\exp\left( -\frac{1}{2}(x-\mu)^2 \right)dx=0 \\ \Rightarrow \int_{-\infty}^{+\infty} h(x) \exp(-x^2/2) \exp(x\mu)=0$
这是 $h(x)\exp(-x^2/2)$的Laplace变换，根据Laplace变换的完备性，
$h(x)\exp(-x^2/2)=0,h(x)=0,\forall x$
接下来考虑 $SST$对 $N(0,\sigma^2)$的完备性。 $SST\sim \chi_{n-1}$，类似的 $SST$的可测函数的期望可以写成含这个可测函数的Laplace变换，下面的步骤大家自己尝试。

例1.19 $X_1,\cdots,X_n \sim_{iid} f(x|\theta) = h(x)e^{Q^T(\theta)T(x)-b(\theta)}$，验证 $T(X)$是完备统计量。
思路一样，需要用到自然形式的指数族的 $T(X)$也服从某一自然形式的指数分布的结论。所有指数分布族，证明完备性的思路都是写成Laplace变换的形式，根据Laplace变化的唯一性（或者也叫完备性）来说明统计量的完备性。

例1.20 $X_1,\cdots,X_n \sim_{iid} f(x|\theta) = \theta x^{\theta-1}I_{(0,1)}(x)$，找完备充分统计量。
先写出联合概率密度，
$f(x_1,\cdots,x_n|\theta) = \theta^{n} \left(\prod_{i=1}^n x_i \right)^{\theta-1} \prod_{i=1}^n I_{(0,1)}(x_i) \\= \theta^{n} \left(\prod_{i=1}^n x_i \right)^{\theta-1} I(0<x_{(1)}<x_{(n)}<1)$
根据Fisher-Neyman定理， $T(X)$是充分统计量
$T(X) = \prod_{i=1}^n X_i$
现在证明它的完备性。先考虑 $Y=-\ln X$的分布，
$P(Y \le y) = P(X > e^{-y}) \Rightarrow F_Y(y) = 1-F_X(e^{-y}) \Rightarrow f_Y(y) = e^{-y} f_X(e^{-y}) \\ f_Y(y) = e^{-y} \theta e^{-y(\theta-1)} = \theta e^{-\theta y},y>0$
这是 $\Gamma(1,\theta)$，具有可加性，因此记
$Z= \sum_{i=1}^n Y_i = -\ln \prod_{i=1}^n X_i \sim\Gamma(n,\theta)$
从而 $T(X) = e^{-Z}$， $Z$也是一个充分统计量，记 $h$是 $Z$的一个可测函数，则
$E[h(Z)] = \int_{0}^{+\infty} h(z)\frac{\theta^n z^{n-1}}{\Gamma(n)} e^{-\theta z}dz \\ = \int_{0}^{+\infty} h(z)\frac{ z^{n-1}}{\Gamma(n)} e^{-\theta z + (n-1) \ln \theta}d(\theta z)$
这是 $h(z)z^{n-1}/\Gamma(n)$的Laplace变换，其中 $z^{n-1}/\Gamma(n)>0$，因此 $h(z)=0$， $Z$是完备统计量。

最后做个简单的总结。关于统计量的充分性主要有三个问题：

1. 找充分统计量；
   这个问题原理就是Fisher-Neyman定理，把样本的联合概率密度写出来就可以直接看出来；
2. 找最小充分统计量；
   这个问题是算两组样本的似然比，似然比与参数无关当且仅当样本的统计量相等时，那个充分统计量就是最小的
3. 找完备统计量；
   完备统计量的证明有三种常见的情况。样本空间有限的离散型随机变量，把期望表示成多项式，多项式恒为零说明系数均等于0；样本空间无限的离散型随机变量，把期望表示成Z变换或者幂级数，根据Z变换或者幂级数的唯一性说明统计量的完备性；连续型随机变量，把期望表示成Laplace变换的形式（指数分布族是肯定可以的），根据Laplace变换的唯一性说明统计量的完备性。