数理统计笔记：一致最小方差无偏估计

一致最小方差无偏估计

1.UMVUE的定义：

设 $\hat{g}^*(X)$为 $g(θ)$的一个无偏估计，若：
∀无偏估计 $\hat{g}(X)$，都有:
$D_θ (\hat{g}^*(X))≤D_θ (\hat{g}(X)),∀θ∈Θ$
则称 $\hat{g}^*(X)$是 $g(θ)$的一致最小方差无偏估计（UMVUE）

引理1：

$T=T(X)$是 $\theta$的充分统计量，而 $\hat{g}(X)$为 $g(θ)$的一个无偏估计，则
$h(T)=E(\hat{g}(X)|T)$是 $g(θ)$的无偏估计
并且 $D_{\theta}(h(T)) \le D_{\theta}(\hat{g}(X)),∀θ∈Θ$，等号当且仅当 $\hat{g}(X)=h(T)$时成立
改引理还表明了UMVUE一定是充分统计量的函数。

2.定理（UMVUE成立的充要条件）：

$\hat{g}(X)$为 $g(θ)$的一个无偏估计， $D_θ (\hat{g}(X))<∞$，则 $\hat{g}(X)$为 $g(θ)$的UMVUE的充分(必要)条件是：
$对任何满足条件“E_θ l(X)=0，∀θ∈Θ"的统计量l(X),必有 Cov_θ (\hat{g}(X),l(X))=E_θ [\hat{g}(X)*l(X)]=0$

推论：

$T=T(X)$是 $θ$的充分统计量， $\hat{g}(X)$是 $g(θ)$的无偏估计，对任何满足条件“ $E_θ l(T)=0，∀θ∈Θ$"的统计量 $l(T)$必有
$Cov_θ (\hat{g}(T),l(T))=E_θ [\hat{g}(T)*l(T)]=0$
则 $h(T)$是 $g(θ)$的 $UMVUE$

3.Lehmann-Scheff定理：

设 $T=T(X)$是 $θ$的充分完全统计量。若 $\hat{g}(T)$是 $g(θ)$的一个无偏估计，则 $\hat{g}(T)$是 $g(θ)$的唯一的 $UMVUE$。

推论（指数族特殊情况）：

设 $X=(X_1,X_2,…,X_n)$的分布为指数族
$f(x,θ)=C(θ)exp\{\sum^{k}_{i=1}\theta_i T_i(X)\}h(X)$
令 $T(X)=(T_1 (X),…,T_k (X))$，若自然参数空间 $Θ^*$作为 $R_k$的子集有内点，且 $\hat{g}(T(X))$是 $g(θ)$的无偏估计，则 $\hat{g}(T(X))$是 $g(θ)$的唯一的 $UMVUE$。

4．C-R下届

估计量方差的下届称为C-R下界，当 $\hat{g}$的方差达到该下届（若能），则 $\hat{g}$为 $g(θ)$的无偏估计。
C-R下届常较真下届小

5．C-R正则分布

若 单参数 概率函数族 $F={f(x,θ),θ∈Θ}$满足下列条件：

1. 参数空间 $Θ$是直线上的某个开区间；
2. 对任意 $x∈χ,θ∈Θ，f(x,θ)>0$即分布族具有共同支撑集 $\{x:f(x,θ)>0\}$
3. 对任意 $x∈χ,θ∈Θ，\frac{∂f(x,θ)}{∂θ}$存在
4. 概率函数f(x,θ)的积分与微分运算可交换：
   $\frac{∂}{∂θ}∫f(x,θ)dx=\int\frac{∂}{∂θ} f(x,θ)dx$
   $f(x,θ)$为离散时条件改为无穷级数和微分运算可交换。
5. 下列数学期望存在，且
   $0<I(θ)=E_θ [\frac{∂logf(X,θ)}{∂θ}]^2<∞$
   称该分布族为C-R正则分布族，(1)-(5)称为C-R正则条件。 $I(θ)$称为该分布的Fisher信息量（函数）

6.单参数C-R不等式（确定C-R下届）

$F={f(x,θ),θ∈Θ}$是C-R正则分布族， $g(θ)$在 $Θ$上可微， $\hat{g}(X)$是 $g(θ)$的任一无偏估计，且满足下列条件：
6. 积分
$\int⋯\int{\hat{g}(X)f(X,θ)}dx$
可在积分号下对 $θ$求导数，此处 $dx=dx_1⋯dx_n$，则有
$D_θ [\hat{g}(X)]≥\frac{(\hat{g}' (θ))^2}{nI(θ)} ，∀θ∈Θ.$
特别当 $g(θ)=θ$时
$D_θ [\hat{g}(X)]≥\frac{1}{nI(θ)} ，∀θ∈Θ.$
离散时变为
$D_θ [\hat{g}(X)]≥\frac{[\hat{g}' (θ)]^2}{n∑_i\{[\frac{∂logf(X,θ)}{∂θ}]^2 f(x_i,θ)\}},∀θ∈Θ.$

参考资料：《数理统计》第二版 韦来生编著