UA MATH566 统计理论4 贝叶斯统计基础1

这一讲讨论贝叶斯统计的一些基础思想，会分成三个部分，第一部分讨论贝叶斯统计的设定；第二部分讨论贝叶斯统计的估计与假设检验；第三部分讨论贝叶斯统计的置信区间。

贝叶斯公式

假设 $X$是概率空间 $(\mathcal{X},\mathcal{B}(\mathcal{X}),P_{\theta})$上的随机变量， $\mathcal{X} \subset \mathbb{R}^n$，它表示一组简单随机样本 $X_1,\cdots,X_n \sim f(x|\theta)$， $\theta$是分布的参数， $\theta \in \Theta$， $\Theta$被称为参数空间。参数空间与其Borel $\sigma$-代数构成一个可测空间 $(\Theta,\mathcal{B}(\Theta))$，用 $Cap(\Theta,\mathcal{B}(\Theta))$表示参数空间上所有可能的概率测度的集合，对于 $P_{\pi} \in Cap(\Theta,\mathcal{B}(\Theta))$，称测度 $P_{\pi}$导出的密度为参数 $\theta$的一个先验密度，记为 $\pi(\theta) = P_{\pi}(d \theta)/d \theta$，它与 $f(x|\theta)$共同决定参数与样本的联合密度：
$f(x,\theta) = f(x|\theta)\pi(\theta)$
给定一组样本，参数的后验密度是
$\pi(\theta|x) = \frac{f(x,\theta)}{f(x)} = \frac{f(x|\theta)\pi(\theta)}{\int_{\Theta }f(x|\theta)\pi(\theta)d\theta} \propto f(x|\theta)\pi(\theta)$
这个公式叫贝叶斯公式， $f(x|\theta)\pi(\theta)$叫后验密度的核，根据这个可以确定 $\theta$的分布形式。

例1 假设一个硬币掷出数字的概率是 $p$，掷出头像的概率是 $1-p$，如果 $p$的先验是 $beta(3,3)$，重复30次试验掷出了16个正面，估计这个硬币掷出正面的概率。

例2 一组简单随机样本 $X_1,\cdots,X_n \sim N(\theta,\sigma^2)$， $\theta \sim N(\mu,1/\lambda_0)$，求 $\theta$的后验分布。

贝叶斯充分统计量

称统计量 $T(X)$为贝叶斯充分统计量，如果 $\forall P_{\pi} \in Cap(\Theta,\mathcal{B}(\Theta))$，
$\pi(\theta|x) = \pi(\theta|T(x))$
即后验分布可以表示成 $\theta$与 $T(x)$的函数。

定理 如果 $T(X)$是充分统计量，则 $T(X)$是贝叶斯充分统计量，反之亦然。

证明
1）假设 $T(X)$是充分统计量，先用贝叶斯公式，然后用Fisher-Neyman定理
$\pi(\theta|x) = \frac{f(x|\theta)\pi(\theta)}{\int_{\Theta }f(x|\theta)\pi(\theta)d\theta} = \frac{h(x)g(\theta,T(x))\pi(\theta)}{\int_{\Theta }h(x)g(\theta,T(x))\pi(\theta)d\theta}=\frac{g(\theta,T(x))\pi(\theta)}{\int_{\Theta }g(\theta,T(x))\pi(\theta)d\theta}$
显然后验是只与 $\theta$和 $T(x)$有关的，因此 $T(X)$是贝叶斯统计量；
2）假设 $T(X)$是贝叶斯充分统计量，根据贝叶斯公式，
$\pi(\theta|x) = \frac{f(x,\theta)}{f(x)} = \frac{f(x|\theta)\pi(\theta)}{f(x)} \Rightarrow f(x|\theta) = \frac{\pi(\theta|x)f(x)}{\pi(\theta)} = f(x)\frac{\pi(\theta|T(x))}{\pi(\theta)}$
其中 $f(x)$只与样本有关， $\frac{\pi(\theta|T(x))}{\pi(\theta)}$只与 $\theta$和 $T(x)$有关，根据Fisher-Neyman定理， $T(X)$是充分统计量。