贝叶斯推断-要点整理

在上一篇文章中，我们提到了最大似然估计法 来在已知样本的情况下求分布的参数。这一次整理一下贝叶斯推断。

1 贝叶斯推断的介绍及公式

贝叶斯推断，据说是推论统计的一种方法，使用贝叶斯定理，能在有更多证据及信息时，更新特定假设的概率。当没有足够多的数据，而又想准确地获取预测信息时，它特别有用，目前我还不清楚为什么在这样的场景下它非常有用，先整理一下与其相关的内容，看看自己能否在这个过程中有更深的理解。

贝叶斯定理：
$$\begin{array}{r}P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{P(AB)}{P(B)}=\frac{P(B|A)\ast P(A)}{P(B)}\end{array}$$

因此，我们可以推导出，参数$\theta$的后验概率为：
$$\begin{array}{r}{\Pi }_{\theta }(t|x)=\frac{f_X(x|t)\ast {\Pi }_{\theta }(t)}{f_X(x)}（t为\theta 的一个取值）\end{array}$$

并且通过概率分布可知：
$$\begin{array}{r}{f}_X(x)={\int }_{Ⓗ}P(x,t)dt={\int }_{Ⓗ}{f}_X(x|t)\ast {\Pi }_{\theta }(t)dt\end{array}$$

所以通过替换分母我们可以得到：
$$\begin{array}{r}{\Pi }_{\theta }(t|x)=\frac{f_X(x|t)\ast {\Pi }_{\theta }(t)}{{\int }_{Ⓗ}{f}_X(x|t)\ast {\Pi }_{\theta }(t)dt}\end{array}$$
到这一步，我们可以推断出$\theta$的后验分布取决于参数$\theta$的先验概率${\Pi }_{\theta }(t)$和似然函数，也就是分子部分。分母是一个归一化因子，一旦分子确定了，分母的值就随之确定了。

在已知一组样本和其分布的情况下，可以计算出$f_X(x|t)$，那么${\Pi }_{\theta }(t)$呢？

2 先验概率分布的选择

这里就涉及到先验概率的选择，接下来会介绍几种常用的先验概率分布，但这里暂且不解释为什么它们是常用的。（因为老师没讲，我也没有办法鸭）

2.1共轭先验

共轭先验(conjugate prior)的意思是 参数的先验概率分布和后验概率分布是同一种分布。指数簇分布就是共轭分布的一种。常见的搭配如下：

似然函数$f_X(x|\theta )$	先验概率$\Pi (\theta )$	后验概率$\Pi (\theta |x)$
$N(\theta ,{\sigma }^2)$	$N(\mu ,{\tau }^2)$	$N(\rho ({\sigma }^2\mu +{\tau }^2\mu ),\rho {\sigma }^2{\tau }^2),\rho =({\sigma }^2+{\tau }^2{)}^{-1}$
$P(\theta )$	伽马分布 $\Gamma (\alpha ,\beta )$	$\Gamma (a+{\sum }_{i=1}^n{x}_i,\beta +n)$
$B(n,\theta )$	贝塔分布 $Be(\alpha ,\beta )$	$Be(\alpha +n,\beta +n-x)$
$M_k({\theta }_1,...,{\theta }_k)$	Drichlet分布 $D({\alpha }_1,...,{\alpha }_k)$	$D({\alpha }_1+x_1,...,{\alpha }_n+x_n)$

推导有时间的话再补上吧！

2.2无信息先验分布

如果没有任何已知的先验信息，先验分布也可以基于样本分布构造出来。
常用的策略是：

• 拉普拉斯（统一先验)

• 不变原理

• Jeffering先验（基于Fisher信息）

  $In(\theta )=E_{\theta }[(\frac{\partial lnL(\theta |x)}{\partial \theta }{)}^2]=-E_{\theta }[\frac{{\partial }^{2}lnL(\theta |x)}{\partial {\theta }^2}]$

  先验概率$\Pi (\theta )$正比于$In(\theta )$

3 共轭先验公式推导（待补充）