最大后验概率&最大似然估计

问题是，已知样本结果D，求最大概率的参数$\theta $

最大后验概率(MAP)：

求使$P(\theta |D)$最大的$\theta $；

$P(\theta |D)=\frac{P(D|\theta )P(\theta )}{P(D)}$

其中，P(D)为已知量，常量，因为样本结果已经定了;

求$max P(\theta |D)$，相当于求$max{P(D|\theta )P(\theta )}$

最大似然估计（MLE）：

相当于求$P(\theta )$为均匀分布时的$maxP(\theta |D)$;

即求$max{P(D|\theta )$;

似然函数$l(\theta)=  P(D|\theta )=P(x_{1},...,x_{N}|\theta )=\prod_{i=1}^{N}P(x_{i}|\theta )$

扫描二维码关注公众号，回复： 7146950 查看本文章

已知样本D，求$\theta$，样本间相互独立；

解法：求$Ln (l(\theta ))$，再求偏导，$\frac{\partial Ln (l(\theta ))}{\partial \theta }$