机器学习概念：最大后验概率估计与最大似然估计 （Maximum posterior probability and maximum likelihood estimation)

版权声明： 本文为博主原创文章，未经博主允许不得转载 https://blog.csdn.net/u011467621/article/details/50040427

joey 周琦

假设有参数$\theta$, 观测$\mathbf{x}$, 设$f(x|\theta)$是变量$x$的采样分布，$\theta$是其中的参数。那么$\theta$的最大似然估计可以表示为：

$$\hat \theta_{ML}(x) = \arg \max \limits_{\theta} f(x|\theta)$$

而贝叶斯理论，假设$\theta$不是一个确定的值，而是服从某一先验分布$g$, 那么$\theta$的后验分布：

$$f(\theta|x) \propto f(x|\theta)g(\theta)$$
所以
$$\hat \theta_{MAP}(x) = \arg \max \limits_{\theta} f(x|\theta)g(\theta)$$

MAP在机器学习中也可以被理解为MLE+正则化，正则化的参数与先验分布相关