2.1 闲聊贝叶斯公式

贝叶斯公式我过去一直都挺眼熟， $P(A|B)*P(B) = P(B|A)*P(A)$，这么简单的公式到底要怎样利用，我可是一直没弄明白过，以至于每当别人问我贝叶斯公式是什么时，我都不敢说知道。接下来我们就要好好弄清楚贝叶斯公式的应用。
现在我们有这样一个问题：已知一批样本，分别属于A和B两个类别，并且两种类别的概率已知，先从中随机拿出一个样本，并且观察到该样本有特征 $x$，问该样本的类别为A和B的概率分别是多少？
上述问题可以采用贝叶斯公式解决。
概率论中的贝叶斯公式如下：
$P(w_i|x) = \frac{p(x|w_i)P(w_i)}{p(x)}=\frac{p(x|w_i)P(w_i)}{\sum_{j=1}^n p(x|w_j)P(w_j)}$
其中 $w_i$代表样本的类别 $i$， $x$代表样本特征。其中 $P(w_i)$称为先验概率（priori probability: 指在没有对样本进行任何观测情况下的概率）； $P(w_i|x)$称为后验概率（posterior probability: 指在已知特征 $x$情况下样本属于各类的概率）； $p(x)$称作特征 $x$的总体密度； $p(x|w_i)$称作类条件密度，它描述了各类样本的特征分布。
上述问题其实是让我们求解各种类别的后验概率，由于先验概率 $P(w)$是已知的，与当前样本无关，并且 $p(x|w)$项可以设法根据一定的已知样本（训练样本）进行估计，因此后验概率$P(w_i|x) $的求解变得很简单了。
以下有一个很简单贝叶斯公式应用实例：

最小错误率贝叶斯决策：分别求解各类决策的后验概率，选择后验概率最大的决策。
由于不同情况的分类错误所带来的损失是不同的。
最小风险贝叶斯决策：分别将各类决策的后验概率与决策损失相乘，选择风险最小的决策。（最小错误率贝叶斯决策可看作一类特殊的最小风险贝叶斯决策）

注：如无特殊说明，以上博文中的图片均来源于张学工所著《模式识别》第三版