统计学习方法 ---朴素贝叶斯

一.基本方法

1.联合概率分布： $P（X=x | Y=c_k）=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)} | Y=c_k)=\prod_{j=1}^nP(X^{(j)}=x^{(j)} | Y=c_k),k=1,2,...,K$
2.条件概率公式：P(B|A)=P(A,B)/P(A)
3.贝叶斯公式： $P(B_i|A)=P(B_i,A)/P(A)=P(A).P({B_i}|A)/\sum_{i=0}^nP(A|B_i).P(B_i)$
4.后验概率的根据贝叶斯定理为 $P(Y=c_k|X=x)=P(Y=c_k,X=x)/P(X=x)=P(Y=c_k).P({X=x}|Y=c_k)/\sum_{i=0}^nP(X=x|Y=c_k).P(Y=c_k)$
5.后验概率朴素贝叶斯公式为： $P(Y=c_k|X=x) =P(Y=c_k,X=x)/P(X=x) =P(Y=c_k).P({X=x}|Y=c_k)/\sum_{i=0}^nP(X=x|Y=c_k).P(Y=c_k) =P(Y=c_k).\prod_{j=1}^nP(X^{(j)}=x^{(j)} | Y=c_k)/\sum_{i=0}^n\prod_{j=1}^nP(X^{(j)}=x^{(j)} | Y=c_k).P(Y=c_k)$
6.朴素贝叶斯分类的基本公式： $y=f(x)=argmax_{ck}P(Y=c_k).\prod_{j=1}^nP(X^{(j)}=x^{(j)} | Y=c_k)/\sum_{i=0}^n\prod_{j=1}^nP(X^{(j)}=x^{(j)} | Y=c_k).P(Y=c_k)$

二.后验概率最大化

1. $LOSS=L(Y,f(x)),R_{exp}(f)=E[L(Y,f(x))],因为E_x=\sum P(x_i).x_i,所以R_{exp}(f)=\sum_{k=1}^k[L(c_k,f(x))]P(c_k|X)$

2. $f(x)=argmin_{y\in Y}\sum_{k=1}^kL(c_k,y)P(c_k|X=x)=argmin_{y\in Y}\sum_{k=1}^kP(y!=c_k|X=x)=argmaxP(y=c_k|X=x)$

三.朴素贝叶斯的参数估计

先验概率P( $Y=c_k$)的极大似然估计为P $(Y=c_k)=\sum I(y_i=c_k)/ N$
极大似然估计：
就是指当你取出 $P_{data}(x)$得出在什么条件下你取出 $P_{data}(X)，\theta就估计什么条件$
Example：当A箱子有99个白球，1个黑球；B箱子有99个黑球，1个白球是，当你取出的是白球时通过极大似然估计（MLE）得出你是从A箱子中取出（因为在A箱子条件下你更加容易取出白球）反之亦然。

四.贝叶斯估计

用极大似然估计可能会出现估计的概率值为0的情况，所以要加上一个正数 $\lambda>0$常取 $\lambda=1$这时称为拉普拉斯平滑
例如：
在用贝叶斯分类时：P(该分类的概率) * P(第一个特征在该分类的条件下) * P(第二个特征在该分类的条件下)=该分类的概率