一.基本方法
1.联合概率分布:
P(X=x∣Y=ck)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck)=∏j=1nP(X(j)=x(j)∣Y=ck),k=1,2,...,K
2.条件概率公式:P(B|A)=P(A,B)/P(A)
3.贝叶斯公式:
P(Bi∣A)=P(Bi,A)/P(A)=P(A).P(Bi∣A)/∑i=0nP(A∣Bi).P(Bi)
4.后验概率的根据贝叶斯定理为
P(Y=ck∣X=x)=P(Y=ck,X=x)/P(X=x)=P(Y=ck).P(X=x∣Y=ck)/∑i=0nP(X=x∣Y=ck).P(Y=ck)
5.后验概率朴素贝叶斯公式为:
P(Y=ck∣X=x)=P(Y=ck,X=x)/P(X=x)=P(Y=ck).P(X=x∣Y=ck)/∑i=0nP(X=x∣Y=ck).P(Y=ck)=P(Y=ck).∏j=1nP(X(j)=x(j)∣Y=ck)/∑i=0n∏j=1nP(X(j)=x(j)∣Y=ck).P(Y=ck)
6.朴素贝叶斯分类的基本公式:
y=f(x)=argmaxckP(Y=ck).∏j=1nP(X(j)=x(j)∣Y=ck)/∑i=0n∏j=1nP(X(j)=x(j)∣Y=ck).P(Y=ck)
二.后验概率最大化
1.
LOSS=L(Y,f(x)),Rexp(f)=E[L(Y,f(x))],因为Ex=∑P(xi).xi,所以Rexp(f)=∑k=1k[L(ck,f(x))]P(ck∣X)
2.
f(x)=argminy∈Y∑k=1kL(ck,y)P(ck∣X=x)=argminy∈Y∑k=1kP(y!=ck∣X=x)=argmaxP(y=ck∣X=x)
三.朴素贝叶斯的参数估计
先验概率P(
Y=ck)的极大似然估计为P
(Y=ck)=∑I(yi=ck)/N
极大似然估计:
就是指当你取出
Pdata(x)得出在什么条件下你取出
Pdata(X),θ就估计什么条件
Example:当A箱子有99个白球,1个黑球;B箱子有99个黑球,1个白球是,当你取出的是白球时通过极大似然估计(MLE)得出你是从A箱子中取出(因为在A箱子条件下你更加容易取出白球)反之亦然。
四.贝叶斯估计
用极大似然估计可能会出现估计的概率值为0的情况,所以要加上一个正数
λ>0常取
λ=1这时称为拉普拉斯平滑
例如:
在用贝叶斯分类时:P(该分类的概率) * P(第一个特征在该分类的条件下) * P(第二个特征在该分类的条件下)=该分类的概率