朴素贝叶斯总结(一)

1. 简介

机器学习分为监督学习和无监督学习，监督学习又可分为生成模型和判别模型。

当给定训练数据D，确定假设空间H种的最佳假设。通常我们的做法是寻找一个最佳分类面，当来了一个数据X时，判断其在各个分类上的概率，输出概率最大的分类，此种方法为判别模型，常见的生成模型有SVM，逻辑回归，K近邻等。
朴素贝叶斯则属于生成模型，即先学习各分类下的特点，当来了一个数据X时，判断X在各个分类下的概率，概率最大的即为X的分类。

2. 推导公式

根据贝叶斯定理有：
$P(A|B)=\frac{P(B|A) * P(A)}{\sum_{i=1}^nP(A_i)*p(B|Ai)}$
其中P(A)被称为先验概率，其公式为：
$p(A=c_k)=\frac{\sum_{i=1}^nP(A_i=c_k)}{N}$
p(B|A)为条件概率，其公式为：
$p(B=b|A=c_k)=\frac{\sum_{i=1}^nP(b=b_i,A=c_k)}{\sum_{i=1}^nP(Ai=c_k)}$
将式子2和3带入贝叶斯定理可知，当我们求给定数据的分类时，就是求给定的数据在属于哪一类的情况下概率最大：
$y=argmaxP(A=c_k) \prod_{i=1}^n{P(X=x_i|A=c_k)}$

3. 计算

有如下的西瓜测试数据

编号	色泽	根蒂	敲声	纹理	脐部	触感	密度	含糖率	好瓜
1	青绿	蜷缩	浊响	清晰	凹陷	硬滑	0.697	0.460	是
2	乌黑	蜷缩	沉闷	清晰	凹陷	硬滑	0.774	0.376	是
3	乌黑	蜷缩	浊响	清晰	凹陷	硬滑	0.634	0.264	是
4	青绿	蜷缩	沉闷	清晰	凹陷	硬滑	0.608	0.318	是
5	浅白	蜷缩	浊响	清晰	凹陷	硬滑	0.556	0.215	是
6	青绿	稍蜷	浊响	清晰	稍凹	软粘	0.403	0.237	是
7	乌黑	稍蜷	浊响	稍糊	稍凹	软粘	0.481	0.149	是
8	乌黑	稍蜷	浊响	清晰	稍凹	硬滑	0.437	0.211	是
9	乌黑	稍蜷	沉闷	稍糊	稍凹	硬滑	0.666	0.091	否
10	青绿	硬挺	清脆	清晰	平坦	软粘	0.243	0.267	否
11	浅白	硬挺	清脆	模糊	平坦	硬滑	0.245	0.057	否
12	浅白	蜷缩	浊响	模糊	平坦	软粘	0.343	0.099	否
13	青绿	稍蜷	浊响	稍糊	凹陷	硬滑	0.693	0.161	否
14	浅白	稍蜷	沉闷	稍糊	凹陷	硬滑	0.657	0.198	否
15	乌黑	稍蜷	浊响	清晰	稍凹	软粘	0.360	0.370	否
16	浅白	蜷缩	浊响	模糊	平坦	硬滑	0.593	0.042	否
17	青绿	蜷缩	沉闷	稍糊	稍凹	硬滑	0.719	0.103	否

试判断如下测试样例是好瓜还是坏瓜：

编号	色泽	根蒂	敲声	纹理	脐部	触感	密度	含糖率	好瓜
测 1	青绿	蜷缩	浊响	清晰	凹陷	硬滑	0.697	0.460	？

计算连续数值时，把其看成符合高斯分布，带入概率密度公式进行求解，其中 $\sigma$ 和 $\mu$ 分别为平均值和方差

P(密度=0.697|好瓜=是)= $\frac{1}{\sqrt{2\pi}*0.129}exp(-\frac{(0.697-0.574)^2}{2*(0.129)*2})$ =1.956
P(密度=0.697|好瓜=否)=1.203
P(含糖率=0.460|好瓜=是)=0.788
P(含糖率=0.460|好瓜=否)=0.066
于是：
P(好瓜=是)=0.063
P(好瓜=否)=6.80* $10^{-5}$
所以此为一个好瓜

4.引入平滑概念

当属性种出现一个测试集种从来没有出现过的元素，例如，色泽=浅绿，代入公式种则会出现分子全为0的情况，使得其他的属性值也被抹去，为了避免这种情况，我们引入了平滑的概念。
$p(x_i|yi=c)=\frac{\sum_{i=1}^nP(x_i=a|y_i=c)+\lambda}{\sum_{i=1}^nP(y_i=c)+S_j*\lambda}$
公式中 $\lambda$ >=0,当 $\lambda$ =1时，我们称之为拉普拉斯平滑。
例如,本题中则为：
$P(好瓜=是)=\frac{8+1}{17+2}=0.474$

$P(色泽=青绿|好瓜=是)=\frac{3+1}{8+3}=0.526$