机器学习笔记3——朴素贝叶斯算法（分类）

1、贝叶斯公式

贝叶斯公式众所周知，推到也比较简单，这里直接写出结果

$$p(A|B)=p(A)\frac{p(B|A)}{p(B)}$$ 其中 $p(A)$称为先验概率， $p(A|B)$称为后验概率。贝叶斯公式的意义就在于，事件B的发生对事件A的概率产生了影响，影响系数就是 $\frac{p(B|A)}{p(B)}$

2、朴素贝叶斯

2.1 训练数据集

训练数据集$(\vec{x}_k,y_k),y_k\in {c_1,c_2,\cdots,c_K}$

2.2 模型

输入：$\vec{x}=(a_1,a_2,\cdots,a_n)$
要判断其分类，需要找出使得$p(y=c_k|\vec{x})$ 最大的$c_k$，$k=1,2,\cdots,K$
根据贝叶斯公式可知，

$$p(y=c_k|\vec{x})=p(y=c_k)\frac{p(\vec{x}|y=c_k)}{p(\vec{x})}$$
朴素贝叶斯的“朴素”二字的意义在于，假设输入 $\vec{x}_i$中的各个特征 $a_1,a_2,\cdots,a_n$都是相互独立的。因此， $$p(\vec{x}|y=c_k)=p(a_1|y=c_k)p(a_2|y=c_k)\cdots p(a_n|y=c_k)$$ 贝叶斯公式的求解将变得简单，其中 $p(\vec{x})$可以用全概率公式求解。剩下的问题就是求解 $p(y=c_k)$和 $p(a_i|y=c_k)$，常用的方法有极大似然估计和贝叶斯估计。

2.3.1 极大似然估计

假设样本总数为$N$，那么先验概率$p(y=c_k)$即属于$c_k$的样本数/总样本数$N$

$$p(y=c_k)=\frac{\sum_{i=1}^N{I(y_i=c_k)}}{N}$$ 而 $p(a_i|y=c_k)$即 $c_k$类的样本中 $a_i$出现的次数/ $c_k$类的样本数
$$p(a_i|y=c_k)=\frac{ \sum_{i=1}^N{I(y_i=c_k,x_{ki}=a_i)} } { \sum_{i=1}^N{I(y_i=c_k)} }$$

3.实例python实现