机器学习 - 贝叶斯分类算法

1.贝叶斯定理(Bayes' theorem)

描述的是关于随机事件A和B的条件概率。一般情况下，事件A和在事件B发生的条件下的概率，与事件B在时间A发生的条件下的概率是不同的，但这两者之间是存在一定的关系的，贝叶斯定理描述的就是这种关系。记L(A|B)在B发生的条件下A发生的概率。

术语：
(1) p(A)事件A发生的概率

(2) p(A|B)在事件B发生的条件下，A发生的概率

(3) p(B|A)在事件A发生的条件下，B发生的概率

(4) p(B)事件B发生的概率

(5) p(AB)事件A和事件B同时发生的概率

Base formula：
P(A|B) = p(AB)/p(B)

Bayes' theorem:

p(B|A) = p(A|B)p(B)/p(A)

2.朴素贝叶斯分类(Naive Bayes)

待分类项：x = {a1, a2, ..., an}为一个待分类项，其中每个a为x的一个特征属性 

类别集合：C = {y1, y2, ..., ym}

Naive Bayes Classification计算过程：

阶段一：数据准备

(1) x，其特征属性为a1, a2, ..., an

(2) 样本集：(x1, x2, ..., xk)

阶段二：训练阶段

(1) 计算每个类别发生的概率p(yi)

(2) 计算各个类别下各个特征属性的条件概率p(aj/yi)

阶段三：预测阶段

(1) 计算样本属于每个类别的概率p(x|yi)p(yi)

(2) 取最大项作为x的类别max(p(x|yi)p(yi))