“概率论只不过是把常识用数学公式表达了出来”——拉普拉斯
一、朴素贝叶斯方法工作基本原理
朴素贝叶斯是基于特征条件独立假设和贝叶斯定理的分类方法。对于分类训练数据集，基于特征条件独立假设学习输入/输出的联合概率分布。对于待分类的输入，利用贝叶斯定理求出后验概率最大的输出y。
* 先验概率是根据以往经验和分析得到的概率，大多数情况是个单独概率
* 而后验概率是在某条件下的概率，大多数情况是一个条件概率，是给定输入的条件下输出的概率。
二、朴素贝叶斯模型学习
为得到输入、输出的联合概率分布，需要得到输出的先验概率分布，和条件概率分布。先验概率分布可以通过经验概率估计，条件概率分布中Y取值为k个，Xj可取值有Sj个，参数共有K*j从1到nSj连乘个。为更好地计算该条件概率，做了条件独立性的假设（类确定的条件下，用于分类的特征是条件独立的），即在某个y的条件下，x的各个特征之间是条件独立的。
朴素贝叶斯是生成模型，学习的是生成数据的机制。
三、模型分类
在分类时，对给定的输入x，通过学习到的模型计算后验概率分布（已知数据的类分布），将后验概率最大的类作为类输出。
后验概率如何得到？通过将后验概率转换为先验概率和条件概率的乘积，从而可以用学习到的模型计算得到。
后验概率最大的类即为最终分类。等价于期望风险最小化。
四、参数估计、学习
学习过程学习两个概率，一个是先验概率、一个是条件概率，先验概率的极大似然估计是将概率转为频率计算。条件概率的极大似然估计是将概率转为频率计算。
由于用极大似然估计可能会出现估计概率值为0的情况，会影响到后验概率的计算结果。因为改进使用贝叶斯估计（贝叶斯老人家自己起的名儿）
加入了拉普拉斯平滑，为大于等于0的数，一般取为1。在条件概率中，分母加λ*特征取值个数，分子加λ（概率总和为1）。在先验概率中，分母加λ*类型个数，分子加λ。
λ大于0能够使条件概率和先验概率大于0。