作者:jliang
1.重点归纳
1)朴素贝叶斯(naive Bayes)法只能用于分类,先基于特征条件独立假设学习输入/输出的联合概率分布,然后对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。
2)损失函数:0-1损失函数
3)目标函数:后验概率最大化
4)属于生成式模型
5)联合概率分布:
6)贝叶斯公式:
7)贝叶斯参数可使用极大似然估计,但是用极大似然估计可能会出现所要估计的概率值为0的情况,这是会影响后验概率的计算结果,使分类偏差。所以引入贝叶斯估计:
(1)条件概率计算公式:
(2)先验概率公式:
8)贝叶斯类型
- 高斯朴素贝叶斯(GaussianNB):适用于一般分类
- 多项式分布朴素贝叶斯(MultinomialNB):适用于文本数据(特征表示的是次数)
- 伯努利分布朴素贝叶斯(BernoulliNB):适用于伯努利分布,也适用于文本数据。用于文本时,特征表示是否出现。
2.朴素贝叶斯的学习与分类
1)朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。
(1)只能用于分类。分类步骤:
- 基于特征条件独立假设学习输入/输出的联合概率分布
- 基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y
(2)损失函数:0-1损失函数
(3)目标函数:后验概率最大化
(4)生成式模型
2)贝叶斯法对条件概率分布作了条件独立性的假设(前提),条件独立性假设使贝叶斯变得简单,但有时会牺牲一定的分类准确性。
3)联合概率分布:
4) 贝叶斯公式:
预测模型:P类别特征=P(类别)P(特征|类别)P特征
两个条件时:
多个条件时:
5)目标函数(后验概率最大化),后验概率最大等价于0-1损失函数时的期望风险最小化。
3. 朴素贝叶斯的的参数估计
1)极大似然估计:就是在假定整体模型分布已知,利用已知的样本结果信息,反推最具有可能(最大概率)导致样本结果出现的模型参数值。
(1)先验概率:
(2)条件概率:
特征维数量:j=1,2,…,n
每个特征可取值数量:l=1,2,…,Sj
标签类型数量:k=1,2,…,K
2)朴素贝叶斯算法计算步骤
(1)计算先验概率和条件概率
(2)计算给定实例(输入特征)对应的每种取值的后验概率
(3)确定实例的类别(上一步中概率最大值即为输出类别)
3)贝叶斯估计
(1)使用原因:用极大似然估计可能会出现所要估计的概率值为0的情况,这是会影响后验概率的计算结果,使分类偏差。
(2)条件概率的贝叶斯估计估计
- 相对于极大似然估计,贝叶斯估计公式中分子多了一个λ,分母多了一个Sjλ
- λ≥0
- λ=0,为极大似然估计
- λ=1,为拉普拉斯平滑
- Sj为特征Xj的取值数
(3)先验概率的贝叶斯估计
- 相对于极大似然估计,贝叶斯公式中分子多了一个λ,分母多了一个Kλ
- K为y的取值数
4.朴素贝叶斯类型
1)高斯朴素贝叶斯(GaussianNB)
- 高斯分布是正太分布,用于一般分类问题。
2)多项式分布朴素贝叶斯(MultinomialNB)
- 多项式分布:
- 适用于文本数据(特征表示的是次数,例如某个次数的出现的频率)。
3)伯努利分布朴素贝叶斯(BernoulliNB)
- 伯努利分布:
- 适用于伯努利分布,也适用于文本数据。用于文本时,特征表示是否出现,例如某个词出现为1,否则为0。
- 绝大多数情况下伯努利分布朴素贝叶斯不如多项式分布朴素贝叶斯,但有时候伯努利分布朴素贝叶斯表现要比多项式分布要好,尤其是对于小数量级的文本数据。