《统计学习方法》第4章朴素贝叶斯法

朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。
对于给定的数据集，首先根据特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

4.1朴素贝叶斯法的学习与分类

4.1.1基本方法

朴素贝叶斯法对条件概率分布作了条件独立性的假设。（简单高效，但损失了分类的准确度）
朴素贝叶斯法属于生成模型，学习到的是生成数据的机制。

4.1.2后验概率最大化的含义

后验概率最大化等价于期望风险最小化准则
条件期望

期望风险最小化推后验概率最大化

4.2 朴素贝叶斯法的参数估计

4.2.1 极大似然估计

4.2.2 贝叶斯估计

贝叶斯估计：用极大似然估计可能会出现估计值为0的情况。会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法使采用贝叶斯估计。
课后题答案