机器学习复习笔记7 （第七章贝叶斯分类器）

7.1 贝叶斯决策论（填空）

贝叶斯判定准则：

为最小化总体风险，只需在每个样本上选择哪个能使条件风险 $\small \boldsymbol{R}\left ( \boldsymbol{c}\mid x \right )$ 最小的类别标记，即

此时， $\small h^{*}$ 被称为贝叶斯最优分类器，与之对应的总体风险 $\small R\left ( h^{*} \right )$ 称为贝叶斯风险。

先验概率： $\small P\left ( c \right )$
类条件概率、“似然”： $\small P\left ( \boldsymbol{x}\mid c \right )$
后验概率： $\small P\left ( c\mid \boldsymbol{x} \right )=\frac{P\left ( c \right )P\left ( \boldsymbol{x}\mid c \right )}{P\left ( \boldsymbol{x} \right )}$

7.2 极大似然估计

关于极大似然估计的概念我在之前的博客中有提到，在复习笔记3，3.4小结的上面，传送门：极大似然法

本篇博客结合一个更具体地例子进行说明

试使用极大似然法估算西瓜数据集3.0（课本84页）中前3个属性的类条件概率。

假设第一个属性色泽概率分布为：
P(色泽=青绿|好瓜)= $a_{1}$
P(色泽=乌黑|好瓜)= $a_{2}$
P(色泽=浅白|好瓜)= $a_{3=}1-a_{1}-a_{2}$
似然函数：
$L\left ( \boldsymbol{a} \right )=\prod P\left ( color = x_{i}\mid Good Melon \right ) = a_{1}^{3}a_{2}^{4}\left ( 1-a_{1}-a{2} \right )$

其中上式中每项的次数是好瓜中对应色泽的瓜的个数

将似然函数分别对 $a_{1}$ 与 $a_{0}$ 求偏导

得 $\frac{\partial L\left ( \boldsymbol{a} \right )}{\partial a_{1}}=a_{1}^{2}a_{2}^{4}\left ( 3-4a_{1}-3a_{2} \right )$ ， $\frac{\partial L\left ( \boldsymbol{a} \right )}{\partial a_{2}}=a_{1}^{3}a_{2}^{3}\left ( 4-4a_{1}-5a_{2} \right )$

令上述两式等于0，即可解出：

$\left\{\begin{matrix}a_{1}=\frac{3}{8} \\ a_{2}=\frac{1}{2} \\ a_{3}=\frac{1}{8} \end{matrix}\right.$ ，与观察结果相同。

7.3 朴素贝叶斯分类器（填空、画图、计算）

估计后验概率的主要困难：类条件概率是所有属性上的联合概率，难以从有限的训练样本估计获得

前提假设

为了避开上述障碍，朴素贝叶斯分类器采用了“属性条件独立性假设”，对于已知类别，假设所有属性相互独立。

后验概率表达与计算

朴素贝叶斯分类器的训练过程就是:

基于训练集D来估计先验概率 $p\left ( c \right )$
为每个属性估计条件概率 $P\left ( x_{i}\mid c \right )$
对测试集数据进行分类，对应每个样本的分类原则：将样本在不同类别下所有属性的条件概率值相乘，得到每个类型的后验概率，对这些后验概率进行对比，选出概率最大的那一类

特别的，对于连续的属性可考虑概率密度函数，假定 $p\left ( x_{i}\mid c \right )\sim N \left ( \mu _{c,i},\sigma_{c,i}^{2} \right )$ ，其中 $\mu _{c,i}$ 和 $\sigma_{c,i}^{2}$ 分别是第c类样本在第i个属性上取值的均值和方差，则有：

$p\left ( x_{i}\mid c \right )=\frac{1}{\sqrt{2\pi }\sigma _{c,i}} exp\left ( -\frac{\left ( x_{i}-\mu _{c,i} \right )^{2}}{2\sigma _{c,i}^{2}} \right )$

具体例题可参考西瓜书P151(《机器学习》周志华)

7.4 半朴素贝叶斯分类器（画图、解释）

半朴素贝叶斯分类器的基本想法是适当考虑一部分属性间的相互依赖信息，从而既不需要完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。以此对属性条件独立性假设进行一定的“放松”。

假设所有属性都依赖于同一个属性，称为“超父”，然后使用交叉验证等模型选择方法来确定超父属性

三种属性依赖关系：

7.5 贝叶斯网（填空、问答）

贝叶斯网 (Bayesian network)亦称“信念网”(brief network)，它借助有向无环图 (Directed Acyclic Graph, DAG)来刻画属性间的依赖关系，并使用条件概率表 (Conditional Probability Table, CPT)来表述属性的联合概率分布。

为分析有向图中变量间的条件独立性，可使用“有向分离”(D-separation)找出有向图中的V型结构，V型结构父结点相连,有向边变成无向边由此产生的图称为道德图

我们引入评分函数评估贝叶斯网与训练数据的契合程度。
“最小描述长度”（Minimal Description Length, MDL）准则：综合编码长度（包括描述网路和编码数据）最短

吉布斯采样随机产生一个与证据一致的样本作为初始点，然后每步从当前样本出发产生下一个样本。假定经过次采样的得到与一致的样本共有个，则可近似估算出后验概率