第五章决策树

决策树是基于特征（非数字，如年龄，身高特征）进行分类的过程，通常包括特征选择，决策树的生成，决策树的剪修。

5.1决策树模型与学习

5.1.1决策树模型
决策树由节点（内节点（特征或者说属性）和叶节点（类））和有向边组成，是一种对实例进行分类的树形结构。
5.1.2决策树与if-then
决策树模型可以看做是if-then的合集，每条路径构建一条规则，每个实例都能随此找到对应的分类。
5.1.3决策树与条件概率分布
决策树还表示给定特征条件下的条件概率分布（有点类似kd树）。对特征空间进行划分，叶节点上的实例对该处类的条件概率较大，往往偏向该一类。
5.1.4决策树学习
学习的目的是根据所给的数据集建一个模型树（确定分类的规则），使他能够进行正确的分类（预测）。
可以用损失函数（通常是正则化的极大似然函数）量化决策树学习成绩（损失函数小成绩高），但从所有损失函数中找到最优解是一个NP问题，不切实际，通过近似求解找到其次优解才是真正需要的。
算法通常是递归选择各个节点的最优特征。

5.2特征选择

5.2.1特征选择问题
通过信息增益或者信息增益比定量的选择有利于分类的特征。
5.2.2信息增益
随机变量X的熵的定义： $H(X)=-Σp_ilogp_i$ （该值始终大于0，通常以2或e为底）
熵越大，随机变量的不确定性越大，从定义可知： $0<=H(p)<=logn$
在随机变量X的条件下随机变量Y的条件熵: $H(Y|X)=Σp_iH(Y|X=x_i)$（与之前不一样）
当概率 $p_i$是由数据估计（特别是极大似然估计）得到的话，所对应的是经验熵和经验条件熵
一般的，熵和条件熵的差被称为互信息，等价于决策树学习中的信息增益：
$g(D,A)=H(D)-H(D|A)$
他表示了特征A使得数据集D信息不确定性减少的程度。
信息增益比：相对数据集而言，并没有绝对意义。