决策树模型、本质、连续值

摘自《统计学习方法》 李航  第五章

决策树学习通常包括3个步骤：特征选择、决策树的生成、决策树的剪枝

决策树学习本质上是从训练集中归纳出一组分类规则。

决策树学习的损失函数通常是正则化的极大似然函数。

决策树的学习算法通常是采用启发式的方法，近似求解最优化问题

特征选择问题

特征选择在于选取对训练数据具有分类能力的特征。如果一个特征具有更好的分类能力，或者说，按照这一特征将训练数据集分割成子集，

使得各个子集在当前条件下有最好的分类，那么就更应该选择这个特征。

决策树的生成

ID3算法

ID3算法的核心是在决策树的各个节点上应用信息增益准则选择特征，递归的构建决策树。

缺点：ID3算法只有树的生成，所以该算法生成的树容易产生过拟合。