[机器学习算法]决策树

我的短板呀,慢慢积累慢慢攒,结合已有的知识,琢磨琢磨并总结给出自己的理解
类型:有监督学习
决策树目标:根据 training data 学习出一棵合理的决策树,使它能够对实例进行正确的分类, 测试样本通过这棵决策树得到分类结果
学习的步骤:
1. 特征选择, 就是决定用哪个特征来划分特征空间
2. 决策树的生成
3. 决策树的修剪。

节点的分裂,一般当一个节点所代表的属性无法给出判断时,则选择将这一节点分成2个子节点(如不是二叉树的情况会分成n个子节点)
阈值的选择,选择适当的阈值使得分类错误率最小 (Training Error)
ID3:
在划分数据集前后信息发生的变化称为信息增益,获得信息增益最高的特征就是最好的选择,所以必须先学习如何计算信息增益

参考文献:
https://blog.csdn.net/jiaoyangwm/article/details/79525237
https://www.cnblogs.com/bentuwuying/p/6638016.html
https://blog.csdn.net/HerosOfEarth/article/details/52347820

猜你喜欢

转载自blog.csdn.net/u014221266/article/details/81366215