《机器学习进阶》Udacity 监督学习 决策树

这个课程中没有介绍到的：

剪枝如何操作？ID3的算法的缺点是什么？如何改进？还有其他的算法没有？什么是基尼系数？和熵，信息增益有什么关系？Sklearn决策树算法中可以调节的参数有哪些？

吴恩达：机器学习：https://www.bilibili.com/video/av9912938/?p=60

 

 

当变量有多个时（不是只有A和B两个变量了）

 

当变成异或时，（奇校验码）复杂度变为2的n次方。

这样XOR问题可以转换为组合问题：

 

 

增长的速率是非常非常非常快的。

 

 

 

 

 

 

限定偏差：

 

优选偏差：

 

 

归纳偏差：

 

 

第三点是由第一点自然得到的。

 

 

 想法：

 

 

剪枝操作：

 如果误差太大的话可以不用剪枝，如果误差比较小可以使用剪枝。

 

 

 

 

 比如：