一、决策树(decision tree)
损失函数 |
正则化的极大似然函数 |
学习策略 |
以损失函数为目标函数的最小化 |
学习算法 |
三步过程:特征选择、决策树的生成、决策树的剪枝 |
常用算法 |
ID3、C4.5、CART |
特征选择 |
选取具有更好分类能力的特征来划分特征空间 |
特征选择的准则:信息增益,或信息增益比 |
根据一些特点进行分类,每个结点提一个问题,通过判断,将数据分为两类,再继续提问。这些数据是根据已有数据学习出来的,再投入到新数据的时候,就可以将这棵树上的问题,将数据划分到合适的叶子上。
- 根节点(root node),它没有入边,但又零条或多条出边。
- 内部结点(internal node),恰有一条入边,和两条或多条出边。
- 叶节点(left node)或终结点(terminal node),恰有一条入边,没有出边。
决策树通常有三个步骤:特征选择、决策树的生成、决策树的修剪。
决策树的特点:
- 优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据。
- 缺点:可能会产生过度匹配的问题
- 适用数据类型:数值型和标称型