提升树

定义：
提升树是以分类树或回归树为基分类器的boosting方法。

回归问题的提升树
采用平方误差损失函数，是用当前模型去拟合数据的残差

分类问题的提升树
指数损失函数
对于二分类问题，提升树只需将Adaboost里的基分类器限制为二类分类树即可。

总结：
提升树利用加法模型和前向分步算法实现学习的优化过程。当损失函数是指数损失函数（用于分类）和平方损失函数（用于回归）时，每一步的优化都是很简单的。
然而对于一般的损失函数，往往每一步的优化并不简单。因此梯度提升算法诞生了。