集成学习从放弃到再入门之GBDT

梯度下降法

在机器学习任务中，需要最小化损失函数L(θ)，其中θ是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题，它是一种迭代方法。
具体推导为：

这里的α是步长，也就是我们通常所说的学习速率，在深度学习中需要调制的参数，可通过line search确定，但一般直接赋一个小的数。

GBDT

GBDT是梯度下降法从参数空间上升到函数空间的算法，也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。

Friedman在2001年论文greedy function approximation: a gradient boosting machine最早提出GBDT（Gradient Boosting Decison Tree）

算法原理

在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是F_t−1 (x), 损失函数是L(y, F_t−1(x)), 我们本轮迭代的目标是找到一个弱学习器h_t(x)，让本轮的损失L(y, F_t−1(x)=L(yF_t−1+ρh_t(x))最小。也就是说，本轮迭代找到的弱学习器，目的是要要让样本的损失尽量变得更小。