一、什么是梯度提升回归？

机器学习中的“提升”是一种将多个简单模型组合成单个复合模型的方法。这也是为什么 boosting 被称为加法模型的原因，因为简单模型（也称为弱学习器）一次添加一个，同时保持模型中现有的树不变。随着我们组合越来越多的简单模型，完整的最终模型成为更强大的预测器。“梯度提升”中的“梯度”一词源于该算法使用梯度下降来最小化损失。