集成学习从放弃到再入门之XGBOOST

牛顿法

牛顿法最初是通过迭代x_n+1=x_n-f(x_n)/f’(x_n)用来求函数的零点值f(x)=0，在优化问题中即求解导函数的零点值:迭代x_n+1=x_n-f’(x_n)/f”(x_n)使f’(x)=0

GBDT和XGBOOST

机器学习算法中GBDT和XGBOOST的区别有哪些？
1. 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。
2. 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。
3. xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。
4. Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（补充：传统GBDT的实现也有学习速率）
5. 列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。
6. 对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。
7. xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。
8. 可并行的近似直方图算法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点。

详解 XGBoost

1.模型函数形式

2.Classification And Regression Tree (CART)回归树

3.目标函数
为误差函数加正则化

L2正则被称为岭回归，L1正则被称为LASSO
从Bayes角度来看，正则相当于对模型参数引入先验分布，类似最大后验法。
XGBoost的目标函数（函数空间）：

其中每颗树的深度，内部节点个数，叶子节点个数(T)，叶节点分数(w)等都影响着树的效果。 XGBoost 对叶子节点个数进行惩罚，相当于在训练过程中做了剪枝。
总结为：
回归树集成得到可学习的目标函数

4.迭代学习过程
(1)目标函数

(2)目标函数更新

其中，在树的结构中
学习器为：

正则项为：

T是叶子数

5.学习策略（切分点查找算法）

加了一个叶子节点复杂度项，有点类似CART的剪枝。
算法细节：

根据特征划分有无数可能的树结构，因此采用近似算法（特征分位点，候选分割点）：

稀疏值处理：

基学习器可选为：
xgboost的弱分类器有三种gbtree, gblinear or dart.
第一个和第三个都是树。
第二个是逻辑回归，但是本质它并没有被boost，可以看作只是普通的sgd classifier。