skiti-learn GBDT类库

skiti-learn中有两个,GradientBoostingClassifier(分类)和 GradientBoostingRegressor(回归)。两者参数基本相同,并且参数类似Adaboost,分为两类参数,Boosting框架参数和弱学习器参数即CART回归树的参数。

  1. GBDT类库boosting框架参数
    GradientBoostingClassifier和GradientBoosting的参数大部分相同
    1)n_estimators:弱学习器的迭代次数,或者说是弱学习器的个数,默认为100,实际调参常与learning_rate共同考虑

    2)learning_rate:每个弱学习器的权重衰减稀疏ν。加上了正则化项,我们的强学习器的迭代公式为fk(x)= fk−1 (x)+νhk(x)。ν的取值范围为0<ν≤1,对于同样的训练集拟合效果,较小的ν需要更多的弱学习器的迭代次数。

    3)subsample:子采样,取值为(0,1]。注意这里的子采样和随机森林不一样,随机森林使用的是放回抽样,而这里是不放回抽样。如果取值为1,则全部样本都使用,等于没有使用子采样。如果取值小于1,则只有一部分样本会去做GBDT的决策树拟合。选择小于1的比例可以减少方差,即防止过拟合,但是会增加样本拟合的偏差,因此取值不能太低。推荐在[0.5, 0.8]之间,默认是1.0.

    4)init:初始化的时候的弱学习器,如果不输入,则用训练集样本来做样本集的初始化分类回归预测。否则用init参数提供的学习器做初始化分类回归预测。一般用在我们对数据有先验知识,或者之前做过一些拟合的时候,如果没有的话就不用管这个参数了。

    5)loss: GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的。
    对于分类模型,有对数似然损失函数"deviance"和指数损失函数"exponential"两者输入选择。默认是对数似然损失函数"deviance"。一般来说,推荐使用默认的"deviance"。它对二元分离和多元分类各自都有比较好的优化。而指数损失函数等于把我们带到了Adaboost算法。
    对于回归模型,有均方差"ls", 绝对损失"lad", Huber损失"huber"和分位数损失“quantile”。默认是均方差"ls"。一般来说,如果数据的噪音点不多,用默认的均方差"ls"比较好。如果是噪音点较多,则推荐用抗噪音的损失函数"huber"。如果我们需要对训练集进行分段预测的时候,则采用“quantile”。

    6)alpha:这个参数只有GradientBoostingRegressor有,当我们使用Huber损失"huber"和分位数损失“quantile”时,需要指定分位数的值。默认是0.9,如果噪音点较多,可以适当降低这个分位数的值。

  2. GBDT类库弱学习器参数
    由于GBDT使用了CART回归决策树,详细情况参考决策树调参

猜你喜欢

转载自blog.csdn.net/weixin_40732844/article/details/83003538
今日推荐