什么是集成学习：
也就是集成多个算法，让不同的算法对同一组数据进行分析，得到结果。
常见的集成方式有：
bagging（统计学中的叫法为bootstrap）
boosting
bagging的方式
1.hard voting：少数服从多数
2.soft voting ：有权重的少数服从多数
boosting的方式
1.Adaboost
2.Gradient boost
Bagging vs Boosting
| - | 装袋法Bagging | Adaboost |
|---|---|---|
| 评估器 | 相互独立，同时运行 | 相互关联，按顺序依次构建，后建模型会在先建模型预测失败的样本上有更多的权重 |
| 抽样数集 | 有放回抽样 | 有放回抽样，但会更新数据的权重 更容易预测失败的样本会有更多的权重 |
| 决定集成的结果 | 平均或少数服从多数的原则 | 加权平均，在训练集上表现更好的模型会有更大的权重 |
| 目标 | 降低方差，提高模型整体的稳定性 | 降低偏差，提高模型整体精确度 |
| 单个评估器存在过拟合问题的时候 | 能够一定程度上解决过拟合问题 | 可能会加剧过拟合问题 |
| 单个评估器的效力比较弱的时候 | 不是非常有帮助 | 很可能会提升模型表现 |
