1、集成算法之Boosting（GBDT、XGB、LGB）
1、重赋权（错误标记样本赋予较高的权重）（过早停止导致基学习器少）
2、重采样
注：关注降低偏差，避免欠拟合。个体学习器之间存在强依赖关系
2、集成算法之Bagging（RF）
booststrap sampling：
1、从数据集中有放回的随机抽m个样本（36.8%抽不中）
2、从样本中随机抽n个特征进行建树
3、重复1-2
采用相互交叠的采样子集：
- 获得基学习器有较大差异
- 个体学习器的性能不会太差（保证训练集各不相同）
注：关注降低方差，避免过拟合。个体学习器之间相互独立
3、集成算法之Stacking（速度慢）
第一层用各种模型：
- 训练处的结果当做第二层训练集
- 测试集平均当做第二层测试集