学习知识概要
- stacking/blending讲解
stacking
blending - 平均法
- 投票法
学习内容
- stacking/blending讲解
其模型的庞大程度与效果的提升程度往往不成正比, 所以一般很难应用于实际生产中。
1.1 stacking
本质是一种分层的结构,用了大量的基分类器,将其预测的结果作为下一层输入的特征,这样的结构使得它比相互独立训练模型能够获得更多的特征。
缺点: 用训练集训练原始模型, 又用训练的模型去预测训练集,会过拟合训练集
解决方法:- 次级模型尽量选择简单的线性模型
- 利用第一层训练模型使用交叉验证的方式
StackingCVRegressor
分类中的stacking:StackingCVClassifier
1.2 blending
Blending是一种和Stacking很相像的模型融合方式,它建立一个留出集
方法一:
一个单纯的Holdout集,就是我直接把训练集分成两部分
方法二:
把stacking流程中的K-Fold CV 改成 HoldOut CV
平均法:
简单平均:多个预测结果相加并求平均
加权平均:根据预测模型的准确率,加权平均
投票法:
简单投票
加权投票VotingClassifier:参数weights 调节权重
问题与解答
暂无
思考与总结
当单个模型无法准确的预测数据结果时,可以考虑多学习器叠加,从而使模型更加的准确。对不同准确率的预测结果进行适当加权可以得到更好的结果。