统计学习方法——第8章 提升方法（个人笔记）

统计学习方法——第8章 提升方法（个人笔记）

参考《统计学习方法》（第二版）李航

8.1 提升方法AdaBoost算法

8.1.1 提升方法的基本思路

基本思想：对于一个复杂任务，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。

最具代表性的是AdaBoost算法。

对于分类问题，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确地分类规则（强分类器）容易的多。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类器。

8.1.2 AdaBoost算法

算法 8.1（AdaBoost）

输入：训练数据集,;

输出：最终分类器。

（1）初始化训练数据的权值分布

（2）对,M个分类器

   （a）对使用具有权值分布的训练数据集学习，得到基本分类器。

   （b）计算在训练数据集上的分类误差率

   （c）计算的系数

   （d）更新训练数据集的权值分布

是规范化因子

（3）构建基本分类器的线性组合

得到最终分类器

8.1.3 AdaBoost的例子