集成学习（二）：AdaBoost算法解释

1. 前言

在之前的博客中讲解了AdaBoost算法的原理，为了能够更加直观理解AdaBoost算法，常用的解释模型便是使用加法模型。

2. 加法模型解释

首先定义AdaBoost的加法模型为：

$$f(x)=\sum_{m=1}^M\alpha_mG_m(x)$$
其中 $\alpha_m$是基函数的系数， $G_m(x)$为基函数。则就可以使用指数函数定义损失函数
$$L(y,f(x))=exp(-yf(x))$$
假设经过 $m-1$次迭代之后得到的模型为:
$$f_{m-1}(x)=f_{m-2}(x)+\alpha_{m-1}G_{m-1}(x)\\ =\alpha_{1}G_{1}(x)+\ldots+\alpha_{m-1}G_{m-1}(x)$$
得到第 $m$次的迭代得到 $\alpha_m,G_m(x)和f_{m}(x)$
$$f_m(x) = f_{m-1}(x)+\alpha_{m}G_m(x)$$
目标是使前向分布算法得到的 $\alpha_m,G_m(x)和f_{m}(x)$在训练数据集T上的指数损失函数最小化，即是
$$(\alpha_m, G_m(x))=arg\min_{a,m}\sum_{i=1}^Nexp[-y_i(f_{m-1}(x_i)+\alpha G(x_i))]\\ =arg\min_{a,m}\sum_{i=1}^Nw_{mi}exp(\alpha G(x_i))]$$
其中 $$w_{mi}=exp(-y_if_{m-1}(x_i))$$
上式中最小化之后的 $\alpha_m^*, G_m^*(x)$就是AdaBoost算法得到的 $\alpha_m,G_m(x)$。则对其进行求解就分为了两步，先求解 $G_m^*(x)$：
$$G_m^*(x)arg\min_{G}\sum_{i=1}^Nw_{mi}I(y_i\neq G(x_i))$$
之后求解 $\alpha_m^*$：
$$\sum_{i=1}^Nw_{mi}exp(\alpha G(x_i))]\\ =\sum_{y_i=G_m(x_i)}w_{mi}e^{-\alpha}+\sum_{y_i\neq G_m(x_i)}w_{mi}e^{\alpha}\\ =(e^{\alpha}-e^{-\alpha})\sum_{i=1}^Nw_{mi}I(y_i\neq G(x_i))$$
将已经求得的 $G_m^*(x)$带入上式，对 $\alpha$求导并使倒数为0，即可得到让目标函数最小的 $\alpha$
$$\alpha_m^*=\frac{1}{2}log\frac{1+e_m}{e_m}$$
其中 $e_m$是分类误差率：
$$e_m=\frac{\sum_{i=1}^Nw_{mi}I(y_i\neq G(x_i))}{\sum_{i=1}^Nw_{mi}}$$
这里基函数权值系数的更新是与AdaBoost算法一致的，对于样本权值系数的更新是这样的
$$w_{m+1,i}=w_{m,i}exp(-y_i\alpha_mG_m(x))$$

3. 参考

1. 统计学习方法——李航