AdaBoost的一点记录

AdaBoost通过每次训练一个弱分类器并计算其错误率来更新样本的权值,使得分类错误的样本的权值更大,从而在下一次训练时得到更多关注,对分类器的分类结果影响更大。

AdaBoost的算法流程:

在计算错误率 \epsilon _{t} 时,要把样本的权值考虑进去,更具体的,

\epsilon _{t}=\sum_{i=0}^{m}w_{t},y_{i}\neq h_{t}(x_{i})

即,当前弱分类器的错误率是预测错误的样本的权值之和。根据公式,被分类错误样本的权值提升因子:

e^{\alpha _{t}}=e^{\frac{1}{2}*ln(\frac{1-\epsilon _{t}}{\epsilon _{t}})} =(\frac{1-\epsilon _{t}}{\epsilon _{t}})^{\frac{1}{2}}

当弱分类器的正确率大于0.5,即 \epsilon _{t} < 0.5时,被分类错误的样本的权值就可以得到提升,接下来的迭代才是有意义的。

猜你喜欢

转载自blog.csdn.net/zhushentian/article/details/81704835
今日推荐