8.1 假设抛硬币正面朝上的概率为p,反面朝上的概率为1 - p. 令H(n)代表抛n次硬币所得到正面朝上的次数,则最多k次正面朝上的概率为\[p(H(n) \le k) = \sum\limits_{i = 0}^k {\left( {_i^n} \right)} \mathop p\nolimits^i \mathop {(1 - p)}\nolimits^{n - i} \]
对δ>0,k=(p-δ)n,有Hoeffding不等式\[p(H(n) \le (p - \delta )n) \le \mathop e\nolimits^{ - 2\mathop \delta \nolimits^2 n} \]试推导出试(8.3)。
由题意可知当k=(p-δ)n可得出Hoeffding不等式,同理8.3式对T个基分类器采用简单投票法若有超过半数的基分类器正确,集成分类器分类正确,则将k替换成T/2,n替换成T有:\[\frac{T}{2} = (p - \delta )T\]可解出:
\[\delta = p - \frac{1}{2} = \frac{{2p - 1}}{2}\]
应为p为分类正确概率,所以p=1-ε,可得:\[\delta = \frac{{1 - 2\varepsilon }}{2}\]代入到Hoeffding不等式即可得到8.3式
8.2 对于0/1损失函数来说,指数损失函数并非仅有的一致替代函数。考虑式(8.5),试证明:任意损失函数\(\ell ( - f(x)H(x))\),若对H(x)在区间[-∞, δ](δ>0)上单调递减,则l是0/1损失函数的一致替代函数。
8.3 从网上下载或自己编程实现AdaBoost,以不剪枝决策树为基学习器,在西瓜数据集3.0α上训练一个AdaBoost集成,并与图8.4进行比较。
8.4 GradientBoosting是一种常用的Boosting算法,试析其与AdaBoost的异同。
8.5 试编程实现Bagging,以决策树桩为基学习器,在西瓜数据集3.0α上训练一个Bagging集成,并与图8.6进行比较。
8.6 试析Bagging通常为何难以提升朴素贝叶斯分类器的性能。
8.7 试析随机森林为何比决策树Bagging集成的训练速度更快。
8.8 MultiBoosting算法将AdaBoost作为Bagging的基学习器,Iterative Bagging算法则是将Bagging作为AdaBoost的基学习器。试比较二者的优缺点。
8.9 试设计一种可视的多样性度量,对习题8.3和习题8.5中得到的集成进行评估,并与k-误差图比较。
8.10 试设计一种能提升k近邻分离器性能的集成学习算法。