2018年6月26日 多云
随机森林随笔(一) 粗略地介绍了决策树学习，下面开始谈谈随机森林的构建.
在说到随机森林之前，还得提到一个概念：集成学习.
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)等.
集成学习的一般结构是先产生一组“个体学习器”(individual learner)，再用某种策略将它们结合起来，如下图:
集成有两种方式，一种是“同质”(homogeneous)集成，另一种是“异质”(heterogenous)集成.
“同质”集成中的个体学习器是由同种的学习算法生成的，其中的个体学习器称为“基学习算法”(base learning algorithm).
“异质”集成中的个体学习器是由不同的学习算法生成的，其中的个体学习器称为“组件学习器”(component learner).
集成学习通过将多个学习器进行结合，常常可获得比单一学习器显著优越的泛化能力.
根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类：
①个体学习器间存在强依赖关系、必须串行生成的序列化方法，代表算法：Boosting；
②个体学习器间不存在依赖关系、可同时生成的并行化方法，代表算法：Bagging和“随机森林”(Random Forest).
先来谈谈自举汇聚法(Bootstrap AGGregatING)，也称为bagging方法.Bagging对训练数据采用自助采样法(boostrap sampling)，即有放回地采样数据(后面会详细介绍).
对于上面的公式解释，Bagging算法通常对对回归任务使用简单的平均法，分类任务使用简单的投票法.
后面将说到随机森林啦，这几天导师带我们去抚仙湖玩一趟，暑假也不回去了，七月份继续写！