第一章
<待更>
第二章 模型评估与选择
1，经验误差与过拟合
训练集上产生的误差成为训练误差或者经验误差；由于泛化误差不可知，故用经验误差来衡量泛化误差。
应适当允许经验误差；不是越小越好，太小，则易过拟合；太大，则欠拟合；
2，模型评估方法
评估学习器泛化误差，所用的测试集，要尽可能与训练集互斥。从数据集中产生训练集与测试集的方法有：
留出法（Hold-out）：分层采样，直接将数据集分成互斥的两个集合，一个作为训练集，一个作为测试集。
- 若干次随机划分，多次重复后取均值；训练集与数据集大小的妥协：2/3~4/5用于训练。
交叉验证法（Cross Validation）：先将数据集划分为k个大小相同的互斥子集（仍然分层采用），然后每次用k-1个子集的并集作为训练集，另一个作为测试集，进行k次，最终返回k个测试结果的均值。
- 特例：留一法（leave-one-out），特点： 评估准确，但开销太大。
自助法（Bootstrap）：以自助采样法为基础，每次随机从数据集D中挑选一个样本，将其拷贝放入数据集D`；重复m次，就得到含有m个样本的训练集D`。D\D`作为测试集。
- Bagging和随机森林基于此。
3, 性能度量
错误率与精度
查准率和查全率: P-R曲线。
ROC和AUC：ROC是假正例率和真正例率的曲线；AUC：Area Under ROC Curve.
第八章 集成学习
集成学习通过构建并结合多个学习器来完成学习任务。相关概念：同质/异质集成，基学习器/弱学习器/强学习器，个体学习器/组件学习器/集成学习器。
集成的简短思路：通过多个学习器的结合，获得比单一学习器显著优越的泛化性能。对个体学习器的要求：准确并且多样。
代表性的几个集成学习器：
1，Boosting：个体学习器间强相互依赖，串行生成。
- 先从初始训练集训练出一个基学习器，再根据器表现对训练器样本分布进行调整，使得先前学习器做错的样本在后续训练中受到更多关注，然后基于调整后的样本分布来训练下一个基学习器，如此重复，直到基学习器数目达到指定数目T。最后将T个基学习器进行加权组合。
2，Bagging：个体学习器间弱相互依赖，并行生成。
- 基于Bootstrap法产生T个含有m个样本采样集。基于每个采样集训练出一个基学习器，然后将T个基学习器进行结合。
- 对基学习器的输出进行结合时，Bagging通常对分类任务使用简单的投票法，对回归任务使用平均法。
3，Random Forest: 与Bagging法的区别在于，RF基于决策树，引入了决策树随机属性选择。多样化包含了样本波动和属性波动，因此往往比Bagging性能好。
4，结合策略
平均法：取平均。
投票法：少数服从多数。
学习法（？）