第二章 模型评估与选择
- 我们希望得到泛化误差小的学习器,然而,我们事前并不知道新样本是什么样,实际能做的是努力使经验误差最小化
- 评估方法
- 留出法
- 交叉验证法
- 自助法
- 我们用测试集上的判别效果来估计模型在实际使用时的泛化能力,而把训练数据另外划分为训练集和验证集,基于验证集上的性能来进行模型选择和调参
- 在模型选择完成后,学习算法和参数配置已选定,此时应该用数据集D重新训练模型。这个模型在训练过程中使用了所有m个样本,这才是我们最终提交给用户的模型
- 性能度量
- 错误率与精度
- 查准率、查全率与F1
- ROC与AUC
- 代价敏感错误率与代价曲线:不同类型错误所造成的后果不同
- 泛化误差可以分解为偏差、方差和噪声之和
- 偏差:度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力
- 方差:度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响
- 噪声:表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界,即刻画了学习问题本身的难度
- 给定学习任务,假定我们能控制学习算法的训练程度,则在训练不足时,学习器的拟合能力不够强,训练数据的扰动不足以使学习器产生显著变化,此时偏差主导了泛化错误率;随着训练程度的加深,学习器的拟合能力逐渐增强,训练数据发生的扰动渐渐能被学习器学到,方差逐渐主导了泛化错误率
- 机器学习过程涉及许多类型的代价,除了误分类代价,还有测试代价、标记代价、属性代价等
- 代价敏感学习专门研究非均等代价下的学习