第2章 模型评估与选择
p24-p51 2017-2-24 Fri
Model selection模型选择：选用哪种学习算法、使用哪种参数配置
（理想的解决方案：对候选模型的泛化误差进行评估，再选择泛化误差最小的那个模型）
（通过实验来对学习器的泛化误差进行评估并进而做出选择）
Hold-out留出法：将数据集划分为两个互斥的集合，一个训练集，一个测试集
（其划分要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响）
Cross validation交叉验证法（又称k-fold cross validationk折交叉验证）
：1. 将数据集划分为k个大小相似的互斥子集（每个子集都尽可能保持数 据分布的一致性）
2. 每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集
（此方法评估结果的稳定性和保真性在很大程度上取决于k的取值）
（k常取10，即10折交叉验证）
Bootstrapping自助法：给定包含m个样本的数据集D，对它进行采样产生数据集D’；
每次随机从D中挑选一个样本，将其拷贝放入D’；
再将该样本放回初始数据集D中（该样本在下次采样时仍有可能被采到）
重复执行m次，得到包含m个样本的D’
（D中有一部分样本会在D’中多次出现，而另一部分样本不出现）
（通过自助采样，初始数据集D中约有36.8%的样本未出现在D’中）
（可以D’用作训练集）
Normalization规则化：将不同变化范围的值映射到相同的固定范围中，常见的是[0,1]，此时亦称归一化。
机器学习中性能比较涉及的重要因素：
1. 我们希望比较泛化性能，而通过实验评估方法获得的是测试集上的性能，两者的对比结果可能 未必相同
2. 用相同大小的测试集，若包含的测试样例不同，测试结果会不同
3. 很多机器学习算法本身有一定的随机性，即便用相同的参数设置在同一个测试集上多次运行， 其结果也会有不同
偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
方差：度量了变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
噪声：表达了在当前任务学习上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度
泛化性能是由学习算法的能力、数据的充分性、以及学习任务本身的难度所共同决定。
给定学习任务，为取得好的泛化性能，需要：
1. 使偏差较小——能充分拟合数据
2. 使方差较小——使数据扰动产生的影响小
---------------------
原文：https://blog.csdn.net/angle_11111/article/details/56857459