《Python数据科学手册》 笔记
一、超参数
在模型拟合数据之前必须确定好的参数。
二、交叉验证
将模型分为N组，每一轮依次用模型拟合其中的 N-1 组数据，再预测剩下一组数据，评估模型准确率。
以五轮交叉验证为例：
用函数实现：
这是在我上一篇博客代码的基础上添加的，单独这两行代码是要报错的哦！（上一篇博客）
其中，model是实例化的一个模型（只需要初始化即可），X_iris是未手动分组的鸢尾花特征矩阵，y_iris是未手动分组的鸢尾花标签数组，cv=5表示要进行5轮交叉验证。
需要注意的是，model_selection模块在Scikit-Learn 0.18版之前是用的cross_validation。
另外有一种极端的情况，那就是每次只有一个样本做测试，其他样本全用于训练。这种交叉验证类型被称为LOO（leave-one-out）交叉验证。
用函数实现：
需要注意的是，从model_selection模块中导入的LeaveOneOut和低版本Scikit-Learn（Scikit-Learn 0.18版之前）里的cross_validation模块中导入的LeaveOneOut用法不同，前者为cv=LeaveOneOut()，而后者为cv=LeaveOneOut(len(X_iris))。
三、选择最优模型
假如模型效果不好，可以从以下几个方面进行改善：
①用更复杂/更灵活的模型
②用更简单/更确定的模型
③采集更多的训练样本
④为每个样本采集更多的特征
但是选择哪一种方案进行改善却不是件随便的事，有时候换一种复杂的模型有可能产生更差的结果，增加更多的训练样本也未必能改善性能。因此，改善模型的能力，是机器学习实践者需要努力培养的重要能力。Scikit-Learn中自带验证曲线（validation_curve）和学习曲线(learning_curve)，可供我们探究某一类模型得分与其复杂度和训练数据集规模的关系。接下来对模型的选择进行稍微细致的分析。
1. 偏差与方差的均衡
“最优模型”的问题可以看成是找出偏差与方差平衡点的问题。
具有高偏差的模型被认为是对数据欠拟合，模型在验证集的表现与在训练及的表现类似；
具有高方差的模型被认为是对数据过拟合，模型在验证集的表现远不如在训练集的表现。
2.Scikit-Learn验证曲线
验证曲线表现的是模型得分与模型复杂度的关系
模型的训练得分和验证得分一般按照以下趋势发展：
从中可以得出：
①训练得分肯定高于验证得分
②使用复杂度较低的模型（高偏差）时，训练数据往往欠拟合（模型对训练数据和新数据都缺乏预测能力）
③使用复杂度较高的模型（高方差）时，训练数据往往过拟合（模型对训练数据预测能力强，但是对新数据预测能力差）
④当使用复杂度适中的模型时，验证曲线得分最高（偏差与方差达到均衡）
以一个带多项式预处理器的简单线性回归模型为例，可视化验证曲线，代码如下：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
import seaborn ;seaborn.set() #设置图形样式
#定义模型
def PolynomialRegression(degree=2,**kwargs):
return make_pipeline(PolynomialFeatures(degree),LinearRegression(**kwargs))
#产生数据
def make_data(N,err=1.0,rseed=1):
rng = np.random.RandomState(rseed)
X = rng.rand(N,1)**2
y = 10 - 1./(X.ravel() + 0.1)
if err > 0:
y += err * rng.randn(N)
return X,y
X,y = make_data(40)
#导入验证曲线
from sklearn.model_selection import validation_curve
degree = np.arange(0,21) #验证范围（多项式0阶到20阶）
train_score,val_score = validation_curve(PolynomialRegression(),X,y,'polynomialfeatures__degree',degree,cv=7)
#设置绘图样式
plt.plot(degree,np.median(train_score,1),color='blue', label='training score')
plt.plot(degree,np.median(val_score,1),color='red',label='validation score')
plt.legend(loc='best')
plt.ylim(0,1)
plt.xlabel('degree')
plt.ylabel('score')需要注意的是，validation_curve在Scikit-Learn 0.18版之前是放在learning_curve模块中的，即需要将
from sklearn.model_selection import validation_curve换为：
from sklearn.learning_curve import validation_curve另外，注意'polynomialfeatures__degree'中间是两个下划线
运行结果如下：
从图中可以得出如下结论：
①训练得分总是比验证得分高
②训练得分随着模型复杂度的提升而单调递增
③验证得分增长到最高点后由于过拟合而开始骤降
③（此例中）偏差与方差均衡性最好的是三次多项式
3.Scikit-Learn学习曲线
学习曲线表现的是模型得分与训练数据集规模的关系
模型的训练得分和验证得分一般按照以下趋势发展：
从中可以得出：
①特定复杂度的模型对较小的数据集容易过拟合（训练得分高，验证得分低）
②特定复杂度的模型对较大的数据集容易欠拟合（随着数据的增大，训练得分不断降低，验证得分不断升高）
③模型的验证集得分永远不会高于训练集得分（两条曲线一直在靠近，但永远不会交叉）
④随着训练样本数量的增加，分数会收敛到定值
和可视化验证曲线相同，以一个带多项式预处理器的简单线性回归模型为例，可视化学习曲线，代码如下：
from sklearn.model_selection import learning_curve
fig,ax = plt.subplots(1,3,figsize=(15,5))
for i,degree in enumerate([2,4,9]):
N,train_lc,val_lc = learning_curve(PolynomialRegression(degree),X,y,cv=7,train_sizes=np.linspace(0.3,1,25))
ax[i].plot(N,np.mean(train_lc,1),color='blue',label='training score')
ax[i].plot(N,np.mean(val_lc,1),color='red',label='validation score')
ax[i].hlines(np.mean([train_lc[-1],val_lc[-1]]),N[0],N[-1],color='gray',linestyle='dashed')
ax[i].set_ylim(0,1)
ax[i].set_xlim(N[0],N[-1])
ax[i].set_xlabel('training size')
ax[i].set_ylabel('score')
ax[i].set_title('degree={0}'.format(degree),size=14)
ax[i].legend(loc='best')注意，learning_curve在Scikit-Learn 0.18版之前是放在learning_curve模块中的，即需要将
from sklearn.model_selection import learning_curve替换为
from sklearn.learning_curve import learning_curve运行结果如下：
从图中可以得出如下结论：
（选取三个子图中的任意一图观察）当学习曲线已经收敛是（即训练曲线和验证曲线已经贴合在一起），再增加训练数据也不能再显著改善拟合效果，这时候，提高收敛的唯一办法就是换模型，通常是换更复杂的模型（图1，图2，图3的收敛值（虚线）逐渐增大）。
4.网格搜索
从以上的探索可以看出，模型得分和模型的复杂度以及训练集的大小有关，如何找到最优的模型？Scikit-Learn的grid_search模块提供了一个自动化工具解决这个问题。
例如要用网格搜索寻找最优多项式回归模型，我们可以在模型特征的三维网格中寻找最优值——包括多项式的次数的搜索范围、回归模型是否拟合斜距，以及回归模型是否需要进行标准化处理。