1. 偏差与方差
区分偏差和方差，我们可以看训练集上的误差和验证集上的误差。
- 训练集的误差低，验证集的误差高，表现为高方差，可能是过拟合了
- 训练集的误差高，验证集与训练集的误差与训练集误差相当，表现为高偏差，可能是欠拟合了
如图所示：
直观看，红点表示真实值的范围，蓝点表示预测。
- 当蓝点特别聚集时，表示低方差，当蓝点特别稀疏时，表示高方差
- 当蓝点特别接近红点时，表示低偏差；反之，表示高偏差
方差和偏差的取值在什么时候，模型是最好的呢？
如图，当方差和偏差都比较低时，可以取得最好的模型。
正则化
正则化相当于加了一个惩罚因子，使得参数w趋于0左右，如图：
它能使一部分网络基本不工作，所以可以有效地缓解过拟合。
dropout正则化
它的思想很简单，就是给每个节点设置一个打开和关闭的概率，使得网络不是全连接的，同时，网络还具有一定的随机性，如此得出的神经网络也不是特别复杂，如图所示：
