20.方差和偏差：两大错误来源
尽管更多的数据是无害的，但它并不如我们期望的那样有帮助，获取更多的数据可能是浪费时间（这里的方差的定义是非正式的）。
21.例子
这里的方差和过拟合欠拟合无关
22.和最优错误率比较
假设你面对的问题是即使人类也有其极限，那么你可能确定最优错误率就是人类的极限错误率。
最优错误率：不可避免的偏差。理论上来说是可以避免的。贝叶斯错误率。
23.处理偏差和方差
最简单的方法：高偏差，增加模型大小；高方差，增加数据。
不同的架构对于同一问题有不同的偏差、方差量。尝试新架构的结果要比增加模型大小和添加数据这一简单方法更加难以预测。
24.偏差和方差的权衡
模型大小、正则化、dropout
25.减小可避免偏差的方式
- 增加模型大小
- 基于错误分析的洞察修改输入特征
- 减少或消除正则化
- 修改模型架构
26.训练集上的错误分析
如果你的算法不能很好的适应训练集，那么可以像开发集错误分析类似，你可以统计不同类别的错误：
27.减少方差的方法
- 添加更多的训练数据
- 添加正则化
- 添加早停
- 选择特征以减少输入特征的数目和类型
不推荐用减小模型的方法来减小方差 - 基于错误分析的洞察修改输入特征
- 修改模型架构