李沐深度学习第二课

多层感知机（多个隐层）：每层内仍是线性变换，层与层之间插入非线性的激活函数，Relu，即$relu(x) = max(x, 0)$。如果就用线性操作符来构建多层神经网络，那么仍是一个线性模型。

欠拟合和过拟合
在训练数据集上表现出的误差叫做训练误差。
在测试数据集上表现出的误差叫做泛化误差。
欠拟合和过拟合在于两个因素：1.模型复杂度 2.数据量大小
给定数据集，我们需要找到一个适当的模型使得泛化误差比较小。

给定模型：