优化损失函数中的经验风险与结构风险

经验风险最小化：

• 在求解模型时，优化目标仅仅包含对样本的估计的损失函数最小化，但对于使损失函数最小化过程中导致的模型复杂度提高没有进行控制。 $$\min_{f\in F}\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))$$

经验风险最小化的缺点：

• 学习出来的模型容易过拟合，对训练集上的样本有很好的拟合能力，但是对未知样本的拟合效果非常差。

结构风险最小化：

• 在求解模型时，优化目标(目标函数)不仅包含对样本估计的损失函数最小化，同时对模型本身的复杂度进行控制。 $$R_{srm} = \frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i)) + \lambda J(f)$$

结构风险最小化的优点：

• 学习出来的模型不仅仅对训练集上的样本具有较好的拟合能力，并且对未知样本拟合效果也较好。也就是说，基于结构风险最小化目标函数训练出来的模型具有很好的泛化能力。