权重衰退-沐

使用均方范数作为硬性限制

  • 通过限制参数值的选择范围来控制模型容量
    在这里插入图片描述
    在这里插入图片描述
  • 通常不限制偏移b(限不限制都差不多)
  • 小的值意味着更强的正则项
    在这里插入图片描述

演示对最优解的影响

在这里插入图片描述

参数更新法则

在这里插入图片描述

总结

  • 权重衰退通过L2正则项使得模型参数不会过大,从而控制模型复杂度
  • 正则项权重是控制模型复杂度的超参数