深度学习技巧3( Early stopping and Regularization)
本节我们一起探讨 Early stopping and Regularization,这两个技巧不是深度学习特有的方法,是机器学习通用的方法。
1. Early stopping
在训练过程中,往往会得出训练的最后的结果还可能不如以前的,原因很有可能出现overfitting。 我们需要提前踩刹车,得出更好的效果。
2. Regularizaton
当我们努力降低Loss函数的数值的时候,我们会发现,我们找到的参数集weights,不仅仅要让Loss变小,而且weights 自身也需要接近于0,这样我们的结果会更加理想。
L1 正则化:
新的Loss函数将会被最小化:
L2正则化
新的Loss函数将会被最小化:
到这里,很多同学会疑问,为什么weights小了,结果就很更好,我在这里举例说明:6岁的时候和14岁的时候,大脑的神经元密度明显降低,说明一些无效的神经元是阻碍大脑进步的。
本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229,斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里,感谢这些经典课程,向他们致敬!