Overfitting怎么解决? L1和L2正则化介绍

作者：离散木木夕

欢迎大家给出宝贵的建议！

Overfitting怎么解决? L1和L2正则化介绍

Overfitting怎么解决？

Regularizatin（L1、L2正则化）、dropout、Batch Normalization、Early Stopping

L2正则化：（权重衰减惩罚）

对b没有更新，W有更新。

【为学习率】

所以L2正则化是减小W，也就是权重衰减（weight decaying）。但因为后面导数项，所以W可能增大也可能减小。

L1正则化：（参数稀疏性惩罚）

当W为正，更新后W变小。当w为负时，更新后W变大，因此它的效果就是让W往0靠，使网络中的权重尽可能为0，也相当于减小了网络的复杂度，防止过拟合。

注：W=0时，不可导，规定sgn(0)=0，编程时令sgn(0)，sgn(W>0)=1，sgn(W<0)=-1。