L1,L2正则化的区别

1,L1会趋向于产生少量的特征,而其他不重要的特征都为0,会产生稀疏性,可以用来选择特征,也能一定程度上防止过拟合。而L_2会选择更多的特征,特征值都趋近于0,防止过拟合。

Lasso在选择特征时非常有用,而Ridge就只是规则化而已。所以在所有特征中只有少数特征起重要作用的情况下,选择Lasso进行特征选择。而所有特征中大部分特征都能起作用,而且作用很平均,那么使用Ridge会更合适。

2,为什么L1能产生稀疏性和一定程度上防止过拟合?(看参考链接的图)

正则化参数要做的就是控制两个目标之间的平衡关系:在最小化训练误差的同时正则化参数使模型简单。
1.最小化误差是为了更好的拟合训练数据。
2.正则化参数是为了防止模型过分拟合训练数据。
所以正则化参数要保证模型简单的基础上使模型具有很好的泛化性能。

参考链接:
https://blog.csdn.net/yinyu19950811/article/details/61922893
https://blog.csdn.net/gshgsh1228/article/details/52199870
https://blog.csdn.net/jinping_shi/article/details/52433975
https://blog.csdn.net/vividonly/article/details/50723852

猜你喜欢

转载自blog.csdn.net/cs24k1993/article/details/79683042