版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/LUFANGBO/article/details/81772311
L1和L2正则化，也有很多称为L1和L2范数，其实本质就是范数，主要作用是降低机器学习的过拟合，具体为在原有的损失函数J0的基础上加上一个正则项L，即J=J0+L
带有L1范数的损失函数如下：
带有L2范数的损失函数如下：
为什么正则化可以降低过拟合？
一种解释是之所有过拟合是因为权重参数过大或者过小，如果权重参数中大部分数值很小，近乎为0，则意味着数据很稀疏，实际中也就只有部分参数起作用，那也意味着非线性能力更差，线性能力更强，既然线性能力越强，则模型就越不容易过拟合（但是相应的模型准确率也会下降，这里不考虑准确率，只是从过拟合角度来讲），由于L1和L2是在J0的基础上的加的一个正值项，训练的时候相比没有正则项的表达式则会使得参数更小，从而达到过拟合的目的。
深度解释参考：https://blog.csdn.net/jinping_shi/article/details/52433975