L1 & L2 正则化的理解

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/programmingfool5/article/details/82592497

主要结合花书对于L1 & L2的简单介绍，其中知乎的两个答案对书中的介绍做了很好的补充。
具体的：
https://zhuanlan.zhihu.com/p/32488420
上述文章中，主要介绍L2的作用以及原理，更重要的是结合了线性回归（即岭回归）进行介绍。
线性回归的正规方程求解特征参数的推导过程（对矩阵求导）$[\frac{\partial A^TxA}{\partial x}=2Ax]$
其中第三部分从主成分分析方面，用公式推导出了正则化参数对于不同方差下的特征的影响。第四部分从偏置（bias）-方差（variance）平衡和模型自由度的角度理解 L2 正则化如何对抗过拟合。需要反复阅读和咀嚼。
https://zhuanlan.zhihu.com/p/29360425
这一篇文章主要是与花书的内容一致，其中有一部分是结合图像的直观理解，比较值得去结合具体的公式推导去理解。