正则化也叫规则化,又叫惩罚项。
作用:正则化是避免过拟合。
原理:根据高中数学中的泰勒展开说,任何一个函数都可以通过多项式的方式逼近,求解多项式的参数的过程就是机器学习中模型训练的过程,机器学习中训练完成的模型本质上就是多项式的参数求解过程,如何求解多项式的参数使得求解出的多项式鲁棒性更好就是好的模型。
过拟合就是鲁棒性不好的本质
避免过拟合:最直观的就是减少多项式参数的个数,或者说多项式参数的个数求到最小的个数为最好的效果,第一模型小,第二模型参数少就不会出现过拟合,鲁棒性较好。
如何求解参数化项w中的个数最小,就是0范数最大
0范数:向量中非0元素的个数
https://www.zhihu.com/question/20924039