深度学习笔记-正则化
其他
2019-02-26 10:59:34
阅读次数: 0
-通过正则化消除过度拟合,下面为公式介绍和解释
- J(w,b)=
m1∑i=1mL(y^(i),y(i))+2mλ∣∣w∣∣22
-
L2正则化:
∣∣w∣∣22=∑j=1nxwj2=wTw,
∣∣w∣∣22被称为参数W的
L2范数
- 只对W进行正则化是因为W是一个高维参数,基本上包含了所有维度
-
λ是正则化参数,应该较大,避免过拟合,即避免数据权值矩阵过大
- 放在多层网络中变成了“
+2mλ∑l=1L∣∣w[l]∣∣F2”
L为层
∣∣W[l]∣∣F2=∑i=1n[l−1]∑j=1n[l](wij[l])2w:(n[l−1],n[l])
“Frobenius norm” 弗罗贝尼乌斯范数
转载自blog.csdn.net/disasters/article/details/84554911