pytorch正则化——weitht decay
一、正则化与偏差—方差分解
1、Regularization：减少方差的策略
误差可分解为：偏差，方差与噪声之和，即：误差=偏差+方差+噪声之和
偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动的影响
噪声：即表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界
2.图形解释
其中上面那条线为验证集上的loss，下面那条线为训练集上的loss
3、添加L1/L2正则化的目标函数
Obj = Cost + Regularization Term
L1 Regularization Term : 
L2 Regularization Term：
二、pytorch中的L2正则项——weight decay
pytorch中在实现L2正则化
L2 Regularization = weight decay （权重衰减）
pytoch当中的实现公式：d_p = dp + p.data * weight_decay
d_p：梯度
p.data：参数