L1正则与L2正则的比较

$w^*$为 $J(\theta)$取最小值的最优点， $J(\theta)$为未正则化的代价函数
$L^1$正则
$w_i=sign(w_i^*)max({\left|w_i^*\right|-\frac{\alpha}{H_i,_i}},0)$
$L^2$正则
$w=Q(\Lambda+\alpha I)^{-1}\Lambda Q^Tw^*$
选取 $H_i,_i$为对角矩阵， $L^1$正则更容易产生稀疏解