深度学习中的优化策略

版权声明：https://blog.csdn.net/z0n1l2 https://blog.csdn.net/z0n1l2/article/details/85869342

SGD

$w = w - lr*\partial w$ 其中
$lr$是学习速率
$\partial w = \frac{\partial loss}{\partial w}$

sgd_momentum

$v=mu*v-lr*\partial w$
$w = w + v$
其中 $mu \in [0,1]$是momentum，一般 $mu=0.9$, $v$是中间变量,令 $w$更新更加平缓
后续改进的思路是不同参数自适应的采用不同的学习速率，比如利用对于前一次变化较大的参数降低起学习速率，保持学习的平滑

rmsprop

$cache = decay * cache + (1-decay) * (\partial w)^2$
$w = w - lr * \frac{\partial w}{\sqrt{cache}+\epsilon}$
其中
$decay \in [0,1]$ 一般取值0.99
$cache$记录 $\partial w$幅度平方值，幅度变化大的参数降低学习速率，令 $w$更新平缓。
随着训练进度， $cache$的值逐渐变大，导致实际 $lr$逐渐降低，学习速率越来越慢，这是一个缺陷。

adam

$m=\beta_1 * m + (1-\beta_1) * \partial w$
$m_t = \frac{m}{1-\beta_1^t}$
$v=\beta_2*v + (1-\beta_2)*(\partial w)^2$
$v_t = \frac{v}{1-\beta_2^t}$
$w = w - lr * \frac{m_t}{\sqrt{v_t}+\epsilon}$
其中
$t$是训练进度，比如更新次数，或epoch
$\beta_1 \in [0,1]$ 一般取值0.9
$\beta_2 \in [0,1]$ 一般取值0.999
$m$和 $v$分别是平滑后的 $\partial w$和 $(\partial w)^2$
$m_t$和 $v_t$避免训练启动阶段训练速度太慢(因为 $m$和 $v$初始化都是0，训练最开始的一段时间二者都接近0)