随机梯度下降与动量详解

1. SGD图示

红色表示SGD的收敛路径，棕色表示梯度下降的收敛路径。普通的GD算法就是计算出每一时刻最陡的下降趋势(梯度)，SGD在随机挑选某一分量的梯度方向进行收敛，详细解释可继续往下看。

---

2. SGD公式理解

---

注：这一部分引用自知乎用户Qi Qi，原回答链接

随机梯度下降主要用来求解类似于如下求和形式的优化问题：

$$f(x) = \sum_{i=1}^nf_i(w,x_i,y_i)$$

普通梯度下降算法：

$$w_{t+1}=w_t-\eta_{t+1}\nabla f(w_t)=w_t-\eta_{t+1}\sum_{i=1}^n\nabla f_i(w_t,x_i,y_i)$$

当$n$很大时，每次迭代计算所有的会非常耗时。$\nabla f_i$随机梯度下降的想法就是: 每次在$\nabla f_i$中随机选取一个计算代替如上的$\nabla f$，以这个随机选取的方向作为下降的方向。

$$w_{t+1}=w_t-\eta_{t+1}\nabla f_{i_k}(w_t,x_{i_k},y_{i_k})$$

      由于$E[\nabla f_{i_k}(w_t,x_{i_k},y_{i_k})]$=$\nabla f(w_t)$, 当选取学习率$\eta_t = O(1/t)$时，算法在期望的意义下收敛。
      注意到在$w_t$靠近极小值点$w_*$时，$\nabla f(w_*)$ ≠ 0，这导致随机梯度下降法精度低。由于方差的存在，要使得算法收敛，就需要$\eta_t$随t逐渐减小。因此导致函数即使在强凸且光滑的条件下，收敛速度也只有$O(1/T)$. 后来提出的变种SAG，SVRG，SDCA都是在降方差，为了保证在$w_t$→$w_*$时，方差趋于0。以上提到的几种变种都能达到线性收敛速度。

---

3. momentum 动量

“动量”这个概念源自于物理学，解释力在一段时间内作用所产生的物理量。我们没必要往复杂想，其实我们可以将动量约等于惯性。我们对惯性的基本理解就是: 当你跑起来，由于惯性的存在你跑起来会比刚起步加速的时候更轻松，当你跑过头，想调头往回跑，惯性会让你拖着你。
在普通的梯度下降法$w=w+v$中，每次$x$的更新量$v$为

$$v = - \eta dw$$ 当使用动量时，则把每次 $x$的更新量 $v$考虑为本次的梯度下降量 $-\eta dw$与上次 $w$的更新量 $v$乘上一个介于[0, 1]的因子momentum的和，即 $v$为 $$v_t = - \eta dw+v_{t-1}*momentum$$
如果这一时刻更新度 $v_t$与上一时刻更新度 $v_{t-1}$的方向相同，则会加速。反之，则会减速。加动量的优势有两点：
1. 加速收敛
2. 提高精度(减少收敛过程中的振荡)