优化方法——梯度下降法
假设目标函数为 ,则一阶偏导为 , 为迭代步长。
(1)批处理
Batch Gradient Descent
参数更新:
由上式观察知,每进行一次参数更新,需要计算整个数据集的样本。因此,该方法存在以下不足:
(1)不适合大的数据集,因为每次更新需要重复扫描所有的样本,耗时;
(2)当陷入鞍点或较差的局部最优点时,梯度很难跑出来,因此可能难以保证每次得到的都是最优解。
(2)单样本处理
Stochastic Gradient Descent
参数更新:
显然,每次更新只需要计算一个样本,但是因为样本的随机性,会导致梯度的更新产生较大的振荡。
(3)小批次样本处理
Mini-Batch Gradient Descent
参数更新:
综上三种方法,它们主要包含下面两点不足:
(1)
选择困难,且固定。当
选择较大的时候,则靠近快收敛处时,容易跳过收敛点;当其较小时,梯度更新蛮,效率不高。
(2)这三种方法都易收敛到局部最优点。此外,在有些情况下,易陷入鞍点。
因此,基于以上不足,有人提出了一种基于动量的方法。
Momentum
该方法借鉴物理上的动量思想(所以说学科之间是相通的嘛>O<),通过累积之前的动量来加速当前的梯度。
首先,定义
:当前时刻的动量,之前累积的动量;
:动量因子,一般设为0.9
参数更新:
该方法最大的优点就是抑制了动荡。
其有以下一些特点:
(1)参数最开始更新的时候,如果加上前一次参数更新值,当前后2次下降方向一致,乘上较大的
能够很好地加速,从而加快收敛;
(2)参数更新中期,可能会在局部最小值附近来回振荡,梯度趋向于0,
使得更新幅度增大,能够跳出陷阱,避免了陷入局部最优点和鞍点的问题;
(3)在梯度方向改变时,该方法能降低参数更新的速度,故而减小了振荡;在梯度方向相同的时候,该方法可以加快参数更新,加速收敛,提高效率。
PS:第一次写,不足之处,还请各位大神多指教…