最优化方法（最速下降、牛顿法、高斯牛顿法、LM算法）

前言

最优化方法应用广泛，但在实现原理上大同小异。作者在学习高翔博士的视觉SLAM十四讲的过程中对其第六章非线性最小二乘求解所涉及到的最优化方法（最速下降、牛顿法、高斯牛顿法、LM算法）进行了简要总结如下：

最速下降法（梯度下降/一阶导数法）

作者在最速下降法解析（理解笔记）中曾经介绍过最速下降法的实现过程，并列举了一个小例子。在这里，为了文章整体的完整性，我们再重新叙述一下，大家也可以参考。
假设我们希望求解一个最小二乘问题：
$$\underset{x}{\min }=\frac{1}{2}{\Vert \begin{array}{c}f(x)\end{array}\Vert }_2^2$$
把上式在$x$处进行泰勒展开：
$${\Vert \begin{array}{c}f(x+\Delta x)\end{array}\Vert }_2^2={\Vert \begin{array}{c}f(x)\end{array}\Vert }_2^2+J(x)\Delta x+\frac{1}{2}\Delta x^{T}H(x)\Delta x$$
式中$J(x)$与$H(x)$分别为关于变量$x$的雅克比矩阵（一阶导数）和海塞矩阵（二阶导数）。
在梯度下降法中，我们只考虑在$x$处的一阶梯度。则上式变为：
$${\Vert \begin{array}{c}f(x+\Delta x)\end{array}\Vert }_2^2={\Vert \begin{array}{c}f(x)\end{array}\Vert }_2^2+J(x)\Delta x$$
认为沿着一阶梯度反方向下降最快，当然，在迭代过程中每一步走多长也是一个需要考虑的问题，我们可以设计一个定长$\lambda$。当然这种方式有着明显的不合理之处，一个较大的步长会导致我们在优化过程中走出锯齿状路线，而一个较小的步长则会导致我们收敛速度过慢。这种设置为固定步长$\lambda$的方式为梯度下降法。很多时候认为梯度下降与最速下降是等价的，这并不十分准确，最速下降法对步长$\lambda$进行选取一个最优的${\lambda }^{\ast }$。
其把$\lambda$代入：$x_{(1)}=x_{(0)}-\lambda J(x)$，然后求取在$f(x_{(1)})$处取得最小值的$\lambda$作为${\lambda }^{\ast }$。

建议读者去最速下降法解析（理解笔记）看一下实际使用过程中的例子。

牛顿法（二阶导数法）

这里我们保留在$x$处的二阶展开项：
$${\Vert \begin{array}{c}f(x+\Delta x)\end{array}\Vert }_2^2={\Vert \begin{array}{c}f(x)\end{array}\Vert }_2^2+J(x)\Delta x+\frac{1}{2}\Delta x^{T}H(x)\Delta x$$

首先明确一下我们的目的是找到一个最优的$\Delta x^{\ast }$使得上式取得最小值：
$$\Delta x^{\ast }=arcmin({\Vert \begin{array}{c}f(x)\end{array}\Vert }_2^2+J(x)\Delta x+\frac{1}{2}\Delta x^{T}H(x)\Delta x)$$

将上式视为$\Delta x$的函数，对$\Delta x$进行求导，得到如下形式：

$$J(x)+H(x)\Delta x$$
令其导数为0：
$$J(x)+H(x)\Delta x=0$$
则取得极小值，解出增量为：
$$\Delta x=-H(x{)}^{-1}J(x)$$

还有另外一种理解方式是把牛顿法看成是对一阶导数法的求根过程，即使用牛顿法求解原函数一阶导数为零的$\Delta x$。

牛顿法需要计算目标函数的二阶导数$H(x)$，这在遇到规模较大的问题时，会比较困难，因此我们常常避免$H(x)$矩阵的运算。
后续的高斯牛顿法和LM算法解决了这个问题。

高斯牛顿法

高斯牛顿法是对函数$f(x)$进行一阶展开（注意不是$f(x{)}^2$），展开形式如下：
$$f(x+\Delta x)\approx f(x)+J(x)\Delta x$$
这里的J(x)也是雅克比矩阵，与前述不同的是这里是$f(x)$对变量$x$的导数。
由此，当前我们的目标变成了：寻找一个增量$\Delta x$，使得${\Vert \begin{array}{c}f(x+\Delta x)\end{array}\Vert }_2^2$的值达到最小。即求解下述关系：
$$\Delta x^{\ast }=arg\underset{\Delta x}{\min }(\frac{1}{2}{\Vert \begin{array}{c}f(x)+J(x)\Delta x\end{array}\Vert }_2^2)$$
展开上式：
$$\begin{gathered} \frac{1}{2}{\Vert \begin{array}{c}f(x)+J(x)\Delta x\end{array}\Vert }_2^2 \\ =\frac{1}{2}(f(x)+J(x)\Delta x{)}^T(f(x)+J(x)\Delta x) \\ =\frac{1}{2}({\Vert \begin{array}{c}f(x)\end{array}\Vert }_2^2+2f(x{)}^{T}J(x)\Delta x+\Delta x^{T}J(x{)}^{T}J(x)\Delta x) \end{gathered}$$
上式关于$\Delta x$求导，并令其为0：
$$J(x{)}^{T}f(x)+J(x{)}^{T}J(x)\Delta x=0$$
即：
$$J(x{)}^{T}J(x)\Delta x=-J(x{)}^{T}f(x)$$
上式是一个线性方程组，被称为增量方程，也可以称为高斯牛顿方程或者正规方程。把左边的系数即为$H$，右侧记为$g$，则上式转换为：
$$\begin{gathered} H\Delta x=g \\ \Delta x=H^{-1}g \end{gathered}$$
这里的$H$即为牛顿法里海塞矩阵的近似，省略了计算二阶导数的过程。

上述过程中我们使用了$J(x{)}^{T}J(x)$的逆，但是$J(x{)}^{T}J(x)$是半正定的，不能保证其为非奇异性。

Levenberg-Marquadt（LM算法）

LM算法是一种信赖域方法，我们使用一个参数 $\rho$ 来根据我们的近似模型跟实际函数之间的差异来确定这个范围，如果$\rho$的值较小，则差异较小，让范围继续扩大，而如果$\rho$的值很大，则差异较大，则缩小范围：
$$\rho =\frac{f(x+\Delta x)-f(x)}{J(x)\Delta x}$$
上式中分子是实际函数下降的值，分母是近似值。若$\rho$的值接近1则认为近似是好的。如果$\rho$太小，则认为近似比较差，则需要缩小近似范围。反之，如果$\rho$比较大，则认为实际下降的比预计的大，我们可以扩大近似范围。

上图中公式（6.24）是一个带有不等式约束的优化问题。使用一个Lagrange乘子把其转换为一个无约束优化问题。
$$\underset{\Delta x_k}{\min }=\frac{1}{2}{\Vert \begin{array}{c}f(x_k)+J(x_k)\Delta x_k\end{array}\Vert }_2^2+\frac{\lambda }{2}{\Vert \begin{array}{c}D\Delta x\end{array}\Vert }_2^2$$
使用类似于高斯牛顿法中的过程，对上式进行求导，然后使其导数为0，得到的增量方程为：
$$(H+\lambda D^{T}D)\Delta x=g$$
与高斯牛顿法相比，我们可以发现多出来一项$\lambda D^{T}D$，简化记$D=I$则上式变为：
$$(H+\lambda I)\Delta x=g$$
可以由上式观察到，当参数$\lambda$的值比较大时，则LM算法接近为最速下降法，而$\lambda$的值较小时则近似于高斯牛顿法。