《最优化导论》-9牛顿法

牛顿法用到了目标函数的1、2阶导数,可能会更高效。

1.思想:构造目标函数的近似函数:

1.2泰勒展开到二阶,可以得到函数f(x)的近似函数:

1.3对近似函数q(x)求极小值,得到迭代形式:

1.4流程:

2.二次型中牛顿法

二次型中,牛顿法只需一次迭代即可从任意初始点x(0)收敛到f的极小的x*,满足在x*的梯度=0。

问题,有时候随机初始点离极小/大点较远时,并不一定收敛,有时候黑塞矩阵为奇异矩阵,则完全无法使用了,有一些修正方法

1)开展一次一维搜索:

问题是这种方法在维数n太大时,计算黑塞矩阵计算量太大,还需要解F(x(k))-1,得到方向d,这是牛顿法的重要缺陷之一。(后续10、11章的共轭方法、拟牛顿法可以避免求黑塞矩阵的逆以解决这一问题)

2)Levenberg-Marquardt修正

加入uk倍单位矩阵,使得修正后的矩阵G总保存正定,加入ak,开展一维搜索:

3. 牛顿法拟合非线性最小二乘函数:9.4

猜你喜欢

转载自blog.csdn.net/jiang425776024/article/details/87601854