【Matlab算法】G-N法求解非线性最小二乘优化问题（附G-N法MATLAB代码）

前言

博主一头小山猪目前已开放所有文章：小山猪——经典算法专栏

活动地址：CSDN21天学习挑战赛

正文

非线性最小二乘优化问题

非线性最小二乘优化问题
非线性最小二乘优化也叫无约束极小平方和函数问题，它是如下无约束极小问题： $\min S(x)$ ， 其中 $S(x)=f(x{)}^{T}f(x)={\sum }_{i=1}^m{f}_i^2(x)$ 。
例如 $\min S(x)={\left(t-2+s^2\right)}^2+{\left(t^2+1\right)}^2$ ，则 $f(x)=\left[\begin{array}{c}t-2+s^2\\ t^2+1\end{array}\right]$ ，其中 $x={\left[\begin{array}{ll}t& s\end{array}\right]}^T$ 。如果 $f(x)$ 为 $x$ 的线性函数，即 $f(x)=\mathbf{C}x+\mathbf{d}$ ，其中 $\mathbf{C}$ 为矩阵， $\mathbf{d}$ 为向 量，此时问题变为线性最小二乘问题。对于线性最小二乘问题，处理起来非常简单，其实质是 $n$ 变量的二次规划问题，MATLAB中对应有Isqnonlin函数求解线性最小二乘问题。
算法步骤
用G-N法求解非线性最小二乘优化问题 $\min S(x)$ 的算法过程如下:
【1】给定初始点 $x^{(0)}$ ，及精度 $\epsilon >0$ ，置 $k=0$ ；
【2】计算 $f\left(x^{(k)}\right),S\left(x^{(k)}\right)$ ；
【3】计算 $\nabla f\left(x^{(k)}\right)$ ；
【4】计算 $\nabla S\left(x^{(k)}\right)={\left(\nabla f\left(x^{(k)}\right)\right)}^T\ast f\left(x^{(k)}\right)$ ；
【5】 解方程 $\left[{\left(\nabla f\left(x^{(k)}\right)\right)}^T\nabla f\left(x^{(k)}\right)\right]\Delta x=-\nabla S\left(x^{(k)}\right)$ ；
【6】置 $x^{(k+1)}=x^{(k)}+\Delta x$ ；
【7】检验终止原则，否则令 $k=k+1$ ，转【2】。

代码实现

G-N法函数如下

function [x,minf] = minGN(f,x0,var,eps)
format long;
if nargin == 3
    eps = 1.0e-6;
end
S = transpose(f)*f;
k = length(f);
n = length(x0);
x0 = transpose(x0);
tol = 1;
A = jacobian(f,var);

while tol>eps
    Fx = zeros(k,1);
    for i=1:k
        Fx(i,1) = Funval(f(i),var,x0);
    end
    Sx = Funval(S,var,x0);
    Ax = Funval(A,var,x0);
    gSx = transpose(Ax)*Fx;

    dx = -transpose(Ax)*Ax\gSx;
    x0 = x0 + dx;
    tol = norm(dx);
end
x = x0;
minf = Funval(S,var,x);
format short;

参考资料

1. 小山猪——经典算法专栏
   
2. 数据结构教程 第5版