Trust-Region-Methods
Trust-Region Method(置信域方法)利用目标函数在迭代点的函数值与导数信息来建立一个二次型模型用来近似表示目标函数,而在距离迭代点多远的范围之内可以相信这个二次型模型,这个范围就是置信域。
二次型模型
在迭代点的二次型模型具体表示为\[m_k(p)=f_k+\nabla f_k^T p+ \frac{1}{2}p^T B_k p\]式子中\(f_k\)是目标函数在第k个迭代点的取值,\(B_k\)是一个对称矩阵,一般来说,很容易想到它会是\(x_k\)点的Hessian矩阵,不过这里并不要求必须是Hessian矩阵,\(B_k\)的不同也导出了不同类型的方法。