数值最优化—优化问题的解(一)

一、太长不看版

1、(定义)优化问题的解是寻找一个向量 $x^{\ast }$ 使得函数$f(x)$对任意定义域内的向量 $x$ 都有 $f(x^{\ast })\le f(x)$。
2、(定义)局部最小值点：在$x^{\ast }$的定义域的邻域内对向量 x 都有 $f(x^{\ast })\le f(x)$。
3、(定义)严格局部最小值点：在$x^{\ast }$的定义域的邻域内对向量 $x\ne x^{\ast }$ 都有 $f(x^{\ast })<f(x)$。
4、如果函数 $f(x)$ 是凸函数，那么 $f(x)$ 的任何一个局部最小值点都是 $f(x)$ 在定义域内的最小值。
5、如果函数 $f(x)$ 是凸函数，且$f(x)$可微，那么 $f(x)$的任何一个不动点都是 $f(x)$ 在定义域内的最小值。
6、局部最小值点一阶必要条件： $\nabla f(x^{\ast })=0$
7、局部最小值点二阶必要条件： $\nabla f(x^{\ast })=0$ 且 ${\nabla }^{2}f(x^{\ast })$ 正定。
8、局部最小值点二阶充分条件： ${\nabla }^{2}f(x)在x^{\ast }$的开邻域内连续，$\nabla f(x^{\ast })=0$并且 ${\nabla }^{2}f(x^{\ast })$ 正定，那么$x^{\ast }$是 $f(x)$ 的严格局部最小值点。

二、详细推导

第一部分给出的1、2、3均为定义，所以我们从4开始证明。
Proof 4：
反证法
如果在满足4的条件下 $x^* $ 不是全局最小值，那么我们假设真实的全局最小值为 $z$ 。那么一定有 $f(z)<f(x^{\ast })$ 。
（在定义1中我们定义全局最小值用的是小于等于号，是因为可能有多个向量 $x^{\ast }$使得$f(x^{\ast })=minf(x)$。但是这里我们已经假设$x^{\ast }$ 不是全局最小值了，那么一定有 $f(x^{\ast })>minf(x)$ 所以这里取小于号。）
假设 定义域上的点$x$ ，位于$x^{\ast }$与 $z$ 之间的连线上，那么我们可以得到：
$x=\lambda z+(1-\lambda )x^{\ast }$ for some $\lambda \in (0,1]$ (1)
那么根据 $f(x)$ 的凸性，可以得到：
$f(x)=f(\lambda z+(1-\lambda )x^{\ast })\le \lambda f(z)+(1-\lambda )f(x^{\ast })<f(x^{\ast })$ (2)
其中第一个等式由方程(1)获得，第一个不等式由函数的凸性获得，第二个不等式由：
$\lambda f(z)<\lambda f(x^{\ast })$ 所以 $\lambda f(z)+(1-\lambda )f(x)<\lambda f(x)+(1-\lambda )f(x)=f(x)$ 获得。
回溯方程(2)，我们可以得到 $f(x)<f(x^{\ast })$ ，对任意 $x=\lambda z+(1-\lambda )x^{\ast }$ 成立。且 ${\lim }_{\lambda \to 0}x=x^{\ast }$ 。那么也就是说，在 $x^{\ast }$ 的邻域内，$x^{\ast }$不是局部最小值点。
与假设相反，所以原结论正确
Q.E.D
Proof 5：
反证法
(假设与 z 的定义与上述中一样)
利用凸性我们可以得到:
$$\begin{gathered} \nabla f(x^{\ast }{)}^T(z-x^{\ast })=\frac{d}{d\lambda }f(x^{\ast }+\lambda (z-x^{\ast })){|}_{\lambda =0} \\ ={\lim }_{\lambda \to 0}\frac{f(x^{\ast }+\lambda (z-x^{\ast }))-f(x^{\ast })}{\lambda } \\ \le {\lim }_{\lambda \to 0}\frac{\lambda f(z)+(1-\lambda )f(x^{\ast })-f(x^{\ast })}{\lambda } \\ =f(z)-f(x^{\ast })<0 \end{gathered}$$ （3）
(没找到公式对齐的方式，大家凑合着看吧。。。。)
这个公式唯一需要解释的是第一个等式，我们从右往左推。令 $g(\lambda )=f(x^{\ast }+\lambda (z-x^{\ast }))$ ，对 $g(\lambda )$ 关于 $\lambda$ 求导可以得到 $\nabla g(\lambda )=\nabla f(x^{\ast }+\lambda (z-x^{\ast }){)}^T(z-x^{\ast })$ ，所以 $\nabla g(0)=\nabla f(x^{\ast }{)}^T(z-x^{\ast })$ ，从而得到了第一个等式。
所以我们得到了 $\nabla f(x^{\ast }{)}^T(z-x^{\ast })<0$ ，那么必然有 $\nabla f(x^{\ast })\ne 0$ ，所以与假设相违背，原结论成立。
Q.E.D