凸优化理论（2）

上篇博客开始了我的凸优化之旅，介绍了凸集和凸函数的定义，这篇博客给出凸函数非常有用的性质和判别条件，并给出其数学证明，同时给出强凸函数定义。

首先勘误一下上篇博客关于严格凸的定义，其条件不是 $\lambda \in [0,1]$，而是 $\lambda \in (0,1)$
1、性质1：局部最优就是全局最优
证明： 利用反证法进行证明，假设 $f(x^*)$为找到的一个局部最小值，假设还存在一个 $f(x_n)$更小，即
$f(x^*)>f(x_n)$
则在凸集 $S$上，由凸函数定义有
$f(x^*+\lambda (x_n-x^*))\leq \lambda f(x_n)+(1-\lambda)f(x^*)$
其中 $\lambda \in [0,1]$，如果令 $\lambda$不为0，则 $f(x^*+\lambda (x_n-x^*))<f(x^*)$，显然可以很轻松地找到合适的 $\lambda$使得 $x^*+\lambda (x_n-x^*)$非常靠近 $x^*$，这将与 $f(x^*)$是局部最小相矛盾。

2、性质2：一阶条件，设 $f(x)$在凸集 $S$上具有一阶连续偏导，则 $f(x)$为 $S$上的凸函数的充要条件为
$\forall x_1,x_2\in S , f(x_2)\geq f(x_1)+\triangledown f(x_1)^T(x_2-x_1)$
证明：
(1) 首先考虑一元函数情形
充分性： 由凸函数定义有 $f(x_1+\lambda (x_2-x_1)) \leq \lambda f(x_2)+(1-\lambda)f(x_1)$
假设 $\lambda \in (0,1]$，则不等式2边同除 $\lambda$，得
$f(x_2)\geq f(x_1)+\frac{f(x_1+\lambda (x_2-x_1))-f(x_1)}{\lambda}$
令 $\lambda$趋近于0即可得 $f(x_2)\geq f(x_1)+f'(x_1)(x_2-x_1)$

必要性： 取 $z=\lambda x_1+(1-\lambda) x_2$，则
$f(x_1)\geq f(z)+f'(z)(x_1-z)$
$f(x_2)\geq f(z)+f'(z)(x_2-z)$
上述2式分别乘以 $\lambda$和 $1-\lambda$则可得 $f(z)\leq \lambda f(x_1) + (1-\lambda)f(x_2)$

多元函数的证明与一元函数思路类似。
3、性质3：二阶条件，设函数 $f(x)$在开凸集 $S$上具有二阶连续偏导， $f(x)$为凸函数的充要条件是函数的 $Hessian$矩阵在 $S$上处处半正定。
二阶判别条件的证明留作下篇给出。