凸函数2（斯坦福凸优化笔记6）

1 Jensen 不等式

基本不等式$f(\theta x+(1-\theta)y)\leq \theta f(x)+(1-\theta)f(y)$
扩展到多项也成立。
$f(\theta _1x_1+ \cdots + \theta_k x_k) \leq \theta _1f(x_1)+ \cdots + \theta_k f(x_k)$,$\theta _1+ \cdots + \theta_k =1$
一般形式：
事件$x \in \mathbf{dom }f$发生的概率为1，函数$f$是凸函数，当相应的期望存在时，有$f(Ex) \leq Ef(x)$

2 保凸运算

注意，这里的保凸运算指凸函数的保凸运算，并不指凸集的保凸运算，要和上一章分开。
（1）非负加权求和
当$w_i \geq 0,f_i$是凸函数时,$f=w_1f_1+ \cdots +w_mf_m$是凸函数。
当$f_i$严格凸时，$f$严格凸。
此性质可以扩展到积分。
如果固定$y \in A$，函数$f(x,y)$是关于$x$的凸函数。且对任意$y \in A$有$w(y) \geq 0$，则函数$g(x)=\displaystyle\int\nolimits_{A}^{ }w(y)f(x,y)\ dy$是关于$x$的凸函数。

（2）复合仿射映射

假设函数 $f: R^n \rightarrow R, A \in R^{n \times m}$，以及$b \in R^n$，定义$g: R^m \rightarrow R$为
$g(x)=f(Ax+b)$
其中$\mathbf{dom} g=\{x \mid Ax+b \in \mathbf{dom} f \}$
这样的话，$f$与$g$的凹凸性一致。

（3）函数每点取最大

若$f_1,f_2$都是凸函数，则
$f(x)=max\{f_1(x),f_2(x)\}$是凸函数。
这个性质还可以扩展到多个函数。
若$f_1,\cdots,f_n$都是凸函数，则
$f(x)=max\{f_1(x),\cdots,f_n(x)\}$是凸函数。

举例：
最大$r$个分量和是凸函数。对于任意$x\in R^n$,用$x_{[i]}$表示$x$中第$i$大的分量。则$f(x)=\sum\limits_{i=1}^{r}x_{[i]}$是凸函数。
原因是$f(x)$还可以表示为:
$f(x)=max\{x_{i_1}+\cdots +x_{i_r}\mid 1 \leq i_1<i_2<\cdots <i_r \leq n\}$
即从$x$的分量中选取$r$个不同分量进行求和所有组合的最大值。函数可以看成$n!/(r!(n-r)!)$个线性函数取每点取最大，所以是凸函数。

逐点最大的性质可以扩展到无限个凸函数取上确界。
对于任意$y \in A$，函数$f(x,y)$关于$x$都是凸的，则函数$g$
$g(x)=$$\sup\limits _{y \in A}f(x,y)$也是凸的，此时函数的定义域为
$\mathbf{dom} \ g=\{x \mid (x,y) \in \mathbf {dom} \ f \ \forall y \in A,g(x) < \infty \}$

（4）标量的复合：

标量的复合在直观上结论十分好理解。
对于$f(x)=h(g(x))$
$f''(x)=h''(g(x))g'(x)^2+h'(g(x))g''(x)$
这里，我们先假设这里写出来的导数都是存在的。
因为可以认为凸函数二阶导大于零，所以$h$凸$g$凸并且$h$非减,则$f$是凸函数。（剩下几条自己推吧，相信高中生知道导数定义都明白的）
如果函数不可导怎么办？这些直观的结论都依然成立，只是这时结论里的$h$要变成$\tilde{h}$ 。
举几个例子：
如果$g$是凸函数则$exp(g(x))$也是凸函数 。
如果$g$是凹函数且大于零则$1/g(x)$是凸函数 。

（5）矢量的复合：

对于$f(x)=h(g_1(x),\cdots ,g_k(x))$
其中，$h,g$都是矢量函数（即定义域在多维上，值域是一维）
$f''(x)=g'(x)^T \triangledown ^2 h(g(x))g'(x)+\triangledown h(g(x))^Tg''(x)$
此时，我们得到和上面标量复合类似的结论。同样，$h$不可导时，结论中$h$要变成$\tilde{h}$ 。

矢量复合要注意的是，矢量复合可以组合多种情况的结论。比如下面结论同样是对的：
若$h$是凸函数且在$h$的非减分量上$g_i$是凸函数，在$h$的非增分量上$g_i$是凹函数，那么$f$是凸函数。

$h(z)=log(\sum\limits_{i=1}^{k}e^{z_i})$是凸函数且在每一维分量上非减，只要$g_i$是凸函数，那么$h(g_i)$就是凸函数。

（6）最小化

如果函数$f$是关于$(x,y)$是凸函数，集合$C$是非空凸集，定义函数：
$g(x)=\inf\limits_{y \in C}f(x,y)$
是凸函数。

举一个例子，定义点$x$到某一集合$S$的距离定义为：
$\mathbf{dist}(x,S)=\inf\limits_{y \in S}\left \|x-y \right \|$
若$S$是凸集，那么距离函数$\mathbf{dist}(x,S)$是凸函数。

（7）透视函数

定义函数：
$g(x,t)=tf(x/t)$
定义域为：
$\mathbf{dom}\ g =\{(x,t) \mid x/t \in \mathbf{dom} f ,t > 0\}$
透视函数是保凸运算。
（一定注意要求$t>0$）

3 共轭函数

设函数$f:R^n \rightarrow R$，定义函数$f^*:R^n \rightarrow R$为
$f^*(y)=\sup\limits_{x \in \mathbf{dom} \ f } (y^Tx-f(x))$
此函数称为$f$的共轭函数。

（图片来自斯坦福Boyd Convex Optimization）
旋转直线$xy$，$y$是斜率，得到的直线与$f(x)$在整个定义域上的最大差值就是$f^*(y)$。不出意外的话（如果$f(x)$可微），在满足$f'(x)=y$的点$x$处差值最大。

考虑一个简单的例子。

求$f(x)=-log \ x$的共轭函数。
对于函数$xy+log \ x$
当$y \geq 0$时，此函数没有上界。
当$y < 0$时，此函数在$x=-1/y$时取最大值。代入得：
$f^*(y)=-log \ (-y)-1$

4 拟凸函数

如果函数定义域内的所有下水平集都是凸集，则函数为拟凸函数。这个定义在理解了下水平集之后还是很好理解的。
拟凸函数在一些性质上很像凸函数一些性质的变形。
$f(\theta x+(1-\theta)y)\leq max\{f(x),f(y)\}$
这个性质称为拟凸函数的Jensen不等式。
拟凸函数也有相应的一阶条件。
拟凸函数的一阶条件：
$f(y) \leq f(x) \Rightarrow \nabla f(x)^T(y-x)$
这是对应的描述拟凸函数的不等式。

5 对数凸函数

函数为对数凹，对所有的$x \in \mathbf{dom} f$有$f(x)>0$且$log f$是凹函数。
我们也可以用类似定义凸函数的方法定义对数凹函数。
如果函数定义域是凸集，且在定义域上为正，
对$x,y \in \mathbf{dom} f \ , 0 \leq \theta \leq 1$有$f(\theta x +(1-\theta) y)) \geq f(x)^ \theta f(y) ^ {(1- \theta)}$，则称$f(x)$是对数凹函数。

关于对数凸函数，有几个性质比较重要。
1对数凸函数是凸函数，非负凹函数是对数凹函数。
2 对于对数凹函数，$f(x)\nabla ^2 f(x) \preceq \nabla f(x)\nabla f(x)^T$
3 对数凸函数的和仍然是对数凸函数。
4 积分：积分可以理解成无数个函数的和。
所以有以下结论。
对于任意$y \in C$，$f(x,y)$是$x$的对数凸函数，则函数
$\displaystyle g(x)=\int \limits_{C }^{\ } f(x,y)dy$是对数凸函数。这个用上面的求和的性质很好理解。

对数凹函数的积分也有积分性质。
如果函数$f:R^n \times R^m \rightarrow R$是对数凸函数，则
$\displaystyle g(x)=\int \limits f(x,y)dy$
则此函数在$R^n$上是$x$的对数凹函数。此条件和上面那个不一样，注意区分，此条件要求更严。