1. 凸集
设
S是
n维欧式空间
Rn中的一个集合,若对
S中任意两点连线上的点仍属于
S,则称
S集为凸集
,即
x(1)+λ[x(2)−x(1)]∈S
2. 凸函数
设
f是定义在
S上的实函数,若连接函数
f曲线上任意两点的弦不在曲线下方,则称函数
f为
S集上的凸函数
,即
f(x(1)+λ(x(2)−x(1)))≤f(x(1))+λ(f(x(2))−f(x(1)))
证明: 若
x1<x<x2,
0<λ<1,则
x=x1+λ(x2−x1),由定义可知函数
f曲线上任意两点的弦不在曲线下方(函数值较小),故
y2−y1y−y1=x2−x1x−x1⟹f(x2)−f(x1)f(x1+λ(x2−x1))−f(x1)≤x2−x1x1+λ(x2−x1)
因此
f(x1+λ(x2−x1))≤f(x1)+λ(f(x2)−f(x1)),不等式得证。
2.1 凸函数一阶判别公式
设
f是定义在凸集
S上的可微函数,则
f(x)为凸函数的充要条件是
f(x(2))≥f(x(1))+∇f(x(1))T(x(2)−x(1))
证明: 先证必要性,由
f(x1+λ(x2−x1))≤f(x1)+λ(f(x2)−f(x1)),得
f(x2)≥f(x1)+λ(x2−x1)f(x1+λ(x2−x1))−f(x1)(x2−x1)
显然当
λ→0时,
f(x2)≥f(x1)+f′(x1)(x2−x1),必要性得证。
再证充分性,由
f(x)≥f(y)+f′(y)(x−y),因此
f(x1)≥f(y)+f′(y)(x1−y),f(x2)≥f(y)+f′(y)(x2−y)
因此令
y=x1+λ(x2−x1),上面左侧不等式两侧乘
(1−λ)、右侧不等式两侧乘
λ,合并两个不等式得
(1−λ)f(x1)+λf(x2)≥f(y)+f′(y)[x1+λ(x2−x1)−y]=f(y)
显然
f(x1+λ(x2−x1))≤f(x1)+λ(f(x2)−f(x1)),充分性得证。
2.2 凸函数二阶判别公式
设
f是定义在凸集
S上的二阶可微函数,则
f(x)为凸函数的充要条件是在任意
x处,Hesse矩阵半正定。
证明: 先证必要性,对任一点
x∈S,存在
λ∈[−1,1],有
x+λx∈S,因此
f(x+λx)≥f(x)+λ∇f(x)Tx
由
f(x)在点
x处二次可微,则
f(x+λx)=f(x)+λ∇f(x)Tx+2λ2xT∇2f(x)x+o(∣∣λx∣∣2)
则
2λ2xT∇2f(x)x+o(∣∣λx∣∣2)≥0⟹xT∇2f(x)x≥0
再证充分性,设Hesse矩阵
∇2f(x)在每一点
x∈S处半正定,对任意
x,x∈S,依中值定理得
f(x)=f(x)+∇f(x)T(x−x)+21(x−x)2∇2f(x^)(x−x)
其中
x^=λx+(1−λ)x,
S为凸集,因此当
x^∈S且
∇2f(x^)半正定时,必有
(x−x)T∇2f(x^)(x−x)≥0
故
f(x)≥f(x)+∇f(x)T(x−x),充分性得证。
3. 凸规划
极小化问题
xminf(x);s.t.gi(x)≤0,hi(x)=0
上式
gi(x)为凸函数,线性函数
hi(x)既是凸函数又是凹函数。这类求凸函数在凸集上的极小点的问题,称为凸规划。
重要性质:凸规划的局部极小点就是全局极小点。
证明:由
∇f(x)=0,显然
f(x)≥f(x),即
f(x)为全局极小点。