对于《欠定线性系统与正则化》一节中的优化问题:
(PJ):xminJ(x)s.t.b=Ax
只要
J(⋅)为严格凸的函数,都能保证只有唯一解,
l2能够带来唯一解就是其中的一个例子。
1、凸集
【定义1】对于集合
Ω,
∀x1,x2∈Ω以及
∀t∈[0,1],若凸组合
x=tx1+(1−t)x2也在
Ω中,则
Ω为凸集。
显然,图1中的(a)为凸集,而(b)为凹集。
图1 凸集的定义
下面我们用定义1来看看
Ax=b的解集的凸性。设
Ω={x∣Ax=b},由
Ax=b,可得
x=(ATA)−1ATb。显然,
x=tx1+(1−t)x2=(ATA)−1ATb∈Ω因此
Ax=b的解集
Ω为凸集。
为了保证优化问题总体上是凸的,我们还必须保证惩罚函数
J(x)也是凸的。所以我们先来看看凸函数的定义。
2、凸函数
【定义2】若函数
J(x):Ω→R为凸的,则
∀x1,x2∈Ω且
∀t∈[0,1],凸组合点
x=tx1+(1−t)x2满足
J(tx1+(1−t)x2)≤tJ(x1)+(1−t)J(x2).
图2给出了凸函数的定义,从图中可以看出,当
t在0到1之间变化时,
x在
x1和
x2之间变化,而
J(tx1+(1−t)x2)为函数
J(x)上的点,它始终小于
(x1,J(x1))和
(x2,J(x2))两点连线上的点:
tJ(x1)+(1−t)J(x2)。
图2 凸函数的定义
进一步,我们在《凸函数成立的一阶与二阶条件》一文中给出了凸函数成立的两个充要条件。利用二阶条件,即凸函数的Hessian阵半正定,我们知道
ℓ2-范数的平方是凸的,因为
▽2∣∣x∣∣22=2I。事实上,由于对于任意的
x,
ℓ2-范数的平方的Hessian阵都是严格正定的,因此它是严格凸的,也就可以得到唯一解。
【参考文献】
[1] Michael Lead, Sparse and Redundant Representations, From Theory to Applications in Signal and Image Processing.
ps:
ℓ用来作为
l的花体很好看呀,输入\ell就OK啦。