全部笔记的汇总贴(视频也有传送门):中科大-凸优化
一、优化问题的几种分类
-
线性规划/非线性规划【早期分类】(由于线性约束的存在,线性规划的最优点和可行点一般都是在边界上,所以单纯形法之类的算法是有用的。)
f i ( α x + β y ) = α f i ( x ) + β f i ( y ) ∀ i = 0 , 1 , ⋯ , m f_i(\alpha x+\beta y)=\alpha f_i(x)+\beta f_i(y)\\\forall i=0,1,\cdots,m fi(αx+βy)=αfi(x)+βfi(y)∀i=0,1,⋯,m
-
凸规划/非凸规划【终极分类,有本质的区别】
f i ( α x + β y ) ≤ α f i ( x ) + β f i ( y ) ∀ i = 0 , 1 , ⋯ , m f_i(\alpha x+\beta y)\le \alpha f_i(x)+\beta f_i(y)\\\forall i=0,1,\cdots,m fi(αx+βy)≤αfi(x)+βfi(y)∀i=0,1,⋯,m
-
光滑/非光滑(针对目标函数 f 0 ( x ) f_0(x) f0(x)来说)
-
连续/离散【针对可行域/约束集来说】:离散的一般都比较难,因为离散集合是非凸的,连续问题有难有易。
-
单目标( min x f ( x ) \min_x f(x) minxf(x))/多目标( min x f 1 ( x ) , min x f 2 ( x ) \min_x f_1(x),\min_x f_2(x) minxf1(x),minxf2(x))【针对目标函数个数而言】
特点,往往只能折中的求解最优解。
解决方法:用加权思想,组合成一个目标,令 f 0 ( x ) = α f 1 ( x ) + β f 2 ( x ) f_0(x)=\alpha f_1(x)+\beta f_2(x) f0(x)=αf1(x)+βf2(x),然后去求 min x f 0 ( x ) \min_x f_0(x) minxf0(x)。
二、什么是凸优化问题?
广义定义:凸目标函数、凸约束集。 min x f ( x ) s . t . x ∈ Ω \min_x f(x)\\s.t.\;\;x\in \Omega xminf(x)s.t.x∈Ω其中 f ( x ) f(x) f(x)是凸函数, Ω \Omega Ω是凸集。
【注:函数 f f f凸表明两件事: f f f满足凸函数的性质; d o m f dom f domf是凸集。这里的 Ω \Omega Ω是约束集。】
狭义定义: f i ( x ) , i = 1 , 2 , ⋯ , m f_i(x),i=1,2,\cdots,m fi(x),i=1,2,⋯,m是凸函数, h j ( x ) , j = 1 , 2 , ⋯ , p h_j(x),j=1,2,\cdots,p hj(x),j=1,2,⋯,p是仿射函数。 min x f 0 ( x ) s . t . f i ( x 0 ) ≤ 0 , i = 1 , ⋯ , m h j ( x ) = 0 , j = 1 , ⋯ , p \min_x f_0(x)\\s.t.\;\;f_i(x_0)\le0,i=1,\cdots,m\\h_j(x)=0,j=1,\cdots,p xminf0(x)s.t.fi(x0)≤0,i=1,⋯,mhj(x)=0,j=1,⋯,p
三、凸优化的目标是什么?
- 解一些比较容易的问题,包括:凸问题、单目标问题、光滑问题等等。
- 能将一些实际问题构造成上述容易的问题类型。
- 容易和难指的是求解最优值的难易,对于函数 f i f_i fi的获得往往假设是可知的(就是假设函数都是给定的,针对不同情况去分析问题的性质和解法,不去讨论函数是怎么构造/建模出来的)。
四、凸优化的主要内容是什么?
- 凸集、凸函数、凸优化问题定义;
- 凸优化理论知识:KKT条件、对偶性Duality、鞍点Saddle Point、函数共轭Conjugate等理论工具;
- 若干凸优化算法。
后面讲的是优化问题的历史,没啥事儿可以听听。
下一章传送门:中科大-凸优化 笔记(lec3)-仿射集