中科大-凸优化 笔记（lec35）-鞍点定理

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化

Slater条件：凸问题 $P^{\ast }=d^{\ast }？$

1. 充分条件
2. 非凸问题

$$\begin{gathered} \min f_0(x) \\ s.t.f_i(x)\le 0i=1,\cdots ,m \\ x\in D \end{gathered}$$

四种解释：几何、多目标优化、鞍点、经济学

经济学解释

$x$：产品
$f_0(x)$：损失
$f_i(x)$：第$i$种原材料

最优：$P^{\ast }$

原料可交易${\lambda }_i:\min f_0(x)+{\sum }_{i=1}^m{\lambda }_i{f}_i(x)=g(\lambda )\le P^{\ast }$（不同的材料肯定可以卖掉降低损失）
$$\begin{gathered} d^{\ast }=\underset{\lambda \ge 0}{\max }g(\lambda )\le P^{\ast }（即使选择一个不利的价格） \\ {d}^{\ast }=P^{\ast }?{\lambda }^{\ast }为对偶问题的最优解影子价格 \\ \{\begin{array}{l}{f}_i(x)<0，此时{\lambda }_i^{\ast }=0（当价格为0时，卖不卖都一样，有库存）\\ \\ 当{\lambda }_i^{\ast }>0，则f_i(x^{\ast })=0（能卖了赚钱的全卖了，库存为0）\end{array} \end{gathered}$$

鞍点解释

$f(w,z)$再集合$w\in S_w,z\in S_z$上
$$\underset{z\in S_z}{\sup }\underset{w\in S_w}{\inf }f(w,z)\le \underset{w\in S_w}{\inf }\underset{z\in S_z}{\sup }f(w,z)（\min -\max 不等式）$$
{ sup ⁡ z ∈ S z inf ⁡ w ∈ S w f ( w , z ) = inf ⁡ w ∈ S w sup ⁡ z ∈ S z f ( w , z ) arg ⁡ w , z { sup ⁡ z ∈ S z inf ⁡ w ∈ S w f ( w , z ) } = arg ⁡ w , z { inf ⁡ w ∈ S w sup ⁡ z ∈ S z f ( w , z ) } ( w ~ , z ~ ) 使 等 式 成 立 称 为 鞍 点 \left\{ \begin{array}{l} \sup_{z\in S_z}\inf_{w\in S_w} f(w,z)= \inf_{w\in S_w}\sup_{z\in S_z}f(w,z) \\ \\\arg_{w,z}\{\sup_{z\in S_z}\inf_{w\in S_w} f(w,z)\}=\arg_{w,z}\{\inf_{w\in S_w}\sup_{z\in S_z} f(w,z)\} \end{array} \right.\\(\widetilde w,\widetilde z)使等式成立称为鞍点 ⎩⎨⎧​supz∈Sz​​infw∈Sw​​f(w,z)=infw∈Sw​​supz∈Sz​​f(w,z)argw,z​{ supz∈Sz​​infw∈Sw​​f(w,z)}=argw,z​{ infw∈Sw​​supz∈Sz​​f(w,z)}​(w ,z )使等式成立称为鞍点

f ( w ~ , z ) ≤ f ( w ~ , z ~ ) ≤ f ( w , z ~ ) , ∀ z ∈ S z , w ∈ S w L ( x , λ ) = f 0 ( x ) + ∑ i = 1 m λ i f i ( x ) sup ⁡ λ ≥ 0 { L ( x , λ ) } = { f 0 ( x ) ,    f i ( x ) ≤ 0 , i = 1 , ⋯   , m + ∞ ,      o t h e r w i s e f(\widetilde w,z)\le f(\widetilde w,\widetilde z)\le f(w,\widetilde z),\forall z\in S_z,w\in S_w\\L(x,\lambda)=f_0(x)+\sum_{i=1}^m\lambda_if_i(x)\\\sup_{\lambda\ge0}\{L(x,\lambda)\}=\left\{ \begin{array}{l} f_0(x),\;f_i(x)\le0,i=1,\cdots,m \\ \\+\infty,\;\;otherwise \end{array} \right. f(w ,z)≤f(w ,z )≤f(w,z ),∀z∈Sz​,w∈Sw​L(x,λ)=f0​(x)+i=1∑m​λi​fi​(x)λ≥0sup​{ L(x,λ)}=⎩⎨⎧​f0​(x),fi​(x)≤0,i=1,⋯,m+∞,otherwise​

P ∗ = min ⁡ x { f 0 ( x ) ∣ f i ( x ) ≤ 0 , i = 1 , ⋯   , m } = inf ⁡ x sup ⁡ λ ≥ 0 { L ( x , λ ) } d ∗ = sup ⁡ λ inf ⁡ x { L ( x , λ ) } ( = sup ⁡ λ ≥ 0 g ( λ ) ) P ∗ = d ∗ , ( x ~ , λ ~ ) 为 鞍 点 } P ∗ ≥ d ∗ \left. \begin{array}{r} P^*=\min_x\{f_0(x)|f_i(x)\le0,i=1,\cdots,m\}=\inf_x\sup_{\lambda\ge0}\{L(x,\lambda)\}\\ \\d^*=\sup_{\lambda}\inf_x\{L(x,\lambda)\}{\color{blue}(=\sup_{\lambda\ge0}g(\lambda))} \\\\P^*=d^*,(\widetilde x,\widetilde \lambda)为鞍点 \end{array} \right\} P^*\ge d^* P∗=minx​{ f0​(x)∣fi​(x)≤0,i=1,⋯,m}=infx​supλ≥0​{ L(x,λ)}d∗=supλ​infx​{ L(x,λ)}(=supλ≥0​g(λ))P∗=d∗,(x ,λ )为鞍点​⎭⎪⎪⎪⎪⎬⎪⎪⎪⎪⎫​P∗≥d∗

鞍点定理

若$(\tilde{x},\tilde{\lambda })$为$L(\tilde{x},\tilde{\lambda })$的鞍点$\iff$强对偶存在，且$\tilde{x},\tilde{\lambda }$为primer与dual最优解。

（抱歉，实在不不想敲了…）

下一章传送门：中科大-凸优化 笔记（lec36）-KKT条件