【Conic】最优性条件与对偶(2)

广义Lagrange对偶

广义Lagrange考虑将优化问题区域扩张为$\mathcal{G}$，对于$\lambda \in {\mathbb{R}}_{+}^m$的广义Lagrange函数为
$$L(x,\lambda )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x),x\in \mathcal{G}$$
当$\mathcal{F}\ne \varnothing$时，由广义Lagrange函数可以发现
$$L(x,\lambda )\le f(x),\forall x\in \mathcal{F}$$
所以
$$\begin{gathered} \underset{x\in \mathcal{G}}{\min }L(x,\lambda )\le f(x),\forall x\in \mathcal{F},\forall \lambda \in {\mathbb{R}}_{+}^m \\ \underset{\lambda \in {\mathbb{R}}_{+}^m}{\max }\underset{x\in \mathcal{G}}{\min }L(x,\lambda )\le f(x),\forall x\in \mathcal{F} \\ \underset{\lambda }{\max }\underset{x\in \mathcal{G}}{\min }L(x,\lambda )\le \underset{x\in \mathcal{F}}{\min }f(x)\text{\hspace{1em}(1)} \end{gathered}$$
广义Lagrange对偶具有如下性质：

1. 对偶性质：$v_p\ge v_d(\mathcal{G}),\forall \mathcal{F}\subseteq \mathcal{G}$.
2. 逼近性质：设$\mathcal{F}\subseteq {\mathcal{G}}_1\subseteq {\mathcal{G}}_2$，则$v_p\ge v_d({\mathcal{G}}_1)\ge v_d({\mathcal{G}}_2)$.
3. 强对偶性质：设$\mathcal{F}=\mathcal{G}$，则$v_p=v_d(\mathcal{G})$.

问题$(1)$可以使用如下的等价优化表示
$$\begin{array}{rl}\max & t\\ s.t.& L(x,\lambda )\ge t\forall x\in \mathcal{G}\\ & \lambda \in {\mathbb{R}}_{+}^m,t\in \mathbb{R}\end{array}$$
当$\mathcal{G}$包含无穷多元素时，这是一个半无限规划（semi-infinite programming）。对于存在等式约束的问题，可以将等式约束改写如下
$$\begin{gathered} h_i(x)\le 0 \\ {h}_i(x)\ge 0 \end{gathered}$$

共轭对偶

可以将原问题表示为
$$\begin{array}{rl}{v}_p=\min & f(x)\\ s.t.& x\in \mathcal{F}=\mathcal{C}\cap \mathcal{D}\end{array}$$
对于含有不等式约束的非线性规划
C = { x ∈ R n ∣ g i ( x ) ≤ 0 , i = 1 , 2 , … , m } \mathcal{C}=\{x\in\mathbb{R}^n\mid g_i(x)\leq 0, i=1,2,\dots, m\} C={ x∈Rn∣gi​(x)≤0,i=1,2,…,m}
为约束集合，$\mathcal{D}={\mathbb{R}}^n$为定义域，考虑如下映射
$$\phi :x\in \mathcal{D}\to (-g_1(x),\dots ,-g_m(x),f(x){)}^T\in {\mathbb{R}}^{m+1}$$
记
X = { u ∈ R m + 1 ∣ u = φ ( x ) , x ∈ D } \mathcal{X}=\{u\in\mathbb{R}^{m+1}\mid u=\varphi(x), x\in\mathcal{D}\} X={ u∈Rm+1∣u=φ(x),x∈D}
原问题的约束集合表示为
K = { u ∈ R m + 1 ∣ u i ≥ 0 , i = 1 , 2 , … , m } \mathcal{K}=\{u\in\mathbb{R}^{m+1}\mid u_i\geq 0, i=1,2,\dots, m\} K={ u∈Rm+1∣ui​≥0,i=1,2,…,m}
建立优化问题
$$\begin{gathered} v_p^{\prime }=\min u_{m+1} \\ s.t.u\in \mathcal{X}\cap \mathcal{K} \end{gathered}$$
其中$u\in {\mathbb{R}}^{m+1}$为决策变量。
可以发现$\mathcal{K}$是一个锥，且
K ∗ = { λ ∈ R m + 1 ∣ λ i ≥ 0 , i = 1 , 2 , … , m ; λ m + 1 = 0 } \mathcal{K}^*=\{\lambda\in\mathbb{R}^{m+1}\mid\lambda_i\geq 0, i=1,2,\dots, m;\lambda_{m+1}=0\} K∗={ λ∈Rm+1∣λi​≥0,i=1,2,…,m;λm+1​=0}
对于给定的$\lambda =({\lambda }_1,\dots ,{\lambda }_m,{\lambda }_{m+1}{)}^T\ge 0$且${\lambda }_{m+1}=0$，广义Lagrange松弛对偶第一阶段问题在$\mathcal{X}$上有
v ( λ 1 , … , λ m , X ) = min ⁡ u ∈ X { ( λ 1 , … , λ m , 0 ) ( − u 1 , … , − u m , u m + 1 ) T + u m + 1 } = − max ⁡ u ∈ X { ( λ 1 , … , λ m , 0 ) ( u 1 , … u m , u m + 1 ) T − u m + 1 } \begin{aligned} &v(\lambda_1, \dots, \lambda_m, \mathcal{X})\\ =&\min_{u\in\mathcal{X}}\{(\lambda_1, \dots, \lambda_m, 0)(-u_1, \dots, -u_m, u_{m+1})^T+u_{m+1}\}\\ =&-\max_{u\in\mathcal{X}}\{(\lambda_1, \dots, \lambda_m, 0)(u_1, \dots u_m, u_{m+1})^T-u_{m+1}\} \end{aligned} ==​v(λ1​,…,λm​,X)u∈Xmin​{ (λ1​,…,λm​,0)(−u1​,…,−um​,um+1​)T+um+1​}−u∈Xmax​{ (λ1​,…,λm​,0)(u1​,…um​,um+1​)T−um+1​}​
令
Y = { λ ∈ R m + 1 ∣ λ = ( λ 1 , … , λ m , λ m + 1 ) T , − v ( λ 1 , … , λ m , X ) < + ∞ } \mathcal{Y}=\{\lambda\in\mathbb{R}^{m+1}\mid \lambda=(\lambda_1, \dots, \lambda_m, \lambda_{m+1})^T, -v(\lambda_1, \dots, \lambda_m, \mathcal{X})<+\infty\} Y={ λ∈Rm+1∣λ=(λ1​,…,λm​,λm+1​)T,−v(λ1​,…,λm​,X)<+∞}
可以看出
− v ( λ 1 , … , λ m , X ) = max ⁡ u ∈ X { λ T u − u m + 1 } -v(\lambda_1, \dots, \lambda_m, \mathcal{X})=\max_{u\in\mathcal{X}}\{\lambda^Tu-u_{m+1}\} −v(λ1​,…,λm​,X)=u∈Xmax​{ λTu−um+1​}
反向考虑：将$u$看做Lagrange乘子，$\lambda$是函数表达式，$v({\lambda }_1,\dots ,{\lambda }_m,\mathcal{X})$是关于$\lambda$的函数，则上述优化问题为
$$\begin{array}{rl}\min & -v({\lambda }_1,\dots ,{\lambda }_m,\mathcal{X})\\ s.t.& x\in \mathcal{X}\cap \mathcal{K}\end{array}\text{\hspace{1em}(2)}$$
$f:\mathcal{X}$的共轭函数为$h:\mathcal{Y}$且满足
h ( y ) = max ⁡ x ∈ X { y ⋅ x − f ( x ) } h(y)=\max_{x\in\mathcal{X}}\{y\cdot x-f(x)\} h(y)=x∈Xmax​{ y⋅x−f(x)}
共轭对偶研究的优化模型为
$$\begin{gathered} v_p=\min f(x) \\ s.t.x\in \mathcal{X}\cap \mathcal{K}\text{\hspace{1em}(3)} \end{gathered}$$
共轭对偶为
$$\begin{gathered} v_d=\min h(y) \\ s.t.y\in \mathcal{Y}\cap {\mathcal{K}}^{\ast }\text{\hspace{1em}(4)} \end{gathered}$$
设原问题$(3)$和共轭对偶问题$(4)$都是可行的，当$x\in \mathcal{X}\cap \mathcal{Y}$和$y\in \mathcal{Y}\cap {\mathcal{K}}^{\ast }$，则有
$$0\le x\cdot y\le f(x)+h(y)$$
且$f(x)+h(y)=0$的充分必要条件为
$$x\cdot y=0,y\in \partial f(x)$$
当以上等式成立时，$x$和$y$分别为原问题和共轭对偶问题的最优解。

锥优化模型及最优性

锥线性优化的标准形式(LCoP)可以表示为
$$\begin{array}{rl}{v}_{LCoP}=\min & c\cdot x\\ s.t.& a^i\cdot x=b_{i}i=1,2,\dots ,m\\ & x\in \mathcal{K}\end{array}$$
作如下变量替换
X = { u ∈ R m + 1 ∣ u i = a i ⋅ x − b i , i = 1 , … , m ; u m + 1 = c ⋅ x , x ∈ K } K 0 = \begin{aligned} &\mathcal{X}=\{u\in\mathbb{R}^{m+1}\mid u_i=a^i\cdot x-b_i, i=1,\dots,m; u_{m+1}=c\cdot x, x\in\mathcal{K}\}\\ &\mathcal{K}_0= \end{aligned} ​X={ u∈Rm+1∣ui​=ai⋅x−bi​,i=1,…,m;um+1​=c⋅x,x∈K}K0​=​
计算$f(u)$的共轭函数
h ( w ) = max ⁡ u ∈ X { u T w − f ( u ) } = max ⁡ x ∈ K { − ∑ i = 1 m w i b i + [ ∑ i = 1 m w i a i + ( w m + 1 − 1 ) c ] ⋅ x } h(w)=\max_{u\in\mathcal{X}}\{u^Tw-f(u)\}=\max_{x\in\mathcal{K}}\{-\sum_{i=1}^mw_ib_i+[\sum_{i=1}^mw_ia^i+(w_{m+1}-1)c]\cdot x\} h(w)=u∈Xmax​{ uTw−f(u)}=x∈Kmax​{ −i=1∑m​wi​bi​+[i=1∑m​wi​ai+(wm+1​−1)c]⋅x}
在$h(w)<+\infty$的约束下要求
$$[\sum _{i=1}^m{w}_i{a}^i+(w_{m+1}-1)c]\cdot x\le 0\forall x\in \mathcal{K}$$
即
$$-\sum _{i=1}^m{w}_i{a}^i+(w_{m+1}-1)c\in {\mathcal{K}}^{\ast }$$
因此共轭对偶函数为
$$h(w)=-\sum _{i=1}^m{w}_i{b}_i$$
定义域为
Y = { w ∈ R m + 1 ∣ − ∑ i = 1 m w i a i + ( w m + 1 − 1 ) c ∈ K ∗ } \mathcal{Y}=\{w\in\mathbb{R}^{m+1}\mid -\sum_{i=1}^mw_ia^i+(w_{m+1}-1)c\in\mathcal{K}^*\} Y={ w∈Rm+1∣−i=1∑m​wi​ai+(wm+1​−1)c∈K∗}
整理得到LCoD
$$\begin{array}{rl}{v}_{LCoD}=\max & b^{T}y\\ s.t.& \sum _{i=1}^m{y}_i{a}^i+s=c\\ & s\in {\mathcal{K}}^{\ast }\end{array}$$