【Conic】最优性条件与对偶(1)

最优性条件

优化基本模型可以表示为
$$\begin{array}{rlr}& \min & f(x)\\ & s.t.& x\in \mathcal{F}=\mathcal{C}\cap \mathcal{D}\end{array}\text{\hspace{1em}(1)}$$
以Knapsack问题为例，该问题可以表示为
max ⁡ ∑ i = 1 n c i x i s . t . ∑ i = 1 n a i x i ≤ b x i ∈ { 0 , 1 } i = 1 , 2 , … , n \begin{aligned} \max &\sum_{i=1}^nc_ix_i\\ s.t.& \sum_{i=1}^na_ix_i\leq b\\ &x_i\in\{0, 1\}\quad i=1,2,\dots, n \end{aligned} maxs.t.​i=1∑n​ci​xi​i=1∑n​ai​xi​≤bxi​∈{ 0,1}i=1,2,…,n​
可以等效表示为
C = { x ∈ R n ∣ ∑ i = 1 n a i x i ≤ b } , D = { 0 , 1 } n \mathcal{C}=\{x\in\mathbb{R}^n\mid\sum_{i=1}^na_ix_i\leq b\},\mathcal{D}=\{0, 1\}^n C={ x∈Rn∣i=1∑n​ai​xi​≤b},D={ 0,1}n
理想情况下，假设目标函数和约束函数均为光滑函数（可任意次微分且微分后的函数为连续）。
对于无约束优化问题，当$f(x)$在$\bar{x}$点一阶连续可微的情况下，由Taylor expansion可以展开
$$f(x)=f(\bar{x})+\nabla f(\bar{x}{)}^T(x-\bar{x})+o(\Vert x-\bar{x}\Vert )$$
定义$x\in \mathcal{F}$的可行方向(feasible direction)集合为
D ( x ) = { d ∈ R n ∣ 存 在 δ 0 > 0 , 使 得 x + δ d ∈ F 对 所 有 0 < δ ≤ δ 0 均 成 立 } \mathcal{D}(x)=\{d\in\mathbb{R}^n\mid存在\delta_0>0,使得x+\delta d\in \mathcal{F}对所有0<\delta\leq\delta_0均成立\} D(x)={ d∈Rn∣存在δ0​>0,使得x+δd∈F对所有0<δ≤δ0​均成立}

定理1

$\bar{x}\in \mathcal{F}$是优化问题$(1)$的局部最优解的必要条件为：
$$\nabla f(\bar{x}{)}^{T}d\ge 0\forall d\in \mathcal{D}(\bar{x})$$

定理2

设$\mathcal{F}$为非空凸集，$f:{\mathbb{R}}^n$是凸函数，则$\bar{x}\in \mathcal{F}$是问题$(1)$的全局最优解的充分必要条件为
$$\nabla f(\bar{x}{)}^{T}d\ge 0,\forall d\in \mathcal{D}(\bar{x})$$

KKT条件

一般非线性规划模型为
$$\begin{array}{rl}\min & f(x)\\ s.t.& g(x)\le 0\\ & x\in {\mathbb{R}}^n\end{array}\text{\hspace{1em}(2)}$$
定义$x\in \mathcal{F}$的积极约束集(active constraint set)为
I = { i ∣ g i ( x ) = 0 } \mathcal{I}=\{i\mid g_i(x)=0\} I={ i∣gi​(x)=0}
设问题$(2)$可行且所有约束函数在${\mathbb{R}}^n$上连续可微，定义$x\in \mathcal{F}$的积极约束的局部约束方向集(set of locally constrained directions)为
L ( x ) = { d ∈ R n ∣ ∇ g i ( x ) T d ≤ 0 , ∀ i ∈ I ( x ) } \mathcal{L}(x)=\{d\in\mathbb{R}^n\mid\nabla g_i(x)^Td\leq 0,\forall i\in\mathcal{I}(x)\} L(x)={ d∈Rn∣∇gi​(x)Td≤0,∀i∈I(x)}
设问题$(2)$的目标及所有约束函数在${\mathbb{R}}^n$上连续可微和$\bar{x}\in \mathcal{F}$为局部最优解，若$\mathcal{L}(\bar{x})\subseteq cl(conv(D(\bar{x})))$，则存在$\bar{\lambda }\in {\mathbb{R}}_{+}^m$使得
$$\begin{array}{rl}& \nabla f(\bar{x})+\sum _{i=1}^m{\bar{\lambda }}_i\nabla g_i(\bar{x})=0\\ & {\bar{\lambda }}_i{g}_i(\bar{x})=0i=1,2,\dots ,m\end{array}$$
即KKT条件，满足KKT条件的点对$(x,\lambda )$称为KKT点对，将x称为KKT点，${\lambda }_i{g}_i(x)=0$称为互补松弛条件。KKT条件的前提条件是约束规范（constriant qualification），即判断$\mathcal{L}(x)\subset cl(conv(\mathcal{D}(x)))$是否满足。
对于无约束优化问题，设$\bar{x}\in {\mathbb{R}}^n$为KKT点且$f(x)$在改点二阶可微，则其为局部最优解的必要条件为${\nabla }^{2}f(\bar{x})\in {\mathcal{S}}_{+}^n$，且${\nabla }^{2}f(\bar{x})\in {\mathcal{S}}_{++}^n$是$\bar{x}$的严格局部最优解的充分条件。
无约束优化推广到约束优化时，需要考虑可行集合 F = { x ∈ R n ∣ g ( x ) ≤ 0 } \mathcal{F}=\{x\in\mathbb{R}^n\mid g(x)\leq 0\} F={ x∈Rn∣g(x)≤0}，积极集$\mathcal{I}(x)$以及局部约束方向集$\mathcal{L}(x)$。
设$f(x)$和$g(x)$都是二阶可微函数，$(\bar{x},\bar{\lambda })$满足KKT条件且
$$L(x,\lambda )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)$$
若关于$x$变量的Hessian矩阵满足
$$d^T{\nabla }_x^{2}L(\bar{x},\bar{\lambda })d>0\forall d\in \bar{\mathcal{L}}(\bar{x}),d\ne 0$$

Slater约束规范

Slater约束规范（Slater's constraint qualification）: { g i ( x ) , i ∈ I ( x ) } \{g_i(x), i\in\mathcal{I}(x)\} { gi​(x),i∈I(x)}都是${\mathbb{R}}^n$上的凸函数且存在一点$x_0$为严格内点，即$g_i(x_0)<0,i=1,2,\dots ,m$.

Cotte约束规范

Cotte约束规范(Cotte's constraint qualification)：存在一个方向$d$使得$\nabla g_i(x{)}^{T}d<0,\forall i\in \mathcal{I}(x)$.

具有等式约束的优化问题

$$\begin{array}{rl}\min & f(x)\\ s.t.& g_i(x)\le 0,i=1,2,\dots ,m\\ & h_j(x)=0,j=1,2,\dots ,p\end{array}\text{\hspace{1em}(3)}$$

线性独立约束规范

{ ∇ g i ( x ) , i ∈ I ( x ) ; ∇ h j ( x ) , j = 1 , 2 , … , p } \{\nabla g_i(x), i\in\mathcal{I}(x); \nabla h_j(x), j=1,2,\dots, p\} { ∇gi​(x),i∈I(x);∇hj​(x),j=1,2,…,p}线性无关

Slater约束规范

{ g i ( x ) , i ∈ I ( x ) } \{g_i(x), i\in \mathcal{I}(x)\} { gi​(x),i∈I(x)}都是${\mathbb{R}}^n$上的凸函数， { h j ( x ) , j = 1 , 2 , … , p } \{h_j(x), j=1,2,\dots, p\} { hj​(x),j=1,2,…,p}为线性函数，且存在一点$x_0$为相对内点，即$g_i(x_0)<0,i=1,2,\dots ,m;h_j(x_0)=0,j=1,2,\dots ,p$.

Lagrange对偶

建立Lagrange函数为
$$L(x,\lambda )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)$$
其中${\lambda }_i$为约束$g_i(x)$对应的Lagrange乘子。
令
$$v_p=\underset{x\in \mathcal{F}}{\min }f(x)=\underset{x\in {\mathbb{R}}^n}{\min }\underset{\lambda \in {\mathbb{R}}_{+}^m}{\max }L(x,\lambda )$$
对于$\lambda \in {\mathbb{R}}_{+}^m$，有
$$v(\lambda )\le \underset{x\in \mathcal{F}}{\min }L(x,\lambda )\le \underset{x\in \mathcal{F}}{\min }f(x)$$
得到对偶问题
$$v_d=\underset{\lambda \in {\mathbb{R}}_{+}^m}{\max }\underset{x\in {\mathbb{R}}^n}{\min }L(x,\lambda )=\underset{\lambda \in {\mathbb{R}}_{+}^m}{\max }v(\lambda )$$

弱对偶定理

对于问题$(2)$，$v_p\ge v_d$。由若对偶定理可知Lagrange对偶问题提供原问题的一个下界。
对于给定的$\lambda \ge 0$，设$(x,\lambda )$满足互补松弛条件${\lambda }_i{g}_i(x)=0，i=1,2,\dots ,m$，当$x\in \mathcal{F}$时，$x$为问题$(2)$的最优解。
设$f(x),g_i(x),i=1,2,\dots ,m$为${\mathbb{R}}^n$上的凸函数，$(x,\lambda )$满足KKT条件，则$x$为优化问题$(2)$的全局最优解。

Demo

对于一个椭球约束的齐次二次规划问题
$$\begin{array}{rl}\min & \frac{1}{2}{x}^{T}Ax\\ s.t.& \frac{1}{2}{x}^{T}Bx\le 1\\ & x\in {\mathbb{R}}^n\end{array}$$
其中$A\in {\mathcal{S}}^n,B\in {\mathcal{S}}_{++}^n$。
建立Lagrange函数
$$L(x,\lambda )=\frac{1}{2}{x}^{T}Ax+\lambda (\frac{1}{2}{x}^{T}Bx-1)=\frac{1}{2}{x}^T(A+\lambda B)x-\lambda$$
计算对偶问题
$$\begin{array}{rl}& \underset{\lambda \ge 0}{\max }\underset{x\in {\mathbb{R}}^n}{\min }\frac{1}{2}{x}^T(A+\lambda B)x-\lambda \\ & =\{\begin{array}{ll}{\max }_{\lambda \ge 0}-\lambda & A+\lambda B\in {\mathcal{S}}_{+}^n\\ -\infty & A+\lambda B\notin {\mathcal{S}}_{+}^n\end{array}\\ & =\underset{\lambda \ge 0,A+\lambda B\in {\mathcal{S}}_{+}^n}{\max }-\lambda \end{array}$$
该模型也是S-Lemma的结论。

参考文献

线性锥优化