有约束优化问题-拉格朗日乘子法

经典拉格朗日乘子法（约束条件为等式）

$\mathop{min}\limits_{x}f_{(\mathbf{x})}\text{\quad s.t.}\;g_{(\mathbf{x})}=0$
此处 $\mathbf{x}$是一个向量。
如下图，以二元函数举例：
由图可以看出，只需要使 $f_{(x, y)}=d$与 $g_{(x, y)}=0$相切即可，也就是使这两条线的梯度方向（法线方向）共线。
即：
$\begin{cases} \bigtriangledown f_{(\mathbf{x})}=\lambda \bigtriangledown g_{(\mathbf{x})}\\ g_{(\mathbf{x})}=0 \end{cases}$
这时引入拉格朗日函数：
$L_{(\mathbf{x}, \lambda)}=f_{(\mathbf{x})}-\lambda g_{(\mathbf{x})}$
可以发现，对拉格朗日函数求偏导可以得到以上方程组。

约束条件不为等式

$\mathop{min}\limits_{x}f_{(\mathbf{x})}\text{\quad s.t.}\;g_{(\mathbf{x})}\leq0$

与经典拉格朗日乘子法相同，最优点仍需要满足
$\bigtriangledown f_{(x^{*},y^{*})}=\lambda \bigtriangledown g_{(x^{*},y^{*})}$
引入 $KKT$条件：
$\lambda g_{(x^{*},y^{*})}=0$
那么，如果 $g_{(x^{*},y^{*})}<0$，则 $\lambda=0$。这说明，若 $g_{(x^{*},y^{*})}$一定小于0，则这个约束条件并不起作用，故 $\lambda=0$。
用 $\mathbf{x}$代替 $(x,y)$，并引入拉格朗日函数：
$L_{(\mathbf{x}, \lambda)}=f_{(\mathbf{x})}-\lambda g_{(\mathbf{x})}$
同样对 $\mathbf{x}$求偏导并令其为0得到 $\bigtriangledown f_{(\mathbf{x})}=\lambda \bigtriangledown g_{(\mathbf{x})}$，但不对 $\lambda$求偏导，而是直接带入 $KKT$条件。得到：
$\begin{cases} \bigtriangledown f_{(\mathbf{x})}=\lambda \bigtriangledown g_{(\mathbf{x})}\\ \lambda g_{(\mathbf{x})}=0 \end{cases}$
对于多约束条件的情况，即：

$\begin{cases} \mathop{min}\limits_{x}f_{(\mathbf{x})}\\ g_{i(\mathbf{x})}\geq0\quad (i=1,2……,n) \end{cases}$
令 $L_{(\mathbf{x},\lambda_{1},\lambda_{2}……,\lambda_{n})}=f_{\mathbf{(x)}}-\sum_{i=1}^{n}{\lambda_{i}g_{i(x)}}$
则需满足：
$\begin{cases} \bigtriangledown f_{(\mathbf{x})}=\sum_{i=1}^{n}{\lambda_{i}\bigtriangledown g_{i(x)}}\\ \lambda_{i} g_{i(\mathbf{x})}=0\quad (KKT条件) \end{cases}$
为保证两条相切直线梯度是相反的方向，需要满足 $\lambda_{i}\geq0$。
例题：

求得
$\begin{cases} x_{1}=1\\ x_{2}=2\\ \gamma_{1}=1\\ \gamma_{2}=0 \end{cases}$
这说明第二个约束条件在此问题中不起作用，将 $(1,2)$带入两个约束条件知第一个约束条件正好取等号，而第二个约束条件是一定满足的。