支持向量机(SVM)中对偶问题的理解

在硬间隔支持向量机中，问题的求解可以转化为凸二次规划问题：

\begin{matrix} (1) & \begin{aligned} (1) & min_{w, b} \frac{1}{2} | | w | |^{2} \\ (2) & s . t . y_{i} (w^{T} x_{i} + b) \geq 1, i = 1, 2, \dots, m . \end{aligned} \end{matrix}

$\begin{align} &\min_{\boldsymbol w, b}{\frac 1 2}||\boldsymbol w||^2\\ &s.t. y_i(\boldsymbol w^T\boldsymbol x_i+b)\geq1, i=1,2,\cdots,m.\\ \end{align} \tag{1}$
如何得到该式的可参考：支持向量机

理解一

\begin{matrix} (2) & min_{w, b} max_{α_{i} \geq 0} {\frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))} \end{matrix}

$\min_{\boldsymbol w, b} \max_{\alpha_i \geq 0} \left\{{\frac 1 2}||\boldsymbol w||^2 + \sum_{i=1}^m\alpha_i(1 - y_i(\boldsymbol w^T\boldsymbol x_i+b))\right\} \tag{2}$
上式等价于原问题，因为若满足(1)中不等式约束，则(2)式求max时，

α_{i} (1 - y_{i} (w^{T} x_{i} + b))

$\alpha_i(1 - y_i(\boldsymbol w^T\boldsymbol x_i+b))$ 必须取0，与(1)等价；若不满足(1)中不等式约束，(2)中求max会得到无穷大。
交换min和max获得其对偶问题

max_{α_{i} \geq 0} min_{w, b} {\frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))}

$\max_{\alpha_i \geq 0} \min_{\boldsymbol w, b} \left\{{\frac 1 2}||\boldsymbol w||^2 + \sum_{i=1}^m\alpha_i(1 - y_i(\boldsymbol w^T\boldsymbol x_i+b))\right\}$
交换之后的对偶问题和原问题并不相等，直观地，我们可以这样来理解：胖子中最瘦的那个都比瘦子中最胖的那个要胖。故上式的解小于等于原问题的解。当然这是很不严格的说法，而且扣字眼的话可以纠缠不休，所以我们还是来看其他严格数学意义上的理解。

理解二

现在的问题是如何找到问题(1) 的最优值的一个最好的下界?

\begin{matrix} (3) & \frac{1}{2} | | w | |^{2} < v 1 - y_{i} (w^{T} x_{i} + b) \leq 0 \end{matrix}

${\frac 1 2}||\boldsymbol w||^2 < v\\ 1 - y_i(\boldsymbol w^T\boldsymbol x_i+b) \leq 0\tag{3}$
若方程组(3)无解，则v是问题(1)的一个下界。

若(3)有解，则

\forall α > 0, min_{w, b} {\frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))} < v

$\forall \boldsymbol \alpha > 0 , \ \min_{\boldsymbol w, b} \left\{{\frac 1 2}||\boldsymbol w||^2 + \sum_{i=1}^m\alpha_i(1 - y_i(\boldsymbol w^T\boldsymbol x_i+b))\right\} < v$

由逆否命题得：若

\exists α > 0, min_{w, b} {\frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))} \geq v

$\exists \boldsymbol \alpha > 0 , \ \min_{\boldsymbol w, b} \left\{{\frac 1 2}||\boldsymbol w||^2 + \sum_{i=1}^m\alpha_i(1 - y_i(\boldsymbol w^T\boldsymbol x_i+b))\right\} \geq v$

则(3)无解。

那么v是问题(1)的一个下界。
要求得一个好的下界，取最大值即可

max_{α_{i} \geq 0} min_{w, b} {\frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))}

$\max_{\alpha_i \geq 0} \min_{\boldsymbol w, b} \left\{{\frac 1 2}||\boldsymbol w||^2 + \sum_{i=1}^m\alpha_i(1 - y_i(\boldsymbol w^T\boldsymbol x_i+b))\right\}$

理解三

令

L (w, b, a) = \frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))

$L(\boldsymbol w, b,\boldsymbol a) = {\frac 1 2}||\boldsymbol w||^2 + \sum_{i=1}^m\alpha_i(1 - y_i(\boldsymbol w^T\boldsymbol x_i+b))$

$p^*$ 为原问题的最小值，对应的 $\boldsymbol w$ b分别为 $\boldsymbol w^*$ 和 $b^*$ ，则对于任意的 $\boldsymbol a > 0$ ：

p^{*} = \frac{1}{2} | | w^{*} | |^{2} \geq L (w^{*}, b, a) \geq min_{w, b} L (w, b, a)

$p^* = {\frac 1 2}||\boldsymbol w^*||^2 \geq L(\boldsymbol w^*, b,\boldsymbol a) \geq \min_{\boldsymbol w, b} L(\boldsymbol w, b,\boldsymbol a)$

那么 $\min_{\boldsymbol w, b} L(\boldsymbol w, b,\boldsymbol a)$ 是问题(1)的一个下界。

要求得一个好的下界，取最大值即可

max_{α_{i} \geq 0} min_{w, b} L (w, b, a)

$\max_{\alpha_i \geq 0} \min_{\boldsymbol w, b} L(\boldsymbol w, b,\boldsymbol a)$

参考：如何通俗地讲解对偶问题

支持向量机(SVM)中对偶问题的理解

理解一

理解二

理解三

猜你喜欢