线性支持向量机-合页损失函数(Hinge Loss)

  线性支持向量机学习有另一种解释，那就是最小化以下目标函数：
$\sum_{i=1}^N[1-y_i(w · x_i+b)]_+ + \lambda ||w||^2$
目标函数得第一项是经验损失函数或者经验风险，函数 $L(y(w·x+b)) = [1-y(w·x+b)]_+$称为合页损失函数。下标+表示以下取正值得函数。
$[z]_+ =\begin{cases} z,&z>0\\ 0,&z \le 0 \end{cases}$
目标函数第二项是系数为 $\lambda$的 $w$的 $L_2$范数，是正则化项。

定理证明

线性支持向量机原始最优化问题:
$\min_{w,b,\xi} \dfrac{1}{2} ||w||^2 + C\sum_{i=1}^{N}\xi_i \tag{1}$
$s.t. \ y_i(w·x_i+b) \ge 1- \xi_i,i=1,2,\dots,N \tag{2}$
$\xi_i \ge 0,i=1,2,\dots,N \tag{3}$
等价于最优化问题 $\min\limits_{w,b} \sum_{i=1}^N [1-y_i(w·x_i+b)]_+ + \lambda||w||^2 \tag{4}$

证明:
令 $[1+y_i(w·x_i+b)]_+ = \xi_i$，则 $\xi_i \ge 0$，式（2）成立。
当 $1-y_i(w·x_i+b)>0$时，有 $1-y_i(w·x_i+b) = \xi_i$， $y_i(w·x_i+b)=1-\xi_i$；当 $1-y_i(w·x_i+b) \le0$时，有 $\xi_i =0$， $y_i(w·x_i+b) \ge 1-\xi_i$，故（3）式成立。
于是 $w,b,\xi$ 满足约束条件（2）（3），所以最优化问题（4）可以写成 $\min\limits_{w,b} \sum_{i=1}^N\xi_i + \lambda||w||^2$,若取 $C·2\lambda=1$,则 $\min\limits_{w,b} \dfrac{1}{C}{(\dfrac{1}{2}||w||^2+C\sum_{i=1}^N\xi_i)}$