统计学习方法笔记（十一）支持向量机（二）

线性可分支持向量机与软间隔最大化

一、线性支持向量机
当数据是线性不可分的时候，不等式约束并不总是成立的，所以需要修改硬间隔最大化，使其成为软间隔最大化。
对于训练数据来说，所谓的线性不可分，指数据中有一些特异点，其无法满足函数间隔大于等于1的约束条件。为了解决这个问题，对每个样本点引入了一个松弛变量，使其函数间隔加上这个松弛变量满足相应的条件，这样，约束条件变为：
${y_i}(w \cdot {x_i} + b) \ge 1 - {\xi _i}$
同时，因为引入了一个松弛变量，所以要支付一个代价，目标函数变为：
$\frac{1}{2}||w|{|^2} + C\sum\limits_{i = 1}^N {{\xi _i}}$
所以，可以得到如下的凸二次规划问题：
$\mathop {\min }\limits_{w,b,\xi } \;\;\frac{1}{2}||w|{|^2} + C\sum\limits_{i = 1}^N {{\xi _i}}$
$\begin{array}{l} s.t.\;\;\;{y_i}(w \cdot {x_i} + b) \ge 1 - {\xi _i},\;\;i = 1,2, \cdots ,N\ \;\;\;\;\;\;\;{\xi _i} \ge 0,\;\;i = 1,2, \cdots ,N \end{array}$
最终可以证明，w的解是唯一的，而b的解不唯一，且存在一个区间上。
线性支持向量机的模型：
${w^*} \cdot x + {b^*} = 0$
$f(x) = sign({w^*} \cdot x + {b^*})$
二、学习的对偶算法
1、原始问题的对偶问题变为：
$\mathop {\min }\limits_\alpha \;\;\frac{1}{2}\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {{\alpha _i}{\alpha _j}{y_i}{y_j}({x_i} \cdot {x_j})} } - \sum\limits_{i = 1}^N {{\alpha _i}}$
$s.t.\;\;\;\;\sum\limits_{i = 1}^N {{\alpha _i}{y_i}} = 0$
$\;\;\;\;\;\;\;\;0 \le {\alpha _i} \le C,\;\;i = 1,2, \cdots ,N$
最终可求得，其解为：
${w^*} = \sum\limits_{i = 1}^N {\alpha _i^*{y_i}{x_i}}$
${b^*} = {y_j} - \sum\limits_{i = 1}^N {{y_i}\alpha _i^*({x_i} \cdot {x_j})}$
2、支持向量

如图所示，支持向量是对应于$\alpha _i^* > 0$ 的实例点。其或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分的一侧。
三、合页损失函数
合页损失函数是对线性支持向量机学习的另一种解释，其实质是实现以下目标函数的最小化：
$\sum\limits_{i = 1}^N {{{[1 - {y_i}(w \cdot {x_i} + b)]}_ + } + \lambda {\rm{||}}w|{|^2}}$
显然，正常来说，${{y_i}(w \cdot {x_i} + b)}$ 应该大于1，代表没有被误分类，损失为0，一旦被误分类，其损失为上式中的第一项。
合页损失函数与原始最优化问题等价。