Support Vector Machines

支持向量机SVM。

简介

支持向量机可能是最受欢迎的机器学习算法之一。

超平面是一个分割输入变量空间的线。在SVM中，选择一个超平面对输入变量空间中的点进行最优分类（类0或者类1，即二值分类）。

在二维中，你可以把它想象成一条直线，让我们假设所有的输入点都可以被这条线完全隔开。它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

SVM学习算法发现了在超平面上最优分类的系数。

超平面与最近的数据点之间的距离称为边界。能够区分这两个类的最好或最优的超平面是有最大边界的直线。只有这些点与定义超平面和分类器的构造有关。这些点称为支持向量。他们支持或定义超平面。

在实践中，利用优化算法来寻找最大化边界的系数的值。

SVM可能是最强大的开箱即用的分类器之一，值得在您的数据集上尝试。

首先，logistic regression（LR）的模型如下：

如下是SVM中cost function的定义。请看下图中玫瑰色的曲线，这就是我们希望得到的cost function曲线，和logistic regression的cost function非常相近，但是分为两部分。

逻辑回归LR的cost function为：

则SVM的cost function为：

cost0和cost1分别对应y=0和y=1时的目标函数定义，最后一项regularization项和logistic regression中的类似。其实它们的最后一项本来是一样的，但是可以通过线性变换化简得到SVM的归一化项。

SVM是针对二值分类问题提出的，并且成功地应用子解函数回归及一类分类问题·虽然支持向量机在解决二值分类问题时获得了巨大的成功，但实际应用中的大量多值分类问题也进一步要求如何将支持向量机推广到多分类问题上，目前有以下几种常用的方法：

一对多法。其思想是把某一种类别的样本当作一个类别，剩余其他类别的样本当作另一个类别，这样就变成了一个两分类问题。然后，在剩余的样本中重复上面的步骤`这种方法箱要构造k个svM模型，其中，k是待分类的个数。这种方案的缺点是训练样本数目大，训练困难。
一对一方法。其做法是在多值分类中，每次只考虑两类样本，即对每两类样本设计一个SVM模型，因此，总共需要设计 k(k一1)/2 个SVM模型.这种做法需要构造多个二值分类器，并且测试时需要对每两类都进行比较，导致算法计算复杂度很高。
SVM决策树法。它通常和二叉决策树结合起来，构成多类别的识别器。这种方法的缺点是如果在某个节点上发生了分类错误，将会把错误延续下去，该节点后续下一级节点上的分类就失去了意义。weston虽然提出了用一个优化式解多值分类问题’〕，但由于其变量t数目过多，所以只能在小型问题的求解中使用。一类分类方法的出现为异常值检测提供了一条新的思路，该方法通过核映射思想确定一个包含正类样本的紧致区域，以便使异常值更容易暴露出来，从而达到检测的目的。