【数据挖掘】十大算法之SVM支持向量机分类算法

1 基本概念

支持向量机(support vector machines,SVM)是一种二分类模型。分为

• 线性可分支持向量机：训练数据线性可分，通过硬间隔最大化学习一个线性的分类器，又称为硬间隔支持向量机。
• 线性支持向量机：训练数据近似线性可分，通过软间隔最大化学习一个线性的分类器，又称为软间隔支持向量机。
• 非线性支持向量机：训练数据线性不可分，通过核技巧及软间隔最大化，学习非线性支持向量机。(核技巧：当输入空间为欧式空间或离散集合、特征空间为希尔伯特空间时，核函数表示将输入空间映射到特征空间得到的特征向量之间的内积。通过使用核函数，可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机)

2 线性可分支持向量机

2.1 定义

给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为
$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(1)}$$
以及相应的分类决策函数
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })\text{\hspace{1em}(2)}$$
称为线性可分支持向量机。

2.2 相关概念

（1）函数间隔

一个点距离超平面的远近可以表示分类预测的确信程度，即函数间隔来表述分类的正确性及确信度。

对于给定的训练数据集T和超平面(w,b)，定义超平面(w,b)关于样本点$(x_i,y_i)$的函数间隔为
$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)\text{\hspace{1em}(3)}$$
定义超平面(w,b)关于训练数据集T的函数间隔为超平面(w,b)关于T中所有样本点$(x_i,y_i)$的函数间隔之最小值，即
$$\hat{\gamma }=mi{n}_i{\hat{\gamma }}_{i}i=1,...,N\text{\hspace{1em}(4)}$$

（2）几何间隔

在函数间隔的基础上，将点与超平面之间的间隔规范化。对分离超平面的法向量$w$取L2范数。表示为$||w||$，使得超平面的两个参数成比例变化，间隔都是确定。

对于给定的训练数据集T和超平面(w,b)，定义超平面(w,b)关于样本点$(x_i,y_i)$的几何间隔为
$${\hat{\gamma }}_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})\text{\hspace{1em}(5)}$$
其中$||w||$表示取w的L2范数。 定义超平面(w,b)关于训练数据集T的几何间隔为超平面(w,b)关于T中所有样本点$(x_i,y_i)$的几何间隔之最小值，即
$$\hat{\gamma }=mi{n}_i{\hat{\gamma }}_{i}i=1,...,N\text{\hspace{1em}(6)}$$

（3）间隔最大化

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。

间隔最大化：对训练数据集找到几何间隔最大的超平面，以充分大的确信度对训练数据进行分类。

（4）最大间隔法

输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中$x\in X=R^n,y_i\in Y=-1,+1,i=1,2,...,N$

输出：最大间隔分离超平面和分类决策函数

a.构造并求解约束最优化问题
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,..,N\text{\hspace{1em}(7)} \end{gathered}$$

求得最优解$w^{\ast },b^{\ast }$

b.由此得到分离超平面
$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(8)}$$
分类决策函数
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })\text{\hspace{1em}(9)}$$
注意：线性可分训练数据集的最大间隔分离超平面是存在且唯一的。

（5）支持向量

在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量。

对于$y_i$ = +1 的正例点，支持向量在超平面
$$H_1:w\cdot x+b=1\text{\hspace{1em}(10)}$$
对于$y_i$ = -1 的负例点，支持向量在超平面
$$H_1:w\cdot x+b=-1\text{\hspace{1em}(11)}$$

（6）间隔边界

$H_1$和$H_2$平行，并且没有实例点落在它们中间。在$H_1$与$H_2$之间形成一条长带，分离超平面与他们平行且位于他们中央。长带的宽度，即$H_1$与$H_2$之间的距离称为间隔。间隔依赖于分离超平民啊的法向量$w$，等于$\frac{2}{||w||}$。称为$H_1$和$H_2$称为间隔边界。

2.3 学习算法

（1）学习的原始算法

线性可分支持向量机学习的原始最优化问题
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w_i{\cdot }_i+b)-1\ge 0,i=1,2,...,N\text{\hspace{1em}(12)} \end{gathered}$$
这是一个凸二次规划问题。

（2） 学习的对偶算法

线性可分支持向量机的对偶算法

对偶算法：将原始最优化问题，应用拉格朗日对偶性，求解对偶问题得到原始问题的最优解。

与原始最优化问题等价的最优化问题：
$$\begin{gathered} min\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,...,N\text{\hspace{1em}(13)} \end{gathered}$$
其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$为朗格朗日乘子向量。

定理： 设${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_l^{\ast })$是以上公式13对偶最优化问题的解，则存在小标j，使得${\alpha }_j^{\ast }>0$，并按下式求得原始最优化问题公式12的解$w^{\ast }$，$b^{\ast }$
$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_i-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)\text{\hspace{1em}(14)} \end{gathered}$$

优点

• 对偶问题更容易求解
• 自然引入核函数，进而推广到非线性分类问题

4 线性支持向量机

4.1 软间隔最大化

假设给定一个特征空间上的训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } (15) T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} \tag{15} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}(15)
其中， x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , . . , N , x i x_i \in X = R^n,y_i \in Y = \{+1,-1\},i=1,2,..,N,x_i xi​∈X=Rn,yi​∈Y={ +1,−1},i=1,2,..,N,xi​是第i个特征向量，$y_i$为$x_i$的类标记。

线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束条件公式12。软间隔最大化就是对每个样本点$(x_i,y_i)$引进一个松弛变量$\xi \ge 0$，使函数间隔加上松弛变量大于等于1。公式12的约束条件就变为
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i\text{\hspace{1em}(16)}$$

同时，对每个松弛变量${\xi }_i$，支付一个代码${\xi }_i$。目标函数由原来的$\frac{1}{2}||w|{|}^2$变成
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}N{\xi }_i\text{\hspace{1em}(17)}$$
这里，$C>0$称为惩罚参数，一般由问题决定，C值大时对误分裂的惩罚增大，反之。

这里的最小目标函数有两层含义

• 使得$\frac{1}{2}||w|{|}^2$尽量小，间隔尽量大。
• 使误分类的个数尽量小。C是调和二者的系数。

通过软间隔最大化，就能以线性可分的方式来处理线性不可分的线性支持向量机学习问题。

4.2 线性支持向量机的原始最优化问题

线性不可分的线性支持向量机的学习问题变成凸二次规划问题
$$\begin{gathered} mi{n}_{w,b.\xi }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,...,N \\ {\xi }_i\ge 0,i=1,2,..,N\text{\hspace{1em}(18)} \end{gathered}$$

4.3 线性支持向量机定义

对于给定的线性不可分的训练数据集，通过求解凸二次规划问题，即软间隔最大化问题，得到的分离超平面为
$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(19)}$$
以及相应的分类决策函数
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })\text{\hspace{1em}(20)}$$

称为线性支持向量机。

4.4 线性支持向量机的对偶最优化问题

$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N\text{\hspace{1em}(21)} \end{gathered}$$

4.5 线性支持向量机学习算法

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中， x i ∈ X = R n ， y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , . . . , N x_i \in X =R^n，y_i \in Y = \{+1,-1\},i=1,2,...,N xi​∈X=Rn，yi​∈Y={ +1,−1},i=1,2,...,N

输出：分离超平面和分类决策函数

（1）选择惩罚参数C>0，构造并求解凸二次规划问题
$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N\text{\hspace{1em}(22)} \end{gathered}$$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$

（2）计算$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$

选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件$0<{\alpha }_j^{\ast }<C$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j)\text{\hspace{1em}(23)}$$
（3）求得分离超平面
$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(24)}$$
分类决策函数
$$f(x)=sign(s^{\ast }\cdot x+b^{\ast })\text{\hspace{1em}(25)}$$

4.6 软间隔的支持向量

在线性不可分的情况下，对偶问题的解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例称为软间隔的支持向量。图中标出了实例$x_i$到间隔边界的距离$\frac{{\xi }_i}{||w||}$。

若${\alpha }_i^{\ast }<C$，则${\xi }_i=0$，支持向量$x_i$恰好落在间隔边界上；

若${\alpha }_i^{\ast }=C，0<{\xi }_i<0$，则分类正确。$x_i$在间隔边界与分离超平面之间；

若${\alpha }_i^{\ast }=C,{\xi }_i=1$，则$x_i$在分离超平面上；

若${\alpha }_i^{\ast }=C,{\xi }_i>1$，则$x_i$位于分离超平面上误分一侧。

5 非线性支持向量机

5.1 基本概念

（1）核技巧

用线性可分方法求解非线性分类问题。分为两步，第一步，使用一个变换将原空间的数据映射到新空间。第二步，在新空间用线性分类方法从训练数据中训练分类模型。

（2）核函数

输入X是输入空间（欧式空间$R^n$的子集或离散集合），又设H特征空间（希尔伯特空间，一个内积空间，当作为一个赋范向量空间是完备的时候），如果存在一个从X到H的映射
$$\varphi (x):X\to H\text{\hspace{1em}(26)}$$

使得对所有$x,z\in X$，函数$K(x,z)$满足条件
$$K(x,z)=\varphi (x)\cdot (z)\text{\hspace{1em}(27)}$$
则称$K(x,z)$为核函数，$\varphi (x)$为映射函数，$\cdot$表示内积。

（3）非线性支持向量机的定义

从非线性分类训练集，通过核函数与软间隔最大化，或凸二次规划，学习得到的分类决策函数
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x,x_i)+b^{\ast })\text{\hspace{1em}(28)}$$
称为非线性支持向量机，$K(x,z)$是正定核函数。

5.2 常用核函数

（1）多项式核函数
$$K(x,z)=(x\cdot z+1{)}^p\text{\hspace{1em}(29)}$$
对应的支持向量机是一个p次多项式分类器。此时，分类决策函数为
$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_i(x_i\cdot x+1{)}^p+b^{\ast })\text{\hspace{1em}(30)}$$

（2）高斯核函数
$$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\rho }^2})\text{\hspace{1em}(31)}$$
对应的支持向量机是高斯径向基函数分类器。此时，分类决策函数为
$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}exp(-\frac{||x-x_i|{|}^2}{2{\rho }^2})+b^{\ast })\text{\hspace{1em}(32)}$$

（3）字符串核函数

两个字符串s和t上的字符串核函数是基于映射${\varphi }_n$的特征空间中的内积：
$$\begin{gathered} k_n(s,t)=\sum _{u\in {\sum }^n}[{\varphi }_n(s){]}_u[{\varphi }_n(t){]}_u \\ =\sum _{u\in su{m}^n(i,j)}\sum _{:s(i)=t(j)=u}{\lambda }^{l(i){\lambda }^{l(j)}}\text{\hspace{1em}(33)} \end{gathered}$$
字符串核函数$k_n(s,t)$给出了字符串s和t中长度等于n的所有子串组成的特征想来那个的余弦相似度。

5.3 学习算法

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中， x i ∈ X = R n ， y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , . . . , N x_i \in X =R^n，y_i \in Y = \{+1,-1\},i=1,2,...,N xi​∈X=Rn，yi​∈Y={ +1,−1},i=1,2,...,N

输出：分类决策函数

（1）选取适当的核函数K(x,z)和适当的参数C，构造并求解最优化问题
$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N\text{\hspace{1em}(34)} \end{gathered}$$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$

（2）选择${\alpha }^{\ast }$的一个正分量$0<{\alpha }_j^{\ast }<C$计算

选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件$0<{\alpha }_j^{\ast }<C$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }K(x_i,x_j)\text{\hspace{1em}(35)}$$
（3）构造决策函数
$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(36)}$$
分类决策函数
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x,x_i)+b^{\ast })\text{\hspace{1em}(37)}$$

当K(x,z)是正定核函数时，解是存在的。

6 算法改进—SMO算法

6.1 基本概念

支持向量机的学习问题可以形式化为求解凸二次规划问题。这样的凸二次规划问题具有全局最优解，并且有许多最优化算法可以应用于这一问题的求解。但是当训练样本容量很大时，这些算法往往变得非常低效，以致无法使用。序列最小最优化算法（Sequential minimal optimization，SMO）算法就是一种快速实现的算法。

6.2 算法思想

是一种启发式算法。思路是如果所有变量的解都满足此最优化问题的KKT条件(Karush-Kuhn-Tucker conditions)，那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件，否则，选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这个会使得原始二次规划问题的目标函数值变得更小。更重要的是，这时子问题可以通过解析方法求解，这样可以大大提高整个算法的计算速度。子问题有两个变量，一个是违反KKT条件最严重的那一个，另一个由约束条件自动确定。如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。

整个SMO算法包括两个部分

• 求解两个变量二次规划的解析方法
• 选择变量的启发式方法。

6.2 算法过程

SMO算法要解如下凸二次规划的对偶问题
$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N\text{\hspace{1em}(38)} \end{gathered}$$

变量是拉格朗日乘子，一个变量${\alpha }_i$对应于一个样本点$(x_i,y_i)$，变量的综述等于训练样本容量N。

不失一般性，假设选择的两个变量是${\alpha }_1,{\alpha }_2$，其他变量${\alpha }_i,i=3,4,...,N$是固定的。 于是SMO的最优化问题可写成
$$\begin{gathered} mi{n}_{{\alpha }_1，{\alpha }_2}W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_i{y}_j{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2} \\ s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\delta \\ 0\le {\alpha }_i\le C,i=1,2\text{\hspace{1em}(39)} \end{gathered}$$
其中，$K_{ij}-K(x_i,x_j),i,j=1,2,...,N,\delta$是常数。

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中， x i ∈ X = R n ， y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , . . . , N x_i \in X =R^n，y_i \in Y = \{+1,-1\},i=1,2,...,N xi​∈X=Rn，yi​∈Y={ +1,−1},i=1,2,...,N

输出：近似解$\hat{\alpha }$

（1）取初值${\alpha }^{(0)}=0$，令k=0;

（2）选取优化变量${\alpha }_1^k,{\alpha }_2^k$，解析求解公式39的两个变量的最优化问题。求得最优解${\alpha }_1^{k+1},{\alpha }_2^{k+1}$，更新$\alpha$为${\alpha }^{k+1}$:

（3）若精度$ϵ$ 范围内满足停机条件
$$
\sum_{i=1}^N \alpha_i y_i = 0,0\leq \alpha_i \leq C,i=1,2,…,N\
y_i \cdot g(x_i) =\left{
\begin{matrix}
\geq 1 ,{x_i|\alpha_i = 0}\
= 1 ,{x_i|0<\alpha_i < C}\
\leq 1 ,{x_i|\alpha_i = C}\
\end{matrix}

\right.
$$

其中，
$$g(x_i)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b$$
则转第（4），否则令k=k+1,转第（2）

（4）取$\hat{\alpha }={\alpha }^{k+1}$