SVM（五）：SVM小结

输入： $m$ 个样本 ${(\boldsymbol x_1,y_1), (\boldsymbol x_2,y_2), ..., (\boldsymbol x_m,y_m)}$ ，其中 $x$ 为 $n$ 维向量， $y \in \{-1,1\}$

输出：分离超平面（由 $w^{*}和b^{*}决定$ ）

Step1:选择适当的核函数 $\boldsymbol K( , )$ 和一个惩罚系数 $C>0$ , 构造约束优化问题:
$\begin{aligned} \max_{\boldsymbol \alpha} & \sum\limits_{i=1}^{m}\alpha_i - \frac{1}{2}\sum\limits_{i=1,j=1}^{m}\alpha_i\alpha_jy_iy_j\boldsymbol K(\boldsymbol x_i,\boldsymbol x_j) \\ s.t. \; & \; \sum\limits_{i=1}^{m}\alpha_iy_i = 0, \\ & 0 \leq \alpha_i \leq C, \; i=1,2,...m \end{aligned}$
Step2：用SMO算法求出上式最小时对应的 $\boldsymbol \alpha$ 向量的值 $\boldsymbol \alpha^*$ 向量
Step3：计算 $\boldsymbol w^{*} = \sum\limits_{i=1}^{m}\alpha_i^{*}y_i\phi(x_i)$
Step4: 找出所有的 $S$ 个支持向量,即满足 $0 < \alpha_s < C$ 对应的样本 $(\boldsymbol x_s,y_s)$ ，通过 $y_s(\sum\limits_{i=1}^{m}\alpha_iy_i \boldsymbol K(\boldsymbol x_i,\boldsymbol x_s)+b) = 1$ ，计算出每个支持向量 $(\boldsymbol x_s, y_s)$ 对应的 $b_s^{*}$ ，对其求平均值得到
$b^{*} = \frac{1}{S}\sum\limits_{i=1}^{S}(y_s - \sum\limits_{i=1}^{s}\alpha_iy_i \boldsymbol K(\boldsymbol x_i,\boldsymbol x_s)$

用于异常检测，通过超球提实现一分类：找到一个以 $\alpha$ 为中心，以 $R$ 为半径的包含样本本的最小超球。

直接法：直接修改目标函数，将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题“一次性”实现多类分类。简单但是计算复杂度较高，只适合小型问题。
间接法：主要通过组合多个二分类器来实现多分类器的构造，如：一对多（one-against-all）和一对一（one-against-one）方法。

训练时依次把某个类别的样本归为一类，其它样本归为另一类，这样 $k$ 个类别的样本构造了 $k$ 个SVM，分类时将未知样本分类为具有最大分类函数值的那类。

优点：训练 $k$ 个分类器，个数较少，分类速度相对较快
缺点：
- 训练速度会随训练样本数量的增加而急剧减慢
- 样本不对称：负类样本的数据要远远大于正类样本的数据（可通过引入不同的惩罚因子解决，对样本点较少的正类采用较大的惩罚因子 $C$ ）
- 新的类别加入，需要对所有的模型重新训练

在任意两类样本之间设计一个SVM，因此 $k$ 个类别的样本需要设计 $k(k-1)/2$ 个SVM，当对一个未知样本进行分类时，得票最多的类即为该样本的类别。当类别很多时，模型个数也很多，计算代价大。

发布了14 篇原创文章 · 获赞 17 · 访问量 798

私信关注