第六章 支持向量机

目录

第六章 支持向量机

6.1 支持向量机

支持向量机不是一个“机”,而是一个算法。
通过寻找超平面,是一个很好的分类算法。

image

这个算法是在所有符合条件的超平面中选择最鲁棒的,即泛化能力最强。

6.2 寻找超平面的方法

支持向量机在样本属性只有两个的时候的任务是找一条线,在属性有三个的时候就是找一个平面。在样本属性有三个以上的时候找的是“超平面”。线、平面,都是超平面的特例,所以他们都可以用一个方程来表示:

image

有空间几何理论可以知道,空间中一个点到超平面的距离是

image

因为把样本值代入分类函数后得出的计算值在 “>1” 和 “<-1” 之间,所以超平面能正确分类的前提(即约束条件)之一是

image

那么离超平面最近的两个样本,代入分类函数后的计算值必然分别是1和-1。所以两个类之间的间隙就是这两个点到超平面的举例的和,也就是

image

要是的支持向量机效果最好,也就是说最能适应新样本,那就意味着是的两类训练样本之间的间隙最大化,所以我们的训练的具体目标就是——求得参数w和b是的两类样本间的间隙最大,同时还要让各个样本代入分类函数后的计算值大于1(或小于-1)。

image

6.3 核函数

如果样本不是线性可分的,那么通过映射到高维空间,也可以找到相应的超平面。

image

image

6.4 软间隔

为了防止过拟合,加入“软间隔”的概念,即允许svm在一些样本上出错。

笔记中省略了数学公式的推导。
这周时间比较少,主要还是研究了原理,熟悉了概念,推导了数学公式,实验下周补上。

猜你喜欢

转载自www.cnblogs.com/magicalzh/p/9273432.html
今日推荐