目录
第六章 支持向量机
6.1 支持向量机
支持向量机不是一个“机”,而是一个算法。
通过寻找超平面,是一个很好的分类算法。
这个算法是在所有符合条件的超平面中选择最鲁棒的,即泛化能力最强。
6.2 寻找超平面的方法
支持向量机在样本属性只有两个的时候的任务是找一条线,在属性有三个的时候就是找一个平面。在样本属性有三个以上的时候找的是“超平面”。线、平面,都是超平面的特例,所以他们都可以用一个方程来表示:
有空间几何理论可以知道,空间中一个点到超平面的距离是
因为把样本值代入分类函数后得出的计算值在 “>1” 和 “<-1” 之间,所以超平面能正确分类的前提(即约束条件)之一是
那么离超平面最近的两个样本,代入分类函数后的计算值必然分别是1和-1。所以两个类之间的间隙就是这两个点到超平面的举例的和,也就是
要是的支持向量机效果最好,也就是说最能适应新样本,那就意味着是的两类训练样本之间的间隙最大化,所以我们的训练的具体目标就是——求得参数w和b是的两类样本间的间隙最大,同时还要让各个样本代入分类函数后的计算值大于1(或小于-1)。
6.3 核函数
如果样本不是线性可分的,那么通过映射到高维空间,也可以找到相应的超平面。
6.4 软间隔
为了防止过拟合,加入“软间隔”的概念,即允许svm在一些样本上出错。
笔记中省略了数学公式的推导。
这周时间比较少,主要还是研究了原理,熟悉了概念,推导了数学公式,实验下周补上。