李航《统计学习方法》第2版 第7章(SVM)关于支持向量的理解(为什么a>0对应的实例x为支持向量呢,以及根据a与ξ取值如何确定支持向量分布)


下面是书本截图:


在这里插入图片描述



根据a与ξ取值如何确定支持向量分布


这里解释一下,上面的话:

1. Why ai>0, 则ξi=0,支持向量x就落在间隔边界上?
因为我们可以从KKT条件中可以知道,只要ai>0那么ξi必为0;由下图原始问题我们可以知道,当ξ为0时不就相当于没有引入软间隔,那就像线性可分数据集一样,支持向量落在间隔边界上咯。
KKT条件简化参考这里:
SMO算法中关于优化变量的第一个变量选择的问题(KKT简化)

2. Why ai=C要分类讨论ξ?
因为当ai=C时,我们只知道ξi是大于0的哈哈哈

3. Why 0<ξi<1时,支持向量落在分离超平面之间?
因为,看原始问题的约束条件,函数间隔>=1-ξ。那0<ξi<1,不就等价于函数间隔大于0小于1咯。又因为间隔边界与分离超平面的函数距离为1。所以就落在他们之间。
同理剩余两种情况也是这个道理


这是软间隔最大化中引入松弛变量后,原始问题:


在这里插入图片描述

这是软间隔最大化中引入松弛变量后,原始问题的对偶问题:


在这里插入图片描述


为什么a>0对应的实例x为支持向量呢


我们知道,在初始化a时,是将其初始化为0的。
那么,在SMO算法,我们每次挑选出两个ai, aj进行优化,固定其他a。也就是说,那些从来没有被挑选出a,它的值始终为0。所以这样的值对构造分离超平面并没有意义,所以不是支持向量。由上图约束条件可以知道,支持向量对应的a一定是在(0, C]区间内的。

猜你喜欢

转载自blog.csdn.net/weixin_43646592/article/details/109968198