【ZJU-Machine Learning】支持向量机——非线性模型

线性模型回顾

在这里插入图片描述

SVM处理非线性

通过限制条件和最小化,我们能够使ξ既不会很大,也不会很小(因为当ξ很大时,限制条件1恒成立)

在这里插入图片描述
在这里插入图片描述

对于解决非线性问题,有一部分人认为可以在使数据维数不变的情况下,寻找曲线或曲面,而SVM认为,通过将低维的数据映射到高维,在高维的空间中寻找一条直线,使其分开的概率更大。
且维度越大,被线性分开的可能性更大,若维度是无限维,则可能性为1.

异或问题的解决

已知:

在这里插入图片描述
我们要构造一个:φ(x)
在这里插入图片描述
最终,我们要在这个五维平面中,找到w(也是五维的)和b,使得计算机能够分开c1和c2.(w要和φ(x)同一维度)
这里给出一种情况:
在这里插入图片描述
验证:
在这里插入图片描述

核函数

我们可以不知道无限维映射φ(x)的显示表达,我们只要知道一个核函数满足下式,那么我们在1中的优化式任然可解。

在这里插入图片描述

下面是两个常用的核函数
在这里插入图片描述

Mercer’s Theorem

在这里插入图片描述

如何根据核函数k代替φ(x)

这里需要使用优化理论

SVM的目标:

在这里插入图片描述
将目标转化为原问题:

在这里插入图片描述

转化成对偶问题:
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

将上述结果代入θ中,化简得
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

总结

在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_45654306/article/details/113085042