SVM→7.SVM核变换

《SVM→7 .SVM核变换》

1. 对解线性分类问题， 线性分类支持向量机是一种非常有效的方法. 但是有时分类问题是非线性的， 这时可以使用非线性支持向量机  

2. 举例
1. 假设有，此时在3D空间不可线性划分，我们通过一个函数将数据映射到更高维的空间,比如说,即将数据映射成了9维
2. 我们知道在求解a*时会计算数据的内积
3. 具体点，令,那么
4. 此时但是如果维数继续扩大的话，计算量就太大了
5. 但是发现，也就是说,所以使用核函数的好处是，可以在一个低维空间去完成高维度(或无限维度)样本内积的运算。
6. 设x和z都是n维的，将其映射到n²维，由于将j换成i是不对的，这样就没有x_i*x_j了(i!=j)，因此可以只计算原始特征x和z内积的平方来节省时间
3. 常用核函数

描述	核函数和决策函数
高斯核函数(径向基函数核 Radial basis function kernel) 高斯分布概率密度系数图的目的就是为了使得图,最重要的就是它的核	核函数图值域是(0,1]，e-x(x≥0) 决策函数图 ，gamma参数可以看作是将单个训练集样本作为支持向量时的半径此支持向量到分割超平面的距离的反比，gamma越小，意味着距离分割超平面距离远的样本也可以作为支持向量即远的样本也会对超平面的确定产生影响；gamma越大，那么半径变小，意味着仅有距离近的样本可以作为支持向量对超平面产生影响。 数学解释：首先，明确概念：当两个样本距离很近时，K=1；当两个样本距离很远时，K=0。然后，当gamma很小时，即使x和z样本距离很远，K也接近1，因此真实距离远的样本也可看作离的很近，因此也需要考虑这些距离远的样本作为支持向量；当gamma大时，只有x和z样本距离很近，K才可以接近1，因此仅考虑距离近的样本作为支持向量。 当gamma越小，每个训练集有far reach的影响 far reach 决策边界 当gamma越大，每个训练集仅有close reach的影响 close reach 决策边界 圈中的影响可以忽略
data1	data2
data1	data2
data1	data2