LR和SVM的联系与区别?

联系: 


1、LR和SVM都可以处理分类问题,且一般都用于处理线性二分类问题(在改进的情况下可以处理多分类问题) 
2、两个方法都可以增加不同的正则化项,如l1、l2等等。所以在很多实验中,两种算法的结果是很接近的。 


区别: 


1、LR是参数模型,SVM是非参数模型。 
2、从目标函数来看,区别在于逻辑回归采用的是logistical loss,SVM采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。 
3、SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器。而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重。 
4、逻辑回归相对来说模型更简单,好理解,特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。 
5、logic 能做的 svm能做,但可能在准确率上有问题,svm能做的logic有的做不了。
 

其中:

hinge loss 的表达形式:

图形表达:

     

关于hinge loss 的解释:https://www.jianshu.com/p/ae3932eda8f2?from=timeline&isappinstalled=0

两者的适用性

m是样本数,n是特征的数目

1、如果n相对于m来说很大,则使用logistic回归或者不带核函数的SVM(线性分类)

2、如果n很小,m的数量适中(n=1-1000,m=10-10000),使用带核函数的SVM算法

3、如果n很小,m很大(n=1-1000,m=50000+),增加更多的特征,然后使用logistic回归或者不带核函数的SVM。

发布了28 篇原创文章 · 获赞 2 · 访问量 1011

猜你喜欢

转载自blog.csdn.net/sinat_36118365/article/details/101913399
今日推荐