SVM与LR(逻辑回归)的区别和联系

SVM与LR(逻辑回归)的区别和联系

区别:

1、SVM是非参数估计,本质上是解决二次规划问题;LR是参数估计,本质上是一个极大似然估计问题。

2、SVM被称为结构风险最小化,也就是让模型的泛化能力尽可能好;LR被称为经验风险最小化,也就是最小化分类误差。

3、SVM中使用的分类损失函数是合页损失函数;LR中使用的分类损失函数是交叉熵函数。

4、SVM中只使用支持向量来决定决策边界;LR使用所有的样本来构建分类器。

5、SVM不能直接输出分类概率;LR输出的是分类概率,可以通过阈值判断来确定分类。

6、SVM不适合大量的数据样本;LR对数据样本大小没有要求。

联系:

1、都是经常用到的分类算法。

2、本质上都属于线性分类问题,通过加入核函数就可以解决非线性问题。

3、两者的损失函数都是由正则项加分类误差来构成,调整其中的权重参数就可以对模型泛化能力和分类精度进行权衡,以得到最合适的模型参数。

猜你喜欢

转载自blog.csdn.net/weixin_44766179/article/details/89039959