LR和SVM的联系与区别

LR与SVM都是机器学习中经常会用到的算法。现在想深入了解每种模型直接的异同,提升自身水平。找到一个博客解释的比较好:博客:LR与SVM的异同。下面的内容也是跟着这篇博客进行学习的。

一、LR与SVM的相同点

1. LR与SVM都是分类算法

按照label的类型进行判别,如果label是离散的,如0或1,那么就应该是分类算法。如果label是连续的,就应该是回归算法。当然SVM也可以用于回归。

2. LR与SVM都是有监督学习算法

LR与SVM都是监督学习。

3. LR与SVM都是判别模型

简单来讲,就是LR/SVM都是会生成一个判别函数(不关系数据分布,只关心数据间的差别)去分类,而生成模型会计算联合概率(通过联合概率去找到数据的分布),然后根据数据分布去分类。
KNN/LR/SVM是判别模型;
朴素贝叶斯和隐马尔可夫模型是生成模型。

4. LR与SVM都是线性模型

基础版本的LR和SVM都是线性模型,核函数另算。

二、LR与SVM的不同点

1. 损失函数不同

11111228-dcf8dd7f6b04c780.png
逻辑回归LR的损失函数

11111228-9e03ab3a9e5741a4.png
支持向量机的目标函数

LR:是基于概率理论和极大似然估计
SVM:是基于几何间隔最大化原理

2. 线性SVM是距离度量,需要normalization

线性SVM是基于几何间隔,所以需要normalization。LR不需要。

3. SVM自带正则化,LR必须额外添加

SVM的目标函数中有个L2正则化项:1/2||w||^2
LR需要在损失函数外,额外添加正则项。

4. SVM有核函数,LR一般不用核函数

三、参考

LR和SVM的异同
LR和SVM的原理:机器学习-周志华,统计学习方法-李航

猜你喜欢

转载自blog.csdn.net/weixin_33834075/article/details/87056346
今日推荐