SVM和LR(逻辑回归)

SVM的工作原理

https://www.youtube.com/watch?v=1NxnPkZM9bc

linearSVM和LR算法都是线性分类器

注:SVM根据使用核函数的不同,可为线性分类器,也可为非线性分类器

SVM算法一般不会过拟合,why?

虽然,SVM是将x(不能在低维分割的)映射到无限维,但是只要使你的分类器具有较大的margin,那么模型的阶数就不会很高,SVM会自动的选择一个最低的VC。

LR算法一般会欠拟合,why?

(个人理解,没有找到权威的证明资料)逻辑回归算法,将大于0的分为一类,将小于0的分为一类,对于在0左右的样本,很容易在训练的时候划分错误,导致bias比较大,即欠拟合。

SVM适合于高维稀疏,样本少。【参数只与支持向量有关,数量少,所以需要的样本少,由于参数跟维度没有关系,所以可以处理高维问题】

LR的多分类:softmax





猜你喜欢

转载自blog.csdn.net/zhao_crystal/article/details/79981729