둘째, 이중 문제
1, 최적화 문제의 유형
(1) 제약 최적화 문제 :
해결 방법 : 함수 취득 F ( X ) 유도체, 그리고 제로에 출입, 최적의 후보 값을 결정하고이 후보 값을 확인 할 수는 볼록 함수의 경우, 최적의 솔루션을 보증 할 수있다.
(2) 제약 된 최적화 문제 방정식 :
즉, 제약 식 H는 I ( X는 ) 계수와 F ( X 착신 식으로 작성) 라그랑 지 함수 , 계수 함 라그랑주 승수 . 각 가변 라그랑 가이드를 구함으로써, 그래서 제로 후보 값의 세트가 결정될 수 있음을, 그리고 최적의 값이 얻어지는 것을 확인.
(3) 최적화 문제의 불평등 제약이있다 :
에 모두 등가 제약과 부등식 제한 F ( X는 )이 공식은 또한라는 식으로 작성된 도 라그랑주 승수 계수라고도 라그랑주 함수.
다수의 조건으로 필요한 조건은 최적의 값을 얻기 위해,이 조건은 호출 KKT 조건 .
2, 이중 문제
라그랑주 승수의 SVM 기본 사용 (이중 문제) 대여 할 수있다 "이중 문제."
단계를 해결 :
解的稀疏性: 训练完成后 , 最终模型仅与支持向量有关
支持向量机(Support Vector Machine, SVM) 因此而得名
3、硬间隔与软间隔
硬间隔：不允许样本分类错误
软间隔：允许一定量的样本分类错误
假如现在有一份数据分布如下图：
按照线性可分支持向量机的思想，黄色的线就是最佳的决策边界。很明显，这条线的泛化性不是很好，造成这样结果的原因就是数据中存在着异常点，那么如何解决这个问题呢，支持向量机引入了软间隔最大化的方法来解决。
所谓的软间隔，是相对于硬间隔说的，即之前我们所讲的支持向量机学习方法。回顾下硬间隔最大化的条件：
接着我们再看如何可以软间隔最大化呢？SVM 对训练集里面的每个样本 ( xi , yi ) 引入了一个松弛变量 xi ≥ 0 , 使函数间隔加上松弛变量大于等于 1 ，也就是说：
对比硬间隔最大化，可以看到我们对样本到超平面的函数距离的要求放松了，之前是一定要大于等于 1 ，现在只需要加上一个大于等于 0 的松弛变量能大于等于 1 就可以了。也就是允许支持向量机在一些样本上出错，如下图：
基本思路：
