기계 학습 알고리즘 --SVM

디렉토리

그라디언트 강하 법, 라그랑주 승수는 KKT 조건 리콜
지각 모델 리콜
SVM 선형 분리
SVM 선형 분리
핵심 기능
SMO를

SVM 선형 분리, SVM 선형 분리, 커널 함수를 도출해야합니다

----------------------------

이 편미분 2 차 속도 인 경우 (단계)을 학습하는 것은, 임의의 개수가 될 수 있으며, 이는 뉴턴 방법이었다

최적화의 문제 :

　　제약 조건의 일부를 주어진 대상의 기능을 감안할 때, 그것은 최적화 모델을 구성한다. 반복은 반복 이전에 목적 함수를 제한받지해야합니다.

예 듀얼 문제 : 1, 그리고 그 최소값, 최대 값의 최대 값을 선택하고,이 최소 변환 추구. . 2,이 수를 위해 최소 번호의 최대 수로 변환 반대를 찾을 수

증거 KKT 조건의 세 가지 큰 혜택의 최적화 문제에 대한이 확장에서 모습을 찾아 볼 수 있습니다

베타]가 0이면, g (X)보다 크면 있기 위해서는 <0 = 오지 않을 수도 원래 제약 만 베타> = 0을 변경하지.

그리고 L은 최소 요구이며, 그 목적 함수는 F (X)는 다음 제로로 F (x)를 최소화 같으면 다음 것들 L의 최소 값이 필요하다. 범위 이후, 우리는 상황가 0 무엇에 따라 입증 할 수있는 방법을 찾을 일이 0 다시 같지 않은 것이 분명하다.

따라서, 방법을 증명 : βg = 0

　　이하, 개시가 고려되지 않은 경우 g (X) <= 0이 제약 있지만 최소 값 F (x)를, 우리는 최적의 솔루션을 X *를 수득 할 수있을 것이다, 최소한 유도체가 0 인 찾아

　　① X *하는 제약 g (x)에 대입하면 <= 0 (즉,도는 g (X) <= 0 협착 영역이 구성된다) 아무런 개시가 없어, 이미 제한 영역이어서, 단지 0 미만이며 원래의 함수 f (X)의 역할은하지 쓸모가 무엇 뒤에? 0 자연 다소 쓸모, g (X) <0, β = 0 다음 약간

　　②如果x*代入约束条件g(x)<=0后，x*没在约束区域内，它是在区域外（>0）或者在区域边缘(=0)上,大于0不满足咱们的g(x)<=0的约束条件，pass掉，那只能找咱们等于0的时候了，在圆上，那就是g(x*)=0，那完了，g(x)=0了，βg也等于0 了。

　　证明完毕。

证明方式二：

　　如下图，转化为了从最大值里面挑一个最小值的问题。引入了上界的概念，比如cosx，1,2,3，所有1的倍数都是它的上界，但是1是最小的上界。

最终目的是求x与β的，求β最大值可不好求啊，无数个啊朋友们，所以这里用到对偶了，先求最小再求最大值

最后βg=0.

证明方式三：

　　求minf(x),在约束条件g(x)<=0下，加入松弛变量a²,使得g(x)+a²=0，本来是加a的，为了保证它是正的，所以平方了一下。

原函数成了这样：L=f(x)+λ（g(x)+a²）;为了不改变原来的约束条件，λ>=0

接下来求导就可以了

可知

因此，λg=0

三种证明条件的方法完毕。

所有求不等式的条件：

感知器模型：

　　感知器算法是最古老的分类算法之一，原理比较简单，不过模型的分类泛化能力比较弱，不过感知器模型是SVM、神经网络、深度学习等算法的基础。
感知器的思想很简单:比如班级有很多的同学，分为男同学和女同学，感知器模型就是试图找到一条直线，能够把所有的男同学和女同学分隔开，
如果是高维空间中，感知器模型寻找的就是一个超平面，能够把所有的二元类别分割开。
感知器模型的前提是:数据是线性可分的