手推支持向量机08-约束优化问题-对偶关系之KKT条件

目录

1.写在前面

2.什么是KKT条件(3组,5个条件)


1.写在前面

        上一节,我们介绍了slater条件,假如说我们遇到一个凸优化问题+slater条件,那么一定满足强对偶关系。强对偶关系是说p*是原问题的解,d*是对偶函数的解,满足p*=d*。p*对应最优解是x*,d*对应最优解是λ*和η*。怎么求出来这三个最优解呢?KKT就给定了这三者之间的一个关系,可以求出这三个最优解。并且KKT条件和强对偶关系属于充要条件,可以互相推导。我们这一节就介绍什么是KKT条件。

2.什么是KKT条件(3组,5个条件)

        KKT条件可以分为3组,第一组是满足可行域或者可行条件;第二组是满足互补松弛条件;第三组是梯度为0。

        互补松弛条件是什么呢?我们思考d*是什么,是对偶问题的最优值,可以直接代入λ*和η*:

        上面那个式子我们可以得到互补松弛条件,如果d*=p*,只能取等号。下面蓝框中就是我们推出的互补松弛条件。

扫描二维码关注公众号,回复: 11691680 查看本文章

        我们看第三组梯度等于0,因为上面绿色公式推导中要取等号,我们可以单独拿出来讨论:当x=x*时候,取得最小值。

        所以如果L对x求偏导,在x=x*时候,一定会等于0,因为必须要有最小值。其实第二组互补松弛条件和第三组梯度为0条件都是从不等式取等号推导出来的。最后的KTT三组条件为(三组+五个条件):

猜你喜欢

转载自blog.csdn.net/Suyebiubiu/article/details/107964113