【机器学习】拉格朗日对偶性
@(Machine Learning)
学习SVM的时候，解决最优化问题需要应用到拉格朗日对偶性，现在总结下相关概念。
Reference：
《统计学习方法》 附录C_拉格朗日对偶性 李航
本文完全根据该附录总结，内容基本一致，有条件的请阅读该附录原版。
原始问题
引入广义拉格朗日函数：
考虑将之最大化：
如果给定x，x违反原始问题的约束条件：
有：
原因不难，如下：
如果x违反条件，
则存在某个ci(x)> 0，令ai->+∞，最大可得+∞；
或存在某个hj(x)!= 0，令βjhj(x)->+∞，最大可得+∞。
如果x满足条件，则
综上有：
为了使x满足条件，我们最小化该函数。
容易得到该函数和原始最优化问题是等价的。
我们称这个问题为广义拉格朗日函数的极小极大问题。
对偶问题
定义：
上述问题称为广义拉格朗日函数的极大极小问题。
表示为约束最优化问题：
该问题称为原始问题的对偶问题。
原始问题与对偶问题的关系
定义原始问题的最优值：
定义对偶问题的最优值：
有如下定理：
意思是：对偶问题的最优值小于等于原始问题的最优值。
意思是：某些条件下，原始问题和对偶问题最优值相等，这时候可以用解对偶问题替代原始问题。
可得下面定理：
最后得出最重要的定理，证明不展开：
简单来说就是如果我们想要通过对偶问题得到原始问题的解，需要满足KKT条件。