统计学习16

合页损失函数

此时，线性支持向量机学习的另外一种解释为最优化一下目标函数：

对于合页损失函数来说，只有当样本点被正确分类且函数间隔（确信度）大于1时，损失为0

• 我们有以下结论：
  
  合页损失函数是0-1损失函数的上界，可以认为0-1损失函数是真正的损失函数；由于0-1损失函数不是连续可导的，直接优化由0-1损失函数构成的目标函数较为困难，可以认为线性支持向量机是优化由0-1函数的上界（合页损失函数）构成的目标函数
  
  从图中可以看出，合页损失函数不仅要求正确分类，而且只有当确信足够大时候损失才为0；即合页损失函数对学习的要求更高