hinge loss（损失函数）详解

hinge loss：支持向量机损失函数
1.对于训练集中的第 $i$张图片数据 $x_i$,在 $W$下会有一个得分结果向量 $f(x_i,W)$;
2.第 $j$类的得分我们记作 $f(x_i,W)_j$;
3.则在该样本上的损失，我们由下列的公式可以计算得到 $L_i=\sum_{ {j}{\ne} y_i} max(0,f(x_i,W)_j-f(x_i,W)_{y_i}+\bigtriangleup) \tag 1$
建设我们现在有三个类别，而得分函数计算某张图片的得分为 $f(x_i,W)=[13,-7,11]$,而实际的结果是第一类（ $y_i=0$)。假设 $\bigtriangleup=10$,上面的公式把错误类别（ $j$不等于 $y_i$）都遍历类一遍。求值加和： $L_i=max(0,-7-13+10)+max(0,11-13+10) \tag 2$
其中， $\bigtriangleup$相当于SVM中的分离“道”的宽度。

因为是线性模型，因此可以简化成：
$L_i=\sum_{j\ne y_i}max(0,w_{j}^{T}x_i-w_{y_i}^{T}x_i+\bigtriangleup) \tag 3$
加正则化项 $L=\frac{1}{N}\sum_i L_i+\lambda R(W) \tag 4$其中 $\frac{1}{N}\sum_i L_i$为data loss， $\lambda R(W)$为正则化损失。

将（4）式展开得: $L=\frac{1}{N}\sum_i \sum_{j\ne y_i}[max(0,f(xi;W)_j-f(x_i;W)_{y_i}+\bigtriangleup)]+\lambda\sum_{k}\sum_{l}$

正确分类的分值越大越好，错误分类的分值越小越好。