Label Smoothing 标签平滑 (Label smooth regularization, LSR)

Lable Smoothing 是分类问题中错误标注的一种解决方法。是一种正则化方法, 为了降低模型过拟合(overfitting)

对于分类问题，特别是多分类问题，常常把向量转换成one-hot-vector（独热向量）。我们采用one-hot标签去进行计算交叉熵损失时，只考虑到训练样本中正确的标签位置（one-hot标签为1的位置）的损失，而忽略了错误标签位置（one-hot标签为0的位置）的损失。这样一来，模型可以在训练集上拟合的很好，但由于其他错误标签位置的损失没有计算，导致预测的时候，预测错误的概率增大。为了解决这一问题，标签平滑的正则化方法便应运而生。
 

 

没有标签平滑的损失计算的例子

 

有标签平滑的例子

标签平滑的公式

标签平滑的应用场景

只要loss损失函数中涉及到了cross entropy，都可以应用标签平滑处理。

标签平滑的实质就是促使神经网络中进行softmax激活函数激活之后的分类概率结果向正确分类靠近，即正确的分类概率输出大（对应的one-hot标签为1位置的softmax概率大），并且同样尽可能的远离错误分类（对应的one-hot标签为0位置的softmax概率小），即错误的分类概率输出小。