目标检测中的回归损失函数系列一：Smooth L1 Loss

SmoothL1 Loss

出自论文：https://arxiv.org/abs/1504.08083
采用该Loss的模型（Faster RCNN，SSD，，）

SmoothL1 Loss是在Fast RCNN论文中提出来的，依据论文的解释，是因为smooth L1 loss让loss对于离群点更加鲁棒，即：相比于L2 Loss，其对离群点、异常值（outlier）不敏感，梯度变化相对更小，训练时不容易跑飞。

假设x是预测框与 groud truth 之间 elementwise 的差异，那么对比L1/L2/SmoothL1 Loss如下：

对应的曲线图如下：

对三个loss的x求导得到：

由(4)可以看到，当x值很大，即遇到的是离群点，异常值时，导数很大。所以在训练初期，预测值与 groud truth 差异过于大时，L2 Loss对预测值的梯度十分大，训练不稳定。

由(5)知道，L1 Loss的导数是常数，那么在训练后期，当预测值与 ground truth 差异很小时， L1 Loss 损失对预测值的导数的绝对值仍然为 1，而 learning rate 如果不变，损失函数将在稳定值附近波动，难以继续收敛以达到更高精度。

而(6)可以看出，smooth L1在 x 较小时，对x 的梯度也会变小，而在 x 很大时，对 x 的梯度的绝对值达到上限 1，也不会太大以至于破坏网络参数。 smooth L1完美地避开了 L1 loss 和 L2 loss 损失的缺陷。

缺点：

• 上面的三种Loss用于计算目标检测的Bounding Box Loss时，独立的求出4个点的Loss，然后进行相加得到最终的Bounding Box Loss，这种做法的假设是4个点是相互独立的，实际是有一定相关性的
• 实际评价框检测的指标是使用IOU，这两者是不等价的，多个检测框可能有相同大小的smooth L1 Loss，但IOU可能差异很大，为了解决这个问题就引入了IOU LOSS。