损失函数loss改进解析

题图依然来自Coco！上篇地址：

YaqiLYU：人脸识别的LOSS（上） zhuanlan.zhihu.com

Feature Normalization

Liu Y, Li H, Wang X. Rethinking feature discrimination and polymerization for large-scale recognition [C]// NIPS workshop, 2017.

COCO(congenerous cosine) loss: sciencefans/coco_loss，归一化了权值c，归一化了特征f，并乘尺度因子 $\alpha$ ：

half MS-1M训练集，用coco loss训练Inception ResNet，在LFW上达到99.86%，接近满分，但要注意，同样的训练集和CNN，Softmax loss训练的结果是99.75%。

Ranjan R, Castillo C D, Chellappa R. L2-constrained softmax loss for discriminative face verification [J]. arXiv:1703.09507, 2017.

L2-Softmax：在Softmax的w*x基础上，将特征向量x做归一化，并乘尺度因子进行放大：

尺度因子 $\alpha$ 可以是固定值，也可以自适应训练，建议用固定值 $\alpha=50$ 。可以MS-Celeb-1M的子集3.7M图像作为训练集，用L2-Softmax训练ResNeXt-101在LFW上达到了99.78%，与center loss联合使用也有提升。

Wang F, Xiang X, Cheng J, et al. NormFace: L2 Hypersphere Embedding for Face Verification [C]// ACM MM, 2017.

NormFace: happynear/NormFace，归一化了特征，同样加了尺度因子s，但这里推荐用自动学习的方法：

归一化后的softmax, contrastive 和center loss都用不同程度的提升，0.49M的CASIA-WebFace训练集28层ResNet，归一化前后，softmax从98.28%提升到99.16%，center loss从99.03%提升到了99.17%。

特征归一化的重要性

从最新方法来看，权值W和特征f(或x)归一化已经成为了标配，而且都给归一化特征乘以尺度因子s进行放大，目前主流都采用固定尺度因子s的方法(看来自适应训练没那么重要)；
权值和特征归一化使得CNN更加集中在优化夹角上，得到的深度人脸特征更加分离；
特征归一化后，特征向量都固定映射到半径为1的超球上，便于理解和优化；但这样也会压缩特征表达的空间；乘尺度因子s，相当于将超球的半径放大到s，超球变大，特征表达的空间也更大（简单理解：半径越大球的表面积越大）；
特征归一化后，人脸识别计算特征向量相似度，L2距离和cos距离意义等价，计算量也相同，我们再也不用纠结到底用L2距离还会用cos距离：

为什么仅特征归一化无法收敛，而必须乘固定尺度因子呢？以四分类为例分析。

仅特征归一化时，输出 $\left\{ x_{1}, x_{2}, x_{3}, x_{4} \right\}$ 等价于 $\left\{ cos(\theta), x_{2}, x_{3}, x_{4} \right\}$ ，理想情况下，优后 $\theta$ 是0，x2=x3=x4都输出0，此时激活值为{1, 0, 0, 0}，指数函数非线性放大后输出为{e, 1, 1, 1}，归一化后置信度是{47.54%, 17.49%, 17.49%, 17.49%}，远远达不到收敛的要求，所以仅归一化是不能训练的。
归一化后乘尺度因子s，这里以s=60为例，输出 $\left\{ x_{1}, x_{2}, x_{3}, x_{4} \right\}$ 等价于 $\left\{ 60\cdot cos(\theta), x_{2}, x_{3}, x_{4} \right\}$ ，理想情况下，优后 $\theta$ 是0，x2=x3=x4都输出0，此时激活值为{60, 0, 0, 0}，指数函数非线性放大后输出为{exp(60), 1, 1, 1}，归一化后置信度是{100%, 0%, 0%, 0%}，完全可以达到收敛要求。所以特征归一化必须乘尺度因子。

Additive Margin Loss

Wang F, Liu W, Liu H, et al. Additive Margin Softmax for Face Verification [C]// ICLR 2018 (Workshop) .

AM-Softmax：happynear/AMSoftmax，在SphereFace的基础上，乘性margin改成了加性margin，即 $cos(m\theta)$ 变成了 $cos\theta-m$ ，在权值W归一化的基础上对特征f也做了归一化，采用固定尺度因子s=30，相比SphereFace性能有提升，最重要的是训练难度大幅降低，不需要退火优化。此外，论文还做了训练集CASIA-WebFace与测试集LFW和MegaFace的重叠identity清理，LFW从Center Loss和SphereFace清理的3对增加到17对，实验证明影响较大。AM-Softmax的特点是小训练集小网络，仅20层CNN，在清理后CASIA-WebFace上训练，LFW达到了98.98%，在MegaFace上较SphereFace提升明显，有源码的好文推荐！

Wang H, Wang Y, Zhou Z, et al. CosFace: Large Margin Cosine Loss for Deep Face Recognition [C]// CVPR, 2018.

CosFace：与AM-Softmax完全一样，同样的加性margin，同样的特征归一化，工作完成比AM-Softmax早。两个训练集没有提重叠身份清理的问题，0.49M小训练集CASIA-Webface，5M腾讯自己收集的大训练集，训练64层CNN，LFW上99.73%，MegaFace上大小训练集都是SOTA。对比AM-Softmax的结果，CosFace大网络和大训练集的性能提升非常明显，没有源码。

Jiankang Deng, Jia Guo, Stefanos Zafeiriou. ArcFace: Additive Angular Margin Loss for Deep Face Recognition [J]. arXiv:1801.07698. (Submitted to IJCV)

ArcFace: deepinsight/insightface，这个不是虹软的！这个不是虹软的！这个不是虹软的！仅仅是算法与虹软的人脸识别SDK重名了，没有一点关系。论文叫ArcFace，代码叫insightface，在SphereFace的基础上，同样改用加性margin但形式略有区别， $cos(m\theta)$ 变成了 $cos(\theta+m)$ ，同样也做了特征归一化，固定因子s=64。ArcFace的特点是大训练集加大网络，也做了细致的训练集和测试集清理，训练集MS-Celeb-1M从100k-10M清理到85k-3.8M，测试集MegaFace算法加人工清理后识别率提高了15%，大网络是100层CNN，在LFW上做到了99.83%，在MegaFace上large也是SOTA，目前是榜单第一名，论文篇幅较长，实验细致，强力推荐好文！

强力推荐insightface人脸识别project，基于mxnet训练速度快，包含所有sota的backbone和loss方便上手 InsightFace - 使用篇, 如何一键刷分LFW 99.80%, MegaFace 98% ，为了用这套环境，我已经转mxnet了 -_-!

不同margin的对比

目前人脸识别算法以large margin为主，这里提出并讨论两个问题：

问题一：large margin为什么能work？

L-Softmax重构了Softmax，输出x变成 $W\cdot f=\left| W \right|\cdot\left| f \right|\cdot cos\theta$ ，SphereFace归一化权值W，变成 $W\cdot f=\left| f \right|\cdot cos\theta$ ；最新AM-Softmax和ArcFace继续归一化特征乘尺度因子，变成 $W\cdot f=s\cdot cos\theta$ 。所以这里我们简化问题，默认归一化权值W和特征f，即 $e^{x}=e^{s\cdot cos\theta}$ ，仅考虑 $cos(\theta)$ 这一项变动对分类任务的影响。
还是讨论四分类问题，输出 $\left\{ x_{1}, x_{2}, x_{3}, x_{4} \right\}$ 等价于 $\left\{ s\cdot cos(\theta), x_{2}, x_{3}, x_{4} \right\}$ 。原始Softmax在输出x = {5, 1, 1, 1}时就接近收敛，训练停止，此时改用large margin softmax，第一列的 $cos(\theta)$ 强制变成 $cos(m\theta)$ 、 $cos\theta-m$ 或 $cos(\theta+m)$ ，会使输出减小，其他列保持不变，此时输出可能变成了x = {4, 1, 1, 1}，网络又可以继续训练了。
这一过程与“从hardmax的 $x$ 到softmax的 $e^{x}$ 非线性放大了输出，减小训练难度，使分类问题更容易收敛”正好相反，从 $cos(\theta)$ 到 $cos(m\theta)$ 、 $cos\theta-m$ 或 $cos(\theta+m)$ ，都非线性减小了输出，增加训练难度，使训练得到的特征映射更好。
不同loss的曲线对比，下图来自ArcFace，所有loss都是单调递减的。对比Softmax的 $cos(\theta)$ 曲线，乘性margin的SphereFace对应 $cos(m\theta)$ 曲线下降最多，训练难度剧增，退火技术也难以收敛，反观加性margin的CosineFace和ArcFace下降较少，训练难度稍微增加，所以更容易收敛。

问题二：Large Margin到底优化了什么？

前面提到large margin显式约束了类间分离，看可视化结果好像也是这样，但其实这种说法是不对的。

large margin优化的核心——夹角 $\theta$ 是权值W和特征f之间的夹角，并不是不同类别之间的夹角，loss函数也完全没有涉及不同类别特征向量之间的夹角约束。
具体来看 $W\cdot f=\left| W \right|\cdot\left| f \right|\cdot cos\theta$ ，考虑W和f都是归一化的，训练目标从 $cos(\theta)$ 变成 $cos(4\theta)$ 、 $cos\theta-0.35$ 或 $cos(\theta+0.5)$ ，都减小了输出激活值，如果要达到目标置信度100%，就需要优化出比Softmax更小的夹角 $\theta$ ，也就是说large margin的优化目标是让权值向量W和特征向量f之间的夹角更小。
对特定类别来说，假如有1000张图像，经CNN特征映射后得到1000个特征向量，而权值向量W是每个类别只有一个，large margin loss要求这1000个特征向量和这1个权值向量的夹角非常小，也就是说，优化让1000个特征向量都向权值向量W的方向靠拢。
下图是SphereFace(m=4)在MNIST上跑出来的特征映射，不同颜色代表不同类别，每个类别的中心白线就是这个类别的权值向量可视化的结果，与前面的分析完全一致。结论就是：large magin是显式的类内夹角约束，目标是让同一类的所有特征向量都拉向该类别的权值向量。

人脸识别的SOTA

影响算法性能的因素：

训练集：一般训练集类别数越多，图像数量越多，训练效果越好。此外训练集的收集和标注质量，不同类别的样本数量是否均衡，都对训练有影响。
CNN：一般CNN的容量越大，训练效果越好。CNN的模型容量参考ImageNet上的分类性能，与参数数量和运行速度并不是正比关系。
LOSS：这部分才是前面介绍的loss相关影响，特别注意，对比某个loss的性能提升，要综合考虑训练集和CNN，不能简单的看LFW上的识别率。

最常用的两个人脸识别测试库，和以上推荐算法的性能比较，结果来自论文：

LFW:LFW Face Database : Main，错误列表：LFW Face Database : Main，使用最多的必跑测试库，从2015年FaceNet的99.63%开始就接近饱和了，目前所有算法都在99%以上，比较意义不大。特别举两个用Softmax loss训练的例子：COCO中half MS-1M训练Inception ResNet是99.75%，ArcFace中MS1M训练ResNet100是99.7%。
MegaFace: MegaFace，目前最大也最具挑战性的测试集，但由于这个数据集质量较差，非常容易作弊，建议以有开源代码的算法，自行训练的结果为准。问题讨论： iBUG_DeepInsight · Issue #49 · deepinsight/insightface。

上表中AM-Softmax和InsightFace都做了更细致的训练集重叠清洗，最后一行代表InsightFace对测试集也做了清洗的结果。