人脸识别-arcface损失函数（arcLoss、insight Loss）
参考博客：
L-margin softmax loss:
https://blog.csdn.net/u014380165/article/details/76864572
A-softmax loss:
https://blog.csdn.net/u011808673/article/details/80491361
AM-softmax loss:
https://blog.csdn.net/fire_light_/article/details/79602310
arcface:
https://blog.csdn.net/Fire_Light_/article/details/79602705
softmax loss:
N是样本的数量，i代表第i个样本，j代表第j个类别，fyi代表着第i个样本所属的类别的分数
fyi是全连接层的输出，代表着每一个类别的分数，
每一个分数即为权重W和特征向量X的内积
每个样本的softmax值即为：
L-softmax loss:
假设一个2分类问题，x属于类别1，那么原来的softmax肯定是希望：
也就是属于类别1的概率大于类别2的概率，这个式子和下式是等效的：
large margin softmax就是将上面不等式替换为：
m是正整数，cos函数在0到π范围又是单调递减的，所以cos(mx)要小于cos(x)。通过这种方式定义损失会逼得模型学到类间距离更大的，类内距离更小的特征。
从几何的角度看两种损失的差别：
设置为cos(mx)后，使得学习到的W参数更加的扁平，可以加大样本的类间距离。
Large-Margin Softmax的实验效果：
A-softmax loss
A-softmax loss简单讲就是在large margin softmax loss的基础上添加了两个限制条件||W||=1和b=0，使得预测仅取决于W和x之间的角度。
softmax的计算：
可以写成
若引入两个限制条件，
decision boundary变为:
只取决于角度了
则损失函数变为：
在这两个限制条件的基础上，作者又添加了和large margin softmax loss一样的角度参数，使得公式变为：
AM-softmax
在A-softmax的基础上，修改Cos(mθ)为一个新函数：
与ASoftmax中定的的类似，可以达到减小对应标签项的概率，增大损失的效果，因此对同一类的聚合更有帮助
然后根据Normface，对f进行归一化，乘上缩放系数s，最终的损失函数变为：
这样做的好处在于A-Softmax的倍角计算是要通过倍角公式，反向传播时不方便求导，而只减m反向传播时导数不用变化
Asoftmax是用m乘以θ，而AMSoftmax是用cosθ减去m，这是两者的最大不同之处：一个是角度距离，一个是余弦距离。
之所以选择cosθ-m而不是cos（θ-m），这是因为我们从网络中得到的是W和f的内积，如果要优化cos（θ-m）那么会涉及到arccos操作，计算量过大。
arcface
分类正确label的值为
，cos函数在（0,1）内是单调递减的，加上m，会使该值变得更小，从而loss会变得很大。
这样修改的原因：角度距离比余弦距离在对角度的影响更加直接
