监督学习通过最小化损失函数，来更新梯度，实现算法的收敛，以下是大家见过无数次的机器学习原理通式：
θ
∗
=
arg
min
θ
1
N
∑
i
=
1
N
L
(
y
i
,
f
(
x
i
;
θ
)
)
+
λ
Φ
(
θ
)
\theta^*=\arg\min_{\theta}\frac{1}{N}\sum_{i=1}^NL\big(y_i,f(x_i;\theta)\big)+\lambda \Phi(\theta)
θ ∗ = arg θ min N 1 i = 1 ∑ N L ( y i , f ( x i ; θ ) ) + λ Φ ( θ )
L
(
y
i
;
f
(
x
i
;
θ
)
)
L\big(y_i;f(x_i;\theta)\big)
L ( y i ; f ( x i ; θ ) )
λ
Φ
(
θ
)
\lambda \Phi(\theta)
λ Φ ( θ )
L
0
L_0
L 0
L
1
L_1
L 1
L
2
L_2
L 2
L
0
L_0
L 0
=
∑
i
δ
(
θ
i
≠
0
)
=\sum_i\delta(\theta_i\ne0)
= ∑ i δ ( θ i ̸ = 0 )
L
1
L_1
L 1
=
∑
i
∣
θ
i
∣
=\sum_i|\theta_i|
= ∑ i ∣ θ i ∣
L
2
L_2
L 2
=
∑
i
θ
i
2
=\sqrt{\sum_i\theta_i^2}
= ∑ i θ i 2
下面开始正文部分。
L
=
∣
y
^
−
y
∣
L=|\hat y-y|
L = ∣ y ^ − y ∣
∣
y
^
−
y
∣
|\hat y-y|
∣ y ^ − y ∣
L
=
(
y
^
−
y
)
2
L=(\hat y-y)^2
L = ( y ^ − y ) 2
L
=
{
1
2
(
y
^
−
y
)
2
if
∣
y
^
−
y
∣
<
1
∣
y
^
−
y
∣
−
1
2
otherwise
L = \begin{cases} \frac{1}{2} ({\hat y} - y)^2 & \text{ if } |{\hat y} - y| < {1} \\ |{\hat y} - y| - \frac{1}{2} & \text{otherwise} \end{cases}
L = { 2 1 ( y ^ − y ) 2 ∣ y ^ − y ∣ − 2 1 if ∣ y ^ − y ∣ < 1 otherwise
L
=
{
1
2
(
y
^
−
y
)
2
if
∣
y
^
−
y
∣
<
ρ
ρ
(
∣
y
^
−
y
∣
−
ρ
2
)
otherwise
L = \begin{cases} \frac{1}{2} ({\hat y} - {y})^2 & \text{ if } |{\hat y} - {y}| < {\rho} \\ \rho \big(|{\hat y} - {y}| - \frac{\rho}{2}\big) & \text{otherwise} \end{cases}
L = { 2 1 ( y ^ − y ) 2 ρ ( ∣ y ^ − y ∣ − 2 ρ ) if ∣ y ^ − y ∣ < ρ otherwise
ρ
=
1
\rho =1
ρ = 1
c
o
s
h
(
y
,
y
^
)
=
e
y
−
y
^
+
e
−
(
y
−
y
^
)
2
cosh(y,\hat y) = \frac{e^{y-\hat y}+e^{{-(y-\hat y)}}}{2}
c o s h ( y , y ^ ) = 2 e y − y ^ + e − ( y − y ^ )
L
=
l
o
g
[
c
o
s
h
(
y
,
y
^
)
]
L=log\big[ cosh(y,\hat y) \big]
L = l o g [ c o s h ( y , y ^ ) ]
y
=
y
^
y=\hat y
y = y ^
该函数常用于以分类为目的设计的神经网络，典型的代表是 CNN。当我们希望神经网络的输出是一列向量，而向量中分类所对应的位置为最大值时，适用该函数。当网络输出为
Z
∈
R
k
Z \in \mathbb{R}^{k}
Z ∈ R k
Z
′
=
s
o
f
t
m
a
x
(
Z
)
Z' = softmax(Z)
Z ′ = s o f t m a x ( Z )
L
=
−
∑
i
[
δ
(
i
=
y
)
l
o
g
(
Z
i
′
)
+
δ
(
i
≠
y
)
l
o
g
(
1
−
Z
i
′
)
]
L=-\sum_i \big[\delta (i=y)log(Z'_i)+\delta (i\ne y)log(1-Z'_i)\big]
L = − i ∑ [ δ ( i = y ) l o g ( Z i ′ ) + δ ( i ̸ = y ) l o g ( 1 − Z i ′ ) ]
y
∈
{
1
,
2
,
.
.
.
,
k
}
y\in \{1,2,...,k\}
y ∈ { 1 , 2 , . . . , k }
δ
∈
{
0
,
1
}
\delta \in \{0,1\}
δ ∈ { 0 , 1 }
L
=
−
l
o
g
(
Z
y
′
)
L=-log(Z'_y)
L = − l o g ( Z y ′ )
Z
y
′
Z'_y
Z y ′
Sigmoid Binary Cross Entropy Loss 更贴近 Cross Entropy 的原始定义，用于二分类任务，如在 RPN 中用于判断锚框是否为前景。该损失函数的计算前提包括，标签值
y
y
y
z
∈
R
z\in \mathbb R
z ∈ R
L
=
−
y
×
l
o
g
[
σ
(
z
)
]
−
(
1
−
y
)
×
l
o
g
[
1
−
σ
(
z
)
]
L=-y\times log\big[\sigma (z)\big]-(1-y)\times log\big[1-\sigma (z)\big]
L = − y × l o g [ σ ( z ) ] − ( 1 − y ) × l o g [ 1 − σ ( z ) ]
y
y
y
y
y
y
L
=
exp
(
−
y
^
⋅
y
)
L = \exp(- {\hat y} \cdot y)
L = exp ( − y ^ ⋅ y )
{
−
1
,
1
}
\{-1,1\}
{ − 1 , 1 }
L
=
log
[
1
+
exp
(
−
y
^
⋅
y
)
]
L = \log\big[1 + \exp(- {\hat y} \cdot y)\big]
L = log [ 1 + exp ( − y ^ ⋅ y ) ]
L
=
m
a
x
(
0
,
ρ
−
y
^
⋅
y
)
L = max(0, {\rho} - {\hat y} \cdot y)
L = m a x ( 0 , ρ − y ^ ⋅ y )
y
^
\hat y
y ^
y
y
y
y
^
\hat y
y ^
y
y
y
y
^
\hat y
y ^
ρ
/
y
\rho/y
ρ / y
y
^
\hat y
y ^
ρ
/
y
\rho/y
ρ / y
y
^
\hat y
y ^
ρ
/
y
\rho/y
ρ / y
ρ
\rho
ρ
L
=
m
a
x
(
0
,
ρ
−
y
^
⋅
y
)
2
L = max(0, {\rho} - {\hat y} \cdot y)^2
L = m a x ( 0 , ρ − y ^ ⋅ y ) 2
y
^
\hat y
y ^
ρ
/
y
\rho/y
ρ / y
ρ
\rho
ρ
分类算法的训练很重要的一点，是训练样本中各类别的参与比例不能相差过大。这样的问题通常容易在 Faster R-CNN 等目标检测神经网络中出现，源于大多数时候图像中真正属于前景的部分非常少，绝大多数都是背景负案例。负案例在计算损失函数时参与比例过大，会导致梯度更新向负案例偏移，进行无效收敛。Focal Loss 通过将案例比例引入到函数的计算中，得以解决该项问题。定义神经网络输出为经过 Sigmoid 激活函数激活的
z
∈
[
0
,
1
]
z\in [0,1]
z ∈ [ 0 , 1 ]
y
∈
{
0
,
1
}
y\in \{0,1\}
y ∈ { 0 , 1 }
L
=
−
α
y
(
1
−
z
)
γ
l
o
g
(
z
)
L=-\alpha_y(1-z)^\gamma log(z)
L = − α y ( 1 − z ) γ l o g ( z )
y
=
0
y=0
y = 0
α
y
\alpha_y
α y
y
=
1
y=1
y = 1
α
y
\alpha_y
α y
(
1
−
z
)
γ
(1-z)^\gamma
( 1 − z ) γ
γ
\gamma
γ 相关论文链接 。
KL Divergency (KL散度) 又称 Kullback-Leibler Divergence，或相对熵 (Relative Entropy)，是信息论中的重要概念，反映两组概率分布间的非对称性差异 (用 Q 的分布来拟合 P 所造成的损失)，相关数学公式如下：
D
(
p
∣
∣
q
)
=
∑
x
∈
q
p
(
x
)
l
o
g
p
(
x
)
q
(
x
)
=
E
p
l
o
g
p
(
X
)
q
(
X
)
D(p||q)=\sum_{x\in q}p(x)log\frac{p(x)}{q(x)}=\mathbb{E}_plog\frac{p(X)}{q(X)}
D ( p ∣ ∣ q ) = x ∈ q ∑ p ( x ) l o g q ( x ) p ( x ) = E p l o g q ( X ) p ( X )
L
=
∑
i
Y
i
log
(
Y
i
Z
i
)
(
0
×
l
o
g
0
0
=
0
×
l
o
g
0
q
=
p
×
l
o
g
p
0
=
0
)
L = \sum_{i} {Y_i} \log(\frac{Y_i}{Z_i})\\ \big(0\times log\frac{0}{0}=0\times log\frac{0}{q}=p\times log\frac{p}{0}=0\big)
L = i ∑ Y i log ( Z i Y i ) ( 0 × l o g 0 0 = 0 × l o g q 0 = p × l o g 0 p = 0 )
…
…