【炼丹Trick】EMA的原理与实现

在进行深度学习训练时，同一模型往往可以训练出不同的效果，这就是炼丹这件事的玄学所在。使用一些trick能够让你更容易追上目前SOTA的效果，一些流行的开源代码中已经集成了不少trick，值得学习一番。本节介绍EMA这一方法。

1.原理：

EMA也就是指数移动平均(Exponential moving average)。其公式非常简单，如下所示：

θ EMA , t + 1 = ( 1 − λ ) ⋅ θ EMA , t