TinyBERT：
提出了一种基于Transformer架构的蒸馏方法（Transformer distillation）
两阶段的框架，
a.预训练阶段
b.fine-tuning阶段
对Embedding，Attention，都做了压缩
知识蒸馏(KD)
目标是设计behavior函数f和loss函数L，从而让student网络尽可能好的能够学习到teacher网络的知识
Transformer distillation:
从图中我们可以看到M<N,所以我们希望student的层能够对应上teacher的抹一层，即找一个映射n=g(m). TinyBERT中同时考虑了Embedding和prediction这两层的压缩，即0 = g(0), N+1 = g(M+1). 形式上，我们需要最小化下面的目标函数
Attention loss
Hidden state loss
Embedding loss
Prediction loss
综上，我们可以得到以下loss
