知识蒸馏（Knowledge Distillation）的Pytorch实现以及分析

       知识蒸馏（Knowledge Distillation）的概念由Hinton大神于2015年在论文《Distilling the Knowledge in a Neural Network》中提出，论文见：https://arxiv.org/abs/1503.02531。此方法的主要思想为：通过结构复杂、计算量大但是性能优秀的教师神经网络，对结构相对简单、计算量较小的学生神经网络进行指导，以提升学生神经网络的性能。论文中提出了“暗知识”这一概念，即：比如我们在识别一张猫猫的图片的时候，一个性能良好的神经网络经过softmax变换后的输出，在一般该向量中代表猫猫的位置会得到一个非常高的值，比如，0.9，而代表其它分类的值在传统的研究中就不那么受重视了。Hinton大神认为，其它位置得到的值能够为我们提供一些额外的信息，比如，在猫得到0.9的同时，识别为狮子的值可能因为相似的缘故给到了0.09，而识别为汽车的值则可能只有0.0001。在我的理解中，这种目标间的相似性，就是“暗知识”的本质。为了要放大这种“暗知识”所包含的信息，Hinton在传统的softmax函数中加入温度参数T，变为下式所示：

                                                                        

       那么，知识蒸馏的步骤分别为：

一、采用传统方式训练一个教师网络。

二、建立学生网络模型，模型的输出采用传统的softmax函数，拟合目标为one-hot形式的训练集输出，它们之间的距离记为loss1。

三、将训练完成的教师网络的softmax分类器加入温度参数，作为具有相同温度参数softmax分类器的学生网络的拟合目标，他们之间的距离记为loss2。

四、引入参数alpha，将loss1×(1-alpha)+loss2×alpha作为网络训练时使用的loss，训练网络。

       重点就在于将暗知识放大之后，让学生网络的暗知识去拟合教师网络的暗知识，同时由于教师网络会带有一定的bias，表现为教师网络在训练完成后，对训练集识别的正确率会高于测试集，所以加上loss1来减缓这种趋势，实际应用的时候，可以考虑将alpha首先设置的接近1，比如0.95啥的，来快速拟合教师网络，再逐步调低alpha的值，来确保网络的分类正确率，不过这只是理论上可行的，我也没试验就是了……

       那我们就开搞啦，首先是搭建教师网络，我这里选择的是resnet18，并且由于电脑训练速度的原因（渣机无力……）将网络中所有卷积核的数目减少了一半，训练集采用Cifar10，训练时对图像进行了padding之后随机裁剪以及随机水平翻转来加入噪声。优化器采用带动量项的SGD（lr=0.1, momentum=0.9, weight_decay=5e-4），训练200个epoch，其中在第100以及第150个epoch时将学习率除10，详细的代码见文章末尾的github地址好啦。训练完成后，网络对测试集的识别结果如下所示：

Accuracy of the network on the 10000 test images: 90.820000 %
Accuracy of plane : 97.727273 %
Accuracy of   car : 100.000000 %
Accuracy of  bird : 86.842105 %
Accuracy of   cat : 83.720930 %
Accuracy of  deer : 91.836735 %
Accuracy of   dog : 96.875000 %
Accuracy of  frog : 92.452830 %
Accuracy of horse : 90.625000 %
Accuracy of  ship : 93.750000 %
Accuracy of truck : 82.758621 %

       这结果当然并不算特别好，所以作为学生的网络，得选个效果比较差的，这样才能体现出教师的价值对吧（笑）。这里我们就简单的架一个三层卷积神经网络作为学生网络好啦，网络具体结构见github。还是使用cifar10经过相同的图像变换过程后，采用adam（lr=0.001）作为优化器对网络训练100个epoch，在完全相同的条件下训练四次，测试集识别结果分别如下，我们可以看到，这几次的训练结果平均一下大概差不多卡在80%的点上，毕竟这玩意有运气成分在。

第一次训练结果：
Accuracy of the network on the 10000 test images: 78.590000 %
Accuracy of plane : 81.818182 %
Accuracy of   car : 93.750000 %
Accuracy of  bird : 71.052632 %
Accuracy of   cat : 67.441860 %
Accuracy of  deer : 81.632653 %
Accuracy of   dog : 81.250000 %
Accuracy of  frog : 94.339623 %
Accuracy of horse : 84.375000 %
Accuracy of  ship : 89.583333 %
Accuracy of truck : 82.758621 %
第二次训练结果：
Accuracy of the network on the 10000 test images: 79.990000 %
Accuracy of plane : 88.636364 %
Accuracy of   car : 90.625000 %
Accuracy of  bird : 60.526316 %
Accuracy of   cat : 69.767442 %
Accuracy of  deer : 81.632653 %
Accuracy of   dog : 65.625000 %
Accuracy of  frog : 84.905660 %
Accuracy of horse : 84.375000 %
Accuracy of  ship : 81.250000 %
Accuracy of truck : 93.103448 %
第三次训练结果：
Accuracy of the network on the 10000 test images: 81.160000 %
Accuracy of plane : 79.545455 %
Accuracy of   car : 93.750000 %
Accuracy of  bird : 63.157895 %
Accuracy of   cat : 72.093023 %
Accuracy of  deer : 79.591837 %
Accuracy of   dog : 87.500000 %
Accuracy of  frog : 84.905660 %
Accuracy of horse : 84.375000 %
Accuracy of  ship : 85.416667 %
Accuracy of truck : 89.655172 %
第四次训练结果：
Accuracy of the network on the 10000 test images: 79.890000 %
Accuracy of plane : 90.909091 %
Accuracy of   car : 87.500000 %
Accuracy of  bird : 76.315789 %
Accuracy of   cat : 65.116279 %
Accuracy of  deer : 71.428571 %
Accuracy of   dog : 71.875000 %
Accuracy of  frog : 92.452830 %
Accuracy of horse : 87.500000 %
Accuracy of  ship : 91.666667 %
Accuracy of truck : 72.413793 %

       接下来，因为之前看到网上有人说，教师网络本身在训练的时候，是有采用加噪数据进行训练的，所以它的输出的暗知识在理论上可能会包含有噪声项的信息，我们就先在不对数据集进行变换的情况下进行训练。这里我们选取alpha=0.95，T选取2和10分别训练两次，结果如下。我们可以看到，其训练的结果比之前的方法是要差的，这可能是因为学生网络还是直接过拟合了教师网络的输出，所以导致测试集正确率较低。

扫描二维码关注公众号，回复： 4541141 查看本文章

T=2第一次训练结果：
Accuracy of the network on the 10000 test images: 78.440000 %
Accuracy of plane : 90.909091 %
Accuracy of   car : 93.750000 %
Accuracy of  bird : 65.789474 %
Accuracy of   cat : 65.116279 %
Accuracy of  deer : 73.469388 %
Accuracy of   dog : 71.875000 %
Accuracy of  frog : 81.132075 %
Accuracy of horse : 81.250000 %
Accuracy of  ship : 81.250000 %
Accuracy of truck : 89.655172 %
T=2第二次训练结果：
Accuracy of the network on the 10000 test images: 75.830000 %
Accuracy of plane : 88.636364 %
Accuracy of   car : 93.750000 %
Accuracy of  bird : 60.526316 %
Accuracy of   cat : 55.813953 %
Accuracy of  deer : 71.428571 %
Accuracy of   dog : 59.375000 %
Accuracy of  frog : 73.584906 %
Accuracy of horse : 81.250000 %
Accuracy of  ship : 85.416667 %
Accuracy of truck : 79.310345 %
T=10第一次训练结果：
Accuracy of the network on the 10000 test images: 78.300000 %
Accuracy of plane : 88.636364 %
Accuracy of   car : 90.625000 %
Accuracy of  bird : 60.526316 %
Accuracy of   cat : 60.465116 %
Accuracy of  deer : 73.469388 %
Accuracy of   dog : 59.375000 %
Accuracy of  frog : 84.905660 %
Accuracy of horse : 71.875000 %
Accuracy of  ship : 85.416667 %
Accuracy of truck : 93.103448 %
T=10第二次训练结果：
Accuracy of the network on the 10000 test images: 76.130000 %
Accuracy of plane : 95.454545 %
Accuracy of   car : 87.500000 %
Accuracy of  bird : 78.947368 %
Accuracy of   cat : 60.465116 %
Accuracy of  deer : 63.265306 %
Accuracy of   dog : 62.500000 %
Accuracy of  frog : 84.905660 %
Accuracy of horse : 78.125000 %
Accuracy of  ship : 89.583333 %
Accuracy of truck : 72.413793 %

       最后是对图片进行了相应的变换加入噪声后，对学生网络进行训练，结果如下：

T=2第一次训练结果：
Accuracy of the network on the 10000 test images: 82.460000 %
Accuracy of plane : 95.454545 %
Accuracy of   car : 90.625000 %
Accuracy of  bird : 78.947368 %
Accuracy of   cat : 69.767442 %
Accuracy of  deer : 81.632653 %
Accuracy of   dog : 65.625000 %
Accuracy of  frog : 88.679245 %
Accuracy of horse : 78.125000 %
Accuracy of  ship : 81.250000 %
Accuracy of truck : 93.103448 %
T=2第二次训练结果：
Accuracy of the network on the 10000 test images: 80.760000 %
Accuracy of plane : 86.363636 %
Accuracy of   car : 93.750000 %
Accuracy of  bird : 71.052632 %
Accuracy of   cat : 81.395349 %
Accuracy of  deer : 81.632653 %
Accuracy of   dog : 75.000000 %
Accuracy of  frog : 81.132075 %
Accuracy of horse : 78.125000 %
Accuracy of  ship : 79.166667 %
Accuracy of truck : 89.655172 %
T=10第一次训练结果：
Accuracy of the network on the 10000 test images: 81.780000 %
Accuracy of plane : 90.909091 %
Accuracy of   car : 93.750000 %
Accuracy of  bird : 63.157895 %
Accuracy of   cat : 81.395349 %
Accuracy of  deer : 79.591837 %
Accuracy of   dog : 87.500000 %
Accuracy of  frog : 83.018868 %
Accuracy of horse : 87.500000 %
Accuracy of  ship : 95.833333 %
Accuracy of truck : 93.103448 %
T=10第二次训练结果：
Accuracy of the network on the 10000 test images: 81.470000 %
Accuracy of plane : 88.636364 %
Accuracy of   car : 100.000000 %
Accuracy of  bird : 60.526316 %
Accuracy of   cat : 60.465116 %
Accuracy of  deer : 81.632653 %
Accuracy of   dog : 75.000000 %
Accuracy of  frog : 75.471698 %
Accuracy of horse : 87.500000 %
Accuracy of  ship : 93.750000 %
Accuracy of truck : 93.103448 %

       虽然测试集的正确率具有一定程度的不确定性，我们还是可以看出，测试集正确率相比原始的训练方法平均提升了约1.5%。这也可以大致说明这种方法的有效性。当然，这种训练方式目前也产生了很多的变体，比如再生网络等等、

       最后是相关程序与训练完成的网络参数文件的github地址：https://github.com/PolarisShi/distillation