iccv2021 知识蒸馏文章review

前言

本文主要是总结iccv2021里的一些关于知识蒸馏的文章，希望对之后的工作有所启发

所有论文地址：https://openaccess.thecvf.com/ICCV2021

Densely Guided Knowledge Distillation using Multiple Teacher Assistants

• 论文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Son_Densely_Guided_Knowledge_Distillation_Using_Multiple_Teacher_Assistants_ICCV_2021_paper.pdf

• 代码地址：https://github.com/wonchulSon/DGKD

• 大模型蒸馏小模型时，怎样去减小或者消除二者之间的gap，TAKD通过teacher assistant的方法，尝试解决这个问题，但是它也有局限性：它只在相邻层级之间连接与监督，这会导致一层错，层层错；而本文就是为了解决