前言
无监督是蛋糕中的主要部分。可以通过图像掩码,对比学习等途径实现预训练。
模型
BeiTv2
论文: BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers
代码: https://github.com/microsoft/unilm/tree/master/beit
博文: 图像掩码方法BEiT大升级,效果吊打MAE!
MAE
论文: Masked Autoencoders Are Scalable Vision Learners
代码: https://github.com/facebookresearch/mae
BeiT
论文: BEiT: BERT Pre-Training of Image Transformers
代码: https://github.com/microsoft/unilm/tree/master/beit