研究表明：自注意力对于视觉Transformer并不重要，因为gMLP可以达到相同的精度，性能优于ResMLP、MLP-Mixer等网络，可比肩DeiT等，在视觉和语言任务中通吃！可媲美Transformer！
注1：文末附【视觉Transformer】交流群
注2：整理不易，欢迎点赞，支持分享！
想看更多CVPR 2021论文和开源项目可以点击：
gMLP
Pay Attention to MLPs
- 作者单位：谷歌大脑（Quoc V. Le）
- 论文下载链接：https://arxiv.org/abs/2105.08050
Transformers已成为深度学习中最重要的架构创新之一，并在过去几年中实现了许多突破。在这里，我们提出了一个简单的，无需注意力的网络体系结构gMLP，该体系结构仅基于带有gating的MLP，并显示了它在语言和视觉应用中的性能可与Transformer媲美。
gMLP细节（建议去看原文）：
实验结果
用于视觉的gMLP模型：
我们的比较表明，自注意力对于视觉Transformer并不重要，因为gMLP可以达到相同的精度。
用于语言的gMLP模型：
对于BERT，我们的模型在预训练的Perplexity上与Transformers达到了同等水平，并且在某些下游任务上表现更好。
在gMLP性能较差的微调任务上，使gMLP模型大大变大可以缩小与Transformer的差距。 总的来说，我们的实验表明，gMLP可以在增加的数据和计算方面进行缩放，也可以在Transformer中进行缩放。
CVer-视觉Transformer交流群
建了CVer-Transformer交流群！想要进Transformer学习交流群的同学，可以直接加微信号：CVer9999。加的时候备注一下：Transformer+学校+昵称，即可。然后就可以拉你进群了。
强烈推荐大家关注CVer知乎账号和CVer微信公众号，可以快速了解到最新优质的CV论文。
