点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
鱼羊 发自 凹非寺
转载自：量子位（QbitAI）
微软大模型新架构，正式向Transformer发起挑战！
论文标题明晃晃地写道：
Retentive Network（RetNet）：大模型领域Transformer的继任者。
Retentive Network: A Successor to Transformer for Large Language Models
代码：https://github.com/microsoft/unilm
论文：https://arxiv.org/abs/2307.08621
论文提出新的Retention机制来代替Attention。来自微软亚研院和清华的研究人员，毫不讳言“野心”，大胆放话：
RetNet实现了良好的扩展结果、并行训练、低成本部署和高效推理。
这些特性使这一基础架构，成为大语言模型中Transformer的有力继承者。
而实验数据也显示，在语言建模任务上：
RetNet可以达到与Transformer相当的困惑度（perplexity）
推理速度达8.4倍
内存占用减少70%
具有良好的扩展性
并且当模型大小大于一定规模时，RetNet表现会优于Transformer。
Transformer果真“后继有模”了？具体详情，一起来看。
解决“不可能三角”
Transformer在大语言模型中的重要性毋庸置疑。无论是OpenAI的GPT系列，还是谷歌的PaLM、Meta的LLaMA，都是基于Transformer打造。
但Transformer也并非完美无缺：其并行处理机制是以低效推理为代价的，每个步骤的复杂度为O(N)；Transformer是内存密集型模型，序列越长，占用的内存越多。
在此之前，大家也不是没想过继续改进Transformer。但主要的几种研究方向都有些顾此失彼：
线性attention可以降低推理成本，但性能较差；
循环神经网络则无法进行并行训练。
也就是说，这些神经网络架构面前摆着一个“不可能三角”，三个角代表的分别是：并行训练、低成本推理和良好的扩展性能。
RetNet的研究人员想做的，就是化不可能为可能。
具体而言，RetNet在Transformer的基础上，使用多尺度保持（retention）机制替代了标准的自注意力机制。
与标准自注意力机制相比，保持机制有几大特点：
引入位置相关的指数衰减项取代softmax，简化了计算，同时使前步的信息以衰减的形式保留下来。
引入复数空间表达位置信息，取代绝对或相对位置编码，容易转换为递归形式。
另外，保持机制使用多尺度的衰减率，增加了模型的表达能力，并利用GroupNorm的缩放不变性来提高retention层的数值精度。
△RetNet的双重表示
每个RetNet块包含两个模块：多尺度保持（MSR）模块和前馈网络（FFN）模块。
保持机制支持以三种形式表示序列：
并行
递归
分块递归，即并行表示和递归表示的混合形式，将输入序列划分为块，在块内按照并行表示进行计算，在块间遵循递归表示。
其中，并行表示使RetNet可以像Transformer一样高效地利用GPU进行并行训练。
递归表示实现了O(1)的推理复杂度，降低了内存占用和延迟。
分块递归则可以更高效地处理长序列。
这样一来，RetNet就使得“不可能三角”成为可能。以下为RetNet与其他基础架构的对比结果：
在语言建模任务上的实验结果，进一步证明了RetNet的有效性。
结果显示，RetNet可以达到与Transformer相似的困惑度（PPL，评价语言模型好坏的指标，越小越好）。
同时，在模型参数为70亿、输入序列长度为8k的情况下，RetNet的推理速度能达到Transformer的8.4倍，内存占用减少70%。
在训练过程中，RetNet在内存节省和加速效果方面，也比标准Transformer+FlashAttention表现更好，分别达到25-50%和7倍。
值得一提的是，RetNet的推理成本与序列长度无关，推理延迟对批量大小不敏感，允许高吞吐量。
另外，当模型参数规模大于20亿时，RetNet的表现会优于Transformer。
研究团队
RetNet的研究团队，来自微软亚研院和清华大学。
共同一作为孙宇涛和董力。
孙宇涛，清华大学计算机系本科，现在在微软亚研院实习。
董力，微软亚研院研究员。他也是此前引发大量关注的“能记住10亿token的Transformer”的论文作者之一。
RetNet论文的通讯作者是韦福如。他是微软亚洲研究院全球研究合伙人，10亿token Transformer亦是来自他的研究团队。
论文地址：
https://arxiv.org/abs/2307.08621
ICCV / CVPR 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！
▲扫码进星球
▲点击上方卡片，关注CVer公众号整理不易，请点赞和在看