点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程
文章目录
-
- 1 简单、内存高效、运行速度更快
- 2 在各种模型、任务和领域上的优越性能
-
- 2.1 图像分类
- 2.2 视觉-语言对比训练
- 2.3 扩散模型
- 2.4 语言建模
- 3 超参数和批量大小选择
- 4 代码实现
Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好
1 简单、内存高效、运行速度更快
与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半。 这在训练大型模型和大Batch size时很有用。 例如，AdamW 需要至少 16 个 TPU V4 芯片来训练图像大小为 224、批量大小为 4,096 的 ViT-B/16，而 Lion 只需要8个。
另一个显而易见的好处是，由于 Lion 的简单性，Lion 在我们的实验中具有更快的运行时间（step/s），通常比 AdamW 和 Adafactor 提速 2-1