【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero Redundancy Optimizer 和 ZeRO-Offload - 代码天地

【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero Redundancy Optimizer 和 ZeRO-Offload

业界资讯 2023-09-06 22:47:45 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/just_sort/article/details/131091874

【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero Redundancy Optimizer 和 ZeRO-Offload

DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）

【DeepSpeed 教程】四，DeepSpeed ZeRO++博客和代码解析

震惊！我竟然在1080Ti上加载了一个35亿参数的模型（ZeRO, Zero Redundancy Optimizer）

Zero系列三部曲：Zero、Zero-Offload、Zero-Infinity

【LLM工程篇】deepspeed | Megatron-LM | fasttransformer

微软提出训练巨型模型新模式 ZeRO-Offload 训练高达 700 亿参数模型

DeepSpeed：ZeRO-1、ZeRO-2、ZeRO-3配置

Pytorch中的optimizer.zero_grad和loss和net.backward和optimizer.step的理解

Pytorch 中model.zero_grad 和optimizer.zero_grad等效

GPT和GPT2

torch代码解析--optimizer.zero_grad

【大规模训练】Optimizer state sharding (ZeRO)

【DeepSpeed 教程翻译】三，在 DeepSpeed 中使用 PyTorch Profiler做性能调试和Flops Profiler教程翻译

理解optimizer.zero_grad(), loss.backward(), optimizer.step()的作用及原理

optimizer.zero_grad(), loss.backward(), optimizer.step()的理解及使用

LLMs之Megatron-LM：Megatron-LM的简介、安装和使用方法、案例应用之详细攻略

ZeRO & DeepSpeed：可以让训练模型拥有超过1000亿个参数的优化（微软）

DeepSpeed之ZeRO系列：将显存优化进行到底

【深度学习】【分布式训练】DeepSpeed：AllReduce与ZeRO-DP

PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FastLLM/vLLM等)、案例应用之详细攻略

DeepSpeed

gpt2中文训练教程-gpt2文本生成

【DeepSpeed 教程翻译】一，Getting Started ，Installation Details 和 CIFAR-10 Tutorial

Pytorch 为什么每一轮batch需要设置optimizer.zero_grad

torch代码解析为什么要使用optimizer.zero_grad()

model.train()、model.eval()、optimizer.zero_grad()、loss.backward()、optimizer.step作用及原理详解【Pytorch入门手册】

优化器（Optimizer）（二）

【NLP】DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本

TensorFlow中Optimizer.minimize()与Optimizer.compute_gradients()和Optimizer.apply_gradients()的用法

今日推荐

周排行

个人信息显示界面

防抖与节流一要考的

cvpr读书笔记[2]:boosting方法和AdaBoost算法概述

更新资产ccid

暑期ACM模拟赛-- 2017中国大学生程序设计竞赛-哈尔滨站-重现赛【待补】

分享几个自己写的zabbix server web agent mysql的k8s daemonset文件

脚本：某ip ssh主机失败超过三次，将其写入黑名单

多种姿势求解最大连续子数组

Centos 7.0下运行yum，返回bash: yum: 未找到命令..

Linux 命令每日一练：vi命令

每日归档

更多

2025-01-20(0)

2025-01-19(0)

2025-01-18(0)

2025-01-17(0)

2025-01-16(0)

2025-01-15(0)

2025-01-14(0)

2025-01-13(0)

2025-01-12(0)

2025-01-11(0)