【BBuf的cuda学习笔记十】Megatron-LM的gradient_accumulation_fusion优化 - 代码天地

【BBuf的cuda学习笔记十】Megatron-LM的gradient_accumulation_fusion优化

业界资讯 2023-09-06 22:47:27 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/just_sort/article/details/132402737

【BBuf的cuda学习笔记十】Megatron-LM的gradient_accumulation_fusion优化

[NLP]深入理解 Megatron-LM

DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）

【LLM工程篇】deepspeed | Megatron-LM | fasttransformer

LLMs之Megatron-LM：Megatron-LM的简介、安装和使用方法、案例应用之详细攻略

Megatron-LM出现nvcc fatal: Unsupported gpu architecture ‘compute_90‘

Efficient Large-Scale Language Model Training on GPU ClustersUsing Megatron-LM

Megatron-LM、NVIDIA NeMo、MegaMolBART 、model_optim_rng.pt 文件是什么?

【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero Redundancy Optimizer 和 ZeRO-Offload

显存优化 Trick（gradient_accumulation、gradient_checkpointing、xformers）

CUDA学习笔记（十）

PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FastLLM/vLLM等)、案例应用之详细攻略

梯度累加(Gradient Accumulation)

pytorch 梯度累积（gradient accumulation）

机器学习（十）优化算法利器之梯度下降（Gradient Descend）

vins_fusion学习笔记

LM算法学习笔记（一）

CUDA学习笔记（LESSON5）GPU优化

【CUDA编程】学习笔记（四） GPU存储与优化

CUDA编程系统性学习笔记(三)：存储优化

CUDA编程系统性学习笔记(二)：基本优化

Vins-Mono+Fusion 学习笔记（一）

Vins-Mono+Fusion 学习笔记(二）

VINS_Fusion回环检测学习笔记

机器学习笔记——梯度下降（Gradient Descent）

CUDA学习笔记三

CUDA学习笔记（二）

CUDA学习笔记（一）

CUDA学习笔记（四）

CUDA 学习笔记

今日推荐

周排行

Elasticsearch Log GC 日志分析详解

C++调用C出现的undefined reference 之坑------缺extern "C"

WordPress无法建立到WordPress.org的安全连接

《Spark大数据处理技术》PDF版

生成二维码功能（js前端）

day2csv

LeetCode 104. 二叉树的最大深度(C#实现)——二叉树,BFS,DFS,递归,迭代

Together

【矿工配餐_IOI2007Miners 】

HDU - 4135 Co-prime(分解质因数&容斥原理)

每日归档

更多

2025-03-21(0)

2025-03-20(0)

2025-03-19(0)

2025-03-18(0)

2025-03-17(0)

2025-03-16(0)

2025-03-15(0)

2025-03-14(0)

2025-03-13(0)

2025-03-12(0)