DeepSpeed加速大模型训练 - 代码天地

DeepSpeed加速大模型训练

企业开发 2023-09-15 18:52:41 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/gzroy/article/details/132340327

DeepSpeed加速大模型训练

DeepSpeed Chat大模型训练【训练类ChatGPT 的大模型】

DeepSpeed通过系统优化加速大模型推理

[深度学习]大模型训练之框架篇-DeepSpeed

[深度学习]大模型训练之框架篇--DeepSpeed使用

DeepSpeed：大模型训练框架 | 京东云技术团队

PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FastLLM/vLLM等)、案例应用之详细攻略

混合精度是如何加速大模型训练的？

DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍

LORA大模型加速微调和训练算法

向量数据库—加速大模型训练推理

DeepSpeed超大规模模型训练工具

自定义模型与数据进行DeepSpeed-Chat训练

DeepSpeed Ulysses: 训练极长序列Transformer模型的系统优化

复旦大学重磅发布低内存优化技术LOMO | 将大模型训练内存使用量降低到10.8%，大幅领先DeepSpeed！

650亿参数大模型预训练方案开源可商用，LLaMA训练加速38%

大模型训练加速(FlashAttention): 用于训练LLM的GPU加速的一个进展-PART2

基于DeepSpeed训练ChatGPT

微软开源深度学习优化库 DeepSpeed，可训练 1000 亿参数的模型

ZeRO & DeepSpeed：可以让训练模型拥有超过1000亿个参数的优化（微软）

[论文笔记] chatgpt系列 2.3 DeepSpeed-chat Reward模型训练

人人都能GPT！微软开源DeepSpeed Chat帮用户训练模型

[译] DeepSpeed：所有人都能用的超大规模模型训练工具

DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）

深度学习：大规模模型分布式训练框架DeepSpeed

微软开源 DeepSpeed-Chat：让类 ChatGPT 千亿大模型提速省钱 15 倍

【AI大模型】训练Al大模型

pytorch-使用GPU加速模型训练

【加速 PyTorch 模型训练的 9 个技巧】

GLM国产大模型训练加速：性能最高提升3倍，显存节省1/3，低成本上手

今日推荐

周排行

Android图片与下拉框

java常用的设计模式之单例模式

zabbix自动化监控之自动注册

杨老师课堂之Excel VBA 程序开发第八讲使用工作表函数

Android 去掉底部虚拟导航栏

Android Studio 3.2 Beta 4 发布，功能改进和修复

Linux-3.5_总线驱动设备

Qt QTableView QStandardItemModel用法

session处理

分享几个实用的方法

每日归档

更多

2025-02-06(0)

2025-02-05(0)

2025-02-04(0)

2025-02-03(0)

2025-02-02(0)

2025-02-01(0)

2025-01-31(0)

2025-01-30(0)

2025-01-29(0)

2025-01-28(0)