微软开源深度学习优化库 DeepSpeed，可训练 1000 亿参数的模型 - 代码天地

微软开源深度学习优化库 DeepSpeed，可训练 1000 亿参数的模型

业界资讯 2020-02-12 09:00:38 阅读次数: 0

NoSuchKey

猜你喜欢

转载自www.oschina.net/news/113328/microsoft-opensource-deepspeed

微软开源深度学习优化库 DeepSpeed，可训练 1000 亿参数的模型

ZeRO & DeepSpeed：可以让训练模型拥有超过1000亿个参数的优化（微软）

650亿参数大模型预训练方案开源可商用，LLaMA训练加速38%

[深度学习]大模型训练之框架篇-DeepSpeed

[深度学习]大模型训练之框架篇--DeepSpeed使用

70B大模型训练秘方③：1000次超参数优化实验的发现

微软开源深度学习优化库 DeepSpeed 连登 GitHub 趋势榜！

DeepSpeed Ulysses: 训练极长序列Transformer模型的系统优化

人人都能GPT！微软开源DeepSpeed Chat帮用户训练模型

DeepSpeed加速大模型训练

深度学习：大规模模型分布式训练框架DeepSpeed

微软提出训练巨型模型新模式 ZeRO-Offload 训练高达 700 亿参数模型

1800亿参数，支持中文，3.5万亿训练数据！开源类ChatGPT模型

陈丹琦团队提出低内存高效零阶优化器MeZO，单卡A100可训练300亿参数模型

残差网络 ResNet 为什么能训练出1000层的模型动手学深度学习v2

70 亿参数大语言模型 RedPajama 7B 完整版发布，开源可商用

截至目前最强的70亿参数大语言模型：开源可商用的RedPajam 7B完全版发布！

650亿参数，训练飙升38%！LLaMA基础大模型复刻最佳实践开源，GitHub已获30k星

国内最大开源模型发布，无条件免费商用！参数650亿，基于2.6万亿token训练

DeepSpeed Chat大模型训练【训练类ChatGPT 的大模型】

王小川新公司开源 70 亿参数量的中英文预训练大模型，可商用；谷歌要求员工慎用 AI，即便是自己家的 Bard|极客头条

Intel 公布开源版 Nauta，可开展深度学习模型训练实验

Oracle数据库 IN 函数参数个数超过1000问题,MySQL的IN能超过1000吗

170亿参数加持，微软发布史上最大Transformer模型

DeepSpeed超大规模模型训练工具

自定义模型与数据进行DeepSpeed-Chat训练

DeepSpeed：大模型训练框架 | 京东云技术团队

Tagged，1亿用户、1000台服务器、50亿PV的优化史

微软震撼开源DeepSpeed Chat，一键实现ChatGPT的端到端RLHF训练

复旦大学重磅发布低内存优化技术LOMO | 将大模型训练内存使用量降低到10.8%，大幅领先DeepSpeed！

今日推荐

周排行

jasperreport 开发问题总结

eclipse最最最常用的快捷键

2.Kotlin-扩展函数

PHP中创建和编辑Excel表格的方法

远程办公的复盘未完待续

mac与windows共享键盘鼠标(synergy)

DOCKER使用 FLANNEL（ETCD+FLANNEL）网络

剑指offer：（二）替换空格

javaScript之Location,Navigator,History

Python 模块的加载顺序

每日归档

更多

2025-03-14(0)

2025-03-13(0)

2025-03-12(0)

2025-03-11(0)

2025-03-10(0)

2025-03-09(0)

2025-03-08(0)

2025-03-07(0)

2025-03-06(0)

2025-03-05(0)