【DeepSpeed 教程】四，DeepSpeed ZeRO++博客和代码解析 - 代码天地

【DeepSpeed 教程】四，DeepSpeed ZeRO++博客和代码解析

业界资讯 2023-09-06 22:47:34 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/just_sort/article/details/131614994

【DeepSpeed 教程】四，DeepSpeed ZeRO++博客和代码解析

DeepSpeed

【DeepSpeed 教程翻译】三，在 DeepSpeed 中使用 PyTorch Profiler做性能调试和Flops Profiler教程翻译

DeepSpeed-Chat 代码分析及使用详解

【NLP】DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 为LLM生成高通量文本

【DeepSpeed 教程翻译】二，Megatron-LM GPT2，Zero Redundancy Optimizer 和 ZeRO-Offload

【DeepSpeed 教程翻译】一，Getting Started ，Installation Details 和 CIFAR-10 Tutorial

基于DeepSpeed训练ChatGPT

DeepSpeed的hostfile文件

DeepSpeed使用体会

【Megatron-DeepSpeed】张量并行工具代码mpu详解(四)：张量并行版Embedding层及交叉熵的实现及测试

DeepSpeed加速大模型训练

序列并行DeepSpeed-FPDT

DeepSpeed：ZeRO-1、ZeRO-2、ZeRO-3配置

ZeRO & DeepSpeed：可以让训练模型拥有超过1000亿个参数的优化（微软）

DeepSpeed之ZeRO系列：将显存优化进行到底

【深度学习】【分布式训练】DeepSpeed：AllReduce与ZeRO-DP

从零实现带RLHF的类ChatGPT：逐行解析微软DeepSpeed Chat

【Megatron-DeepSpeed】张量并行工具代码mpu详解(一)：并行环境初始化

【Megatron-DeepSpeed】张量并行工具代码mpu详解(三)：张量并行层的实现及测试

【Megatron-DeepSpeed】张量并行工具代码mpu详解(二)：Collective通信操作的封装mappings

DeepSpeed使用指南(简略版)

DeepSpeed配置参数 - 快速上手

LLM-1-chatglm-安装deepspeed报错

[linux] warning:NCCL backend in DeepSpeed not yet implemented

【LLM】DeepSpeed分布式训练框架

【异常错误】deepspeed：Cannot specify num_nodes/gpus with include/exclude（deepspeed配置GPU id）

LLMs之ChatGLM2：ChatGLM-Finetuning之源码解读(train.py文件)—解析命令→加载数据→模型训练(四种方式微调+DeepSpeed封装数据并行)+模型保存(定期输出lo

DeepSpeed在docker容器内实现多机多卡

震撼发布，开启全民超能｜ DeepSpeed-Chat 开源了！

今日推荐

周排行

win7之session理解

如何快速上手 AB Testing ？阿里技术专家秘方公开

数据库自助查询平台

【CCF 2017-12-2】游戏问题

Fire!(BFS)

修复GRUB引导故障

老倪祖膏药分销系统

MySQL慢查询日志-捕获慢SQL

批归一化(Batch Normalization)

ssm整合问题-------一

每日归档

更多

2025-03-02(0)

2025-03-01(0)

2025-02-28(0)

2025-02-27(0)

2025-02-26(0)

2025-02-25(0)

2025-02-24(0)

2025-02-23(0)

2025-02-22(0)

2025-02-21(0)