模型并行 | 大规模语言模型架构 Megatron - 代码天地

模型并行 | 大规模语言模型架构 Megatron

企业开发 2023-04-08 10:37:01 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/weixin_66945478/article/details/126364313

模型并行 | 大规模语言模型架构 Megatron

[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现

大规模语言模型与生成模型：技术原理、架构与应用

通俗理解Megatron-DeepSpeed：千亿参数模型BLOOM背后的技术

DeepSpeed结合Megatron-LM训练GPT2模型笔记（上）

淘天集团联合爱橙科技开源大模型训练框架Megatron-LLaMA

阿里云PAI-灵骏大模型训练工具Pai-Megatron-Patch正式开源！

LLM 大规模语言模型综述

【大规模训练】transformer 中的张量模型并行

超越CLIP！谷歌发布首个大规模MoE架构的视觉语言模型

Megatron 自然语言处理实战指南

大语言模型和大规模预训练模型的区别

大规模并行处理器编程实战 - 第4章 CUDA数据并行执行模型

[nlp] 数据并行 & 模型并行

大规模模型的构建技巧

MPP大规模并行处理架构详解

【Megatron-DeepSpeed】张量并行工具代码mpu详解(三)：张量并行层的实现及测试

【Megatron-DeepSpeed】张量并行工具代码mpu详解(一)：并行环境初始化

PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FastLLM/vLLM等)、案例应用之详细攻略

解码大语言模型奥秘：《大规模语言模型：从理论到实践》震撼上市！

【大语言模型学习笔记】第一篇：LLM大规模语言模型介绍

MapReduce-大规模数据集分布式并行运算编程模型

面向大规模数据的深度学习模型并行化与加速策略探索

并行编程模型1

CUDA并行存储模型

并行编程模型

Pipeline并行处理模型

任务并行编程模型

MapReduce并行编程模型

大规模语言模型从理论到实践：模型基础、数据、强化学习、应用、评估

今日推荐

周排行

java学习（19）图形用户界面（3）

[转帖]一本正经的八卦一下CPU的自主可控之二

各种语言实现Shellcode加载(暂时两种)

为什么当前大多数应用程序是多线程的，为什么要使用支持多线程的库

Consul：2:基本概念

KVM虚拟化与云计算Openstack的负载均衡-学习笔记3

高数-（01）函数与极限

python使用pymysql操作数据库

vue项目中，新增或编辑后返回列表页，数据不刷新问题

【白话python连载（7.2）】python的模块介绍

每日归档

更多

2024-12-30(0)

2024-12-29(0)

2024-12-28(0)

2024-12-27(0)

2024-12-26(0)

2024-12-25(0)

2024-12-24(0)

2024-12-23(0)

2024-12-22(0)

2024-12-21(0)