大模型之Bloom&LLAMA----Pre-Training(二次预训练) - 代码天地

大模型之Bloom&LLAMA----Pre-Training(二次预训练)

业界资讯 2023-08-12 18:45:09 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/lovely_yoshino/article/details/131303899

大模型之Bloom&LLAMA----Pre-Training(二次预训练)

LLM-大模型训练-步骤(二)-预训练/Pre-Training(1)：全参数预训练(Full-Param Pre-Training)【对LLaMA等模型进一步全量参数预训练】【中文无监督学习语料】

LLM-大模型训练-步骤(二)-预训练/Pre-Training(2)：重参数式预训练(Part-Param Pre-Training)【Lora/ptuning...】【中文无监督学习语料】

LLAMA预训练：大模型的潜力与挑战

大模型之Bloom&LLAMA----SFT(模型微调)

MedicalGPT：基于LLaMA-13B的中英医疗问答模型（LoRA）、实现包括二次预训练、有监督微调、奖励建模、强化学习训练[LLM:含Ziya-LLaMA]。

大语言模型之十五-预训练和监督微调中文LLama-2

LLM预训练大型语言模型Pre-training large language models

650亿参数大模型预训练方案开源可商用，LLaMA训练加速38%

Rethinking ImageNet Pre-training 重新审视Imagenet预训练

预训练(pre-training/trained)与微调(fine-tuning)

LLMs领域适应的预训练Pre-training for domain adaptation

Llama 系列简介与 Llama3 预训练模型推理

预训练（Pre-training），人工智能领域的预训练是什么——AI教程

【LLM系列之GPT】GPT（Generative Pre-trained Transformer）生成式预训练模型

[大模型] 搭建llama主流大模型训练环境

深层网络的贪婪逐层预训练方法（greedy layer-wise pre-training）

【小样本基础】「MAML」 VS 「Model-Pre-training」MAML与预训练的区别

预训练+微调+Rethinking ImageNet Pre-training论文阅读笔记

【LLM系列之底座模型对比】LLaMA、Palm、GLM、BLOOM、GPT模型结构对比

PaddlePaddle预训练模型大合集

多模态预训练大模型~

大语言模型的持续预训练

预训练大模型与金融量化

时间序列+预训练大模型

AI大模型探索之路-训练篇15：大语言模型预训练之全量参数微调

训练自己的Llama 2！大模型微调技术介绍

使用LLaMA-Factory快速训练自己的专用大模型

LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具【预训练+指令监督微调+

轻松玩转开源大语言模型bloom（二）

今日推荐

周排行

深度学习电脑硬件配置

实验6：图的实验1 -图的邻接矩阵存储实现

Do带你解析:原生APP与web APP的区别

暑期刷题每日小结

Prometheus — Process-exporter进程监控

小程序引入阿里矢量图

关于js for循环的深层探究

Java线程池 - 每天五分钟搞定Java面试

vue-cli3安装

Java调用Restful方式之RestTemplate

每日归档

更多

2025-02-04(0)

2025-02-03(0)

2025-02-02(0)

2025-02-01(0)

2025-01-31(0)

2025-01-30(0)

2025-01-29(0)

2025-01-28(0)

2025-01-27(0)

2025-01-26(0)