如何使用LoRA和PEFT微调 Mistral 7B 模型 - 代码天地

如何使用LoRA和PEFT微调 Mistral 7B 模型

业界资讯 2023-12-18 03:03:18 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/FrenzyTechAI/article/details/134067324

如何使用LoRA和PEFT微调 Mistral 7B 模型

Mistral 7B 大型语言模型 — 小而强大（比 LLAMA2 13B 更好！）探索 Mistral 7B LLM 独特的架构以及 GGLU(CPU) 和 GPU 版本无与伦比的性能

打起来了~ 最小SOTA模型：Mistral 7B，各方面碾压LLaMA2 13B和LLaMA1 34B

Mistral AI发布一个拥有 73 亿参数模型Mistral 7B

微软推出小模型 Phi-2，性能优于 Llama 2/Mistral 7B

微调 Llama-2 7B 模型以生成 Python 代码有关如何使用 PEFT、QLoRa 和 Huggingface 实用程序微调新 Llama-2 的演示

gemma 大模型（gemma 2B,gemma 7B）微调及基本使用

动手学习RAG: 大模型向量模型微调 intfloat/e5-mistral-7b-instruct

开源模型Mistral 7B+Amazon SageMaker部署指南

通用多模态工具LLaMA-Adapter，微调7B模型只用单GPU！

魔搭社区上线Mistral AI 首个开源 MoE 模型 Mixtral8x7B

超越边界：Mistral 7B挑战AI新标准，全面超越Llama 2 13B

Peft库使用技巧（一）：合并基座模型与Lora模型【使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型】

Mistral部署与使用

LLM：Vicuna 7B模型简单部署体验

Mistral AI发布行业领先的Mixtral 8x7B专家混合模型&完成4.15亿美元融资

Mistral AI 发布 73 亿参数模型，“碾压” Llama 2 13B

测评造假？Mistral首个多模态模型Pixtral 12B发布

AI大模型参数介绍中的5B、7B是何意？

LLM之RAG实战（一）：使用Mistral-7b, LangChain, ChromaDB搭建自己的WEB聊天界面

Mistral联合英伟达开源12B小模型：碾压Llama 3，单张4090可跑

【大模型】开源且可商用的大模型通义千问-7B（Qwen-7B）来了

足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼

Mistral Workflow Service for OpenStack 使用教程

不止是数据，RedPajama的模型也出来了，RedPajama 7B, 一个开源的高效LLM模型

CodeForces 7B

70 亿参数大语言模型 RedPajama 7B 完整版发布，开源可商用

截至目前最强的70亿参数大语言模型：开源可商用的RedPajam 7B完全版发布！

2023年的深度学习入门指南(26) - 在自己电脑上运行通义千问7b模型

使用 Elastic 和 Mistral 构建多语言 RAG（二）

今日推荐

周排行

java学习（19）图形用户界面（3）

[转帖]一本正经的八卦一下CPU的自主可控之二

各种语言实现Shellcode加载(暂时两种)

为什么当前大多数应用程序是多线程的，为什么要使用支持多线程的库

Consul：2:基本概念

KVM虚拟化与云计算Openstack的负载均衡-学习笔记3

高数-（01）函数与极限

python使用pymysql操作数据库

vue项目中，新增或编辑后返回列表页，数据不刷新问题

【白话python连载（7.2）】python的模块介绍

每日归档

更多

2024-12-30(0)

2024-12-29(0)

2024-12-28(0)

2024-12-27(0)

2024-12-26(0)

2024-12-25(0)

2024-12-24(0)

2024-12-23(0)

2024-12-22(0)

2024-12-21(0)