LLMs之Guanaco：《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读 - 代码天地

LLMs之Guanaco：《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读

企业开发 2023-07-11 17:39:25 阅读次数: 0

NoSuchKey

猜你喜欢

转载自blog.csdn.net/qq_41185868/article/details/131467314

LLMs之Guanaco：《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读

【论文精读】QLORA: Efficient Finetuning of Quantized LLMs

LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读

LLMs：《vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention》翻译与解读

LLMs之ChatGLM2：ChatGLM-Finetuning之源码解读(train.py文件)—解析命令→加载数据→模型训练(四种方式微调+DeepSpeed封装数据并行)+模型保存(定期输出lo

LLMs之Baichuan 2：《Baichuan 2: Open Large-scale Language Models》翻译与解读

LLMs之RAG：《RAFT: Adapting Language Model to Domain Specific RAG》翻译与解读

caffe学习实践之finetuning

QLoRA：一种高效LLMs微调方法，48G内存可调65B 模型，调优模型Guanaco 堪比Chatgpt的99.3%！

LLMs：《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》翻译与解读

LLMs：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读

LLMs之Vicuna：《Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality》翻译与解读

【大语言模型】ACL2024论文-01Quantized Side Tuning: Fast and Memory-Efficient Tuning of Quantized Large Langua

LLMs之ChatGLM2：ChatGLM-Finetuning(基于DeepSpeed)的简介、使用方法(四种微调方法(Freeze方法/Lora方法/P-Tuning方法/全量参数)+单卡/多卡训

LLMs之Efficient-LLMs-Survey：Efficient-LLMs-Survey(高效大型语言模型综述)的简介、代表性算法论文及其代码之详细攻略

LLMs：OpenAI 官方文档发布提高 GPT 使用效果指南—GPT最佳实践(GPT best practices)翻译与解读

LLMs之llama_7b_qlora：源代码解读export_hf_checkpoint.py(模型权重合并文件)将LORA模型的权重合并回原始模型的权重(hf_llama_model+llama_

NLP之LLMs：《Zeno Chatbot Report》的翻译与解读—CMU副教授详测七款个类ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Coher

LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具【预训练+指令监督微调+

LLMs之llama_7b_qlora：源代码解读inference_qlora.py(模型推理)使用LORA权重来初始化预训练的LLAMA模型来进行文本生成(基于用户交互输入的上下文生成新文本)

LLMs资源

使用QLoRA在自定义数据集上finetuning 大模型 LLAMA3 的数据比对分析

caffe finetuning实践

finetuning tensorflow实现

FINETUNING TORCHVISION MODELS

LLMs之llama_7b_qlora：源代码解读inference.py(基于合并后的权重文件进行模型推理)将基于之前合并Lora模型权重后的hl_llama_7b模型进行文本生成(基于用户交互输入

LangChain源码逐行解密之LLMs(三)

LangChain源码逐行解密之LLMs(二)

LangChain源码逐行解密之LLMs(一)

翻译: 工作使用ChatGPT的例子 Day-to-day usage of web UI LLMs

今日推荐

周排行

js一元操作符之递增递减操作符的前置型与后置型详解

直到世界灭亡依然对爱渴望——机器人总动员影评(摘自知乎)

第四周 scrapy爬虫框架

Codeforces Round #587 (Div. 3) B. Shooting(贪心)

康格拉图雷申斯

LeetCode--496--下一个更大元素I（java）

Java网络通信基础入门

人工智能与大数据的完美结合

Sqlit--学习教程（）

Eclipse 项目出现红色感叹号

每日归档

更多

2025-02-03(0)

2025-02-02(0)

2025-02-01(0)

2025-01-31(0)

2025-01-30(0)

2025-01-29(0)

2025-01-28(0)

2025-01-27(0)

2025-01-26(0)

2025-01-25(0)