虽然 Meta 的 Llama2 在 AI 领域引起了广泛关注，但 34b 模型却缺席了相当长一段时间。对于许多人来说，这个 34b 模型是运行本地 LLM 的理想选择，因为它与使用 4 位量化的单个 4090 GPU 兼容。我一直在热切地等待 Meta 发布这个特定的模型。幸运的是，Meta 最近推出了 CodeLlama，这是一个针对编码相关任务训练的专门模型。然而，根据他们的论文，由于原始 Llama2 模型是在 2t 个令牌上训练的，因此它在原始 Llama2 的 34b 个令牌上额外训练了 500b 个令牌。Codellama 仅在训练期间添加了额外的 500b 令牌，并且从概念上讲将针对各种下游领域进行进一步微调。
在这篇博文中，我将引导您完成微调 CodeLlama 34B 模型的完整过程。培训结束后，我将指导您如何量化模型并使用 Huggingface 的文本生成推理框架进行部署。
QLora 代码Llama 34B
合并适配器
完成微调过程后，最好将适配器合并回基本模型。由于涉及额外的参数和计算，直接在适配器上运行推理可能会导致性能降低。
您可以使用以下脚本在CPU上合并适配器以避免OOM： https: //gist.github.com/mzbac/16b0f4289059d18b8ed34345ae1ab168
python merge_peft_adapters.py - device cpu - base_model_name_or_path codellama/CodeLlama-34b-hf - peft_model_path ./results_new/final_checkpoint - output_dir ./merged_models/
量化
在当地的法学硕士社区