简介
紧接前文：
- 万字长文细说ChatGPT的前世今生
- Llama 2实战(上篇):本地部署(附代码)
上篇主要介绍Llama2的基本情况和基于官方模型实测Llama2在中英上的效果，包括单轮和多轮对话。今天这篇小作文作为Llama2的下篇，主要介绍如何用中文语料对Llama 2的基座模型(7B版)进行微调并实测微调后模型的效果。本文实验完整代码请找小编索取。后续将实战Code Llama感兴趣的小伙伴可以关注下！
数据准备
基座模型下载可以参考Llama 2实战(上篇):本地部署(附代码)中的模型下载部分。官方Repo: llama-recipes里面提到支持的默认数据格式有三种：grammar_dataset, alpaca_datasetand和samsum_dataset。为了节约时间，选择alpaca格式的中文SFT数据集，alpaca格式的数据示例如下：
[
{
"instruction": "根据给定的坐标确定最近的机场。",
"input": "40.728157, -73.794853",
"output": "距给定坐标最近的机场是纽约市的拉瓜迪亚机场 (LGA)。"
},
{
"instruction": "输出不同种类水果的列表",
"input": "",
"output": "1. 苹果\n2. 香蕉\n3. 橘子\n4. 芒果\n5. 草莓\n6. 葡萄\n7. 蓝莓\n8. 樱桃\n9. 猕猴桃\n10. 甜瓜\n11.菠萝\n12. 李子\n13.桃子"
},
{
"instruction": "找出字串中隐藏的信息",
"input": "业余咖啡",
"output": "隐藏的消息是“咖啡因爱好者”。"
}
]
本次实验具体选择的数据集是:GuanacoDataset/guanaco_non_chat-utf8.json。完成数据下载之后，将guanaco_non_chat-utf8.json放到 llama-recipes/ft_datasets目录下，并重命名为 alpaca_data.json。训练时将训练集指定为 alpaca_dataset即可，llama-recipes 将会自动找到这个文件。至此，SFT微调数据集准备完成。
中文微调
微调训练脚本使用llama_finetuning.py脚本，具体如下：
# 单机, 多卡
export CUDA_VISIBLE_DEVICES=1,2,3
torchrun --nnodes 1 --nproc_per_node 3 llama_finetuning.py \
--enable_fsdp \
--use_peft \
--peft_method lora \
--model_name /home/model_zoo/LLM/llama2/Llama-2-7b-hf/ \
--dataset alpaca_dataset \
--pure_bf16 \
--batch_size_training 50 \
--num_epochs 2 \
--output_dir /home/LLM/llama-recipes/PEFT/model
微调结束后，在/home/LLM/llama-recipes/PEFT/model生成adapter_config.json和adapter_model.bin文件，这就是微调后的参数结果。
模型inference
使用如下脚本加载微调后的模型进行inference：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2023/09/03 10:15
# @Author : 卖热干面的小女孩
# @File : inference_multi_gpus_one_node.py
# @联系方式 : 《微-心-公-众-号 <小窗幽记机器学习>》
import pdb
import torch
from transformers import LlamaForCausalLM, LlamaTokenizer
from transformers import GenerationConfig
from peft import PeftModel, PeftConfig
peft_model_id = "./PEFT/model/"
temperature = 0.0
max_new_tokens = 256
config = PeftConfig.from_pretrained(peft_model_id)
model = LlamaForCausalLM.from_pretrained(config.base_model_name_or_path)
model = PeftModel.from_pretrained(model, peft_model_id)
tokenizer = LlamaTokenizer.from_pretrained(config.base_model_name_or_path)
device = "cuda:2"
model = model.to(device)
model.eval()
# test_prompt = "### Instruction: \n你谁？ \n### Response:\n"
# test_prompt = "### Instruction: \n你叫做爱坤，擅长舞蹈、篮球、武术篮球、舞蹈篮球，喜欢Rap，能唱会跳，偶像是马保国？\n### Response:\n"
# test_prompt = "### Instruction: 根据以下信息，回答问题。爱坤的偶像是谁？直接给出答案即可，不要输出其他\n### Input: \n你叫做爱坤，擅长舞蹈、篮球、武术篮球、舞蹈篮球，喜欢Rap，能唱会跳，偶像是马保国？\n ### Response:\n"
# test_prompt = "### Instruction: 根据以下信息：<爱坤，擅长舞蹈、篮球、武术篮球、舞蹈篮球，喜欢Rap，能唱会跳，偶像是马保国？> 回答问题。爱坤的偶像是谁？直接给出答案即可。\n### Response:\n"
test_prompt = "### Instruction: 根据以下信息：<爱坤，擅长舞蹈、篮球、武术篮球、舞蹈篮球，喜欢Rap，能唱会跳，偶像是马保国？> 回答问题。爱坤崇拜谁？直接给出答案即可。\n### Response:\n"
inputs = tokenizer(test_prompt, return_tensors="pt")
model_input = tokenizer(test_prompt, return_tensors="pt").to(device)
input_ids = model_input["input_ids"].to(device)
generation_config = GenerationConfig(
temperature=temperature,
top_p=0.75,
top_k=40,
num_beams=4,
repetition_penalty=2.0
)
with torch.no_grad():
generation_output = model.generate(
input_ids=model_input['input_ids'],
generation_config=generation_config,
return_dict_in_generate=True,
output_scores=True,
max_new_tokens=max_new_tokens,
)
s = generation_output.sequences[0]
output = tokenizer.decode(s)
print("output=", output)
输出结果如下：
output= <s> ### Instruction: 根据以下信息：<爱坤，擅长舞蹈、篮球、武术篮球、舞蹈篮球，喜欢Rap，能唱会跳，偶像是马保国？> 回答问题。爱坤崇拜谁？直接给出答案即可。
### Response:
爱坤崇拜马保国</s>
可以看出，经过中文语料的简单微调，可以较好地支持中文问答。
模型部署
上述方式以脚本方式加载模型并做inference。那么如果想要向外提供服务，可以使用alpaca-lora提供的脚本部署Web服务。这里为了减缓模型的重复回复，添加了 repeatition penalty
CUDA_VISIBLE_DEVICES=1 python3 generate.py --base_model /home/model_zoo/LLM/llama2/Llama-2-7b-hf/ --lora_weights /home/Repository/LLM/llama-recipes/PEFT/model