通过调整 70k 指令跟踪数据，Lion (7B) 可以实现 ChatGPT 95% 的能力！
消息
我们目前正在致力于训练更大尺寸的版本（如果可行的话，13B、33B 和 65B）。感谢您的耐心等待。
- **[2023年6月10日]**我们发布了微调过程中解决OOM的说明，请在训练过程中查看。
- **[2023年5月26日]**我们发布了模型权重。看看7B型号！
- **[2023年5月25日]**我们发布了在线演示，在这里尝试我们的模型！
- **[2023年5月23日]**我们发布了训练和推理的代码。
内容
文章目录
概述
我们的对抗性蒸馏框架的高级概述，其中我们基于高级闭源 LLM 制作了一个紧凑的学生 LLM，该 LLM 服务于三个角色：教师**、裁判员和生成器**。从左到右，迭代分为三个阶段：
- 模仿阶段*，*使学生的反应与教师的反应保持一致；
- 识别硬样本的辨别阶段；
- 生成阶段，用于生成新的硬样本*，*以升级向学生模型提出的挑战。
在线演示
我们将提供最新型号供您尽可能长时间地试用。您可以向 Lion 提出一些问题，我们很高兴听到您的反馈！
演示链接（72小时后过期，因此我们会定期更新链接）
由于训练数据是英文指令示例，因此您最好用英文提问。然而，我们发现Lion在一定程度上也能理解其他语言的指令。请看下面的案例：
恢复Lion权重
我们将 Lion 权重发布为增量权重，以符合 LLaMA 模型许可证。
您可以将我们的增量添加到原始 LLaMA 权重中以获得 Lion 权重。指示：
- 按照此处的说明获取 Huggingface 格式的原始 LLaMA 权重
- 请从Hugging Face下载我们的 Delta 模型
- 使用以下脚本通过应用我们的增量来获取 Lion 权重：
python src/weight_diff.py recover --path_raw huggyllama/llama-7b --path_diff YuxinJiang/Lion --path_tuned <path_to_store_recovered_weights>
推理
对于Lion的推理和训练，请首先安装要求：
pip install -r requirements.txt
我们为Lion提供了解码脚本，它读取输入文件并为每个样本生成相应的响应，最后将它们合并到输出文件中。它可以在具有 16GB GPU 的单台机器上运行。
python src/lion_inference.py \
--model_dir <path_to_hf_converted_lion_ckpt_and_tokenizer> \
--data_dir <path_to_input_json_file> \
--output_dir <path_to_output_json_file> \
--num_gpus 1
培训流程
下面显示了我们的对抗性蒸馏框架的一种迭代。
1、模仿阶段
1.1 获取老师对Train Pool的回复
python src/chatgpt_inference.py \
-q <path_to_json_file_for_the_Train_Pool> \
-o <path_to_chatgpt_inference_for_the_Train_Pool> \
--api_key <your_openai_api_key>
1.2 根据教师对训练池的反应对学生进行指令调整
微调是在具有 8 个 A100 80G GPU 的机器上进行的。
torchrun --nproc_per_node=8 --master_port=<your_random_port> src/train.py \
--model_name_or_path <path_to_hf_converted_ckpt_and_tokenizer> \
--data_path <path_to_chatgpt_inference_for_the_Train_Pool> \
--bf16 True \
--output_dir result \
--num_train_epochs 3 \
--model_max_length 1024 \
--per_device_train_batch_size 2 \
--per_device_eval_batch_size 2 \
--gradient_accumulation_steps 8 \
--evaluation_strategy "no" \
--save_strategy "steps" \
--save_steps 500 \
--save_total_limit 1 \
--learning_rate 2e-5 \
--weight_decay 0. \
--warmup_ratio 0.03 \
--lr_scheduler_type "cosine" \
--logging_steps 1 \
--fsdp "full_shard auto_wrap" \
--fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
--tf32 True
解决 OOM
简单来说，微调 7B 模型需要大约 7 x 8 x 2 = 112 GB 的 VRAM。上面给出的命令启用参数分片，因此任何 GPU 上都不会存储冗余模型副本。如果您想进一步减少内存占用，可以选择以下一些选项：
-
打开 FSDP 的 CPU 卸载
--fsdp "full_shard auto_wrap offload"。这可以节省 VRAM，但代价是运行时间更长。 -
根据我们的经验，DeepSpeed stage-3（带卸载）有时比带卸载的 FSDP 具有更高的内存效率。以下是使用具有 8 个 GPU 的 DeepSpeed stage-3 以及参数和优化器卸载的示例：
deepspeed src/train_deepspeed.py \ --model_name_or_path <path_to_hf_converted_ckpt_and_tokenizer> \ --data_path <path_to_chatgpt_inference_for_the_Train_Pool> \ --output_dir result \ --num_train_epochs 3 \ --model_max_length 1024 \ --per_device_train_batch_size 16 \ --per_device_eval_batch_size 1 \ --gradient_accumulation_steps 1 \ --evaluation_strategy "no" \ --save_strategy "steps" \ --save_steps 600 \ --save_total_limit 1 \ --learning_rate 2e-5 \ --warmup_ratio 0.03 \ --logging_steps 1 \ --lr_scheduler_type "cosine" \ --report_to "tensorboard" \ --gradient_checkpointing True \ --deepspeed srcs/configs/deepspeed_config.json \ --fp16 True- DeepSpeed 库还提供了一些有用的函数来估计内存使用情况。
-
LoRA微调查询、键和值嵌入头的低秩切片。这可以将总内存占用量从 112GB 减少到大约 7x4=28GB。我们将来可能会发布对此的重新实现，但目前peft代码库可能是一个有用的资源。
2. 歧视阶段
2.1 获取老师对Cache Pool的响应
python src/chatgpt_inference.py \
-q <path_to_json_file_for_the_Cache_Pool> \
-o <path_to_chatgpt_inference_for_the_Cache_Pool> \
--api_key <your_openai_api_key>
2.2 获取学生对缓存池的回答
python src/lion_inference.py \
--model_dir <path_to_hf_converted_lion_ckpt_and_tokenizer> \
--data_dir <path_to_json_file_for_the_Cache_Pool> \
--output_dir <path_to_lion_inference_for_the_Cache_Pool> \
--num_gpus 8
2.3 要求裁判根据老师和学生的回答质量输出两个分数
python src/chatgpt_referee.py \
-a <path_to_chatgpt_inference_for_the_Cache_Pool> <path_to_lion_inference_for_the_Cache_Pool> \
-o <path_to_output_review_file> \
--api_key <your_openai_api_key>
2.4 区分硬指令和简单指令
python src/discrimination.py \
--review_path <path_to_output_review_file> \
--chatgpt_inference_path <path_to_chatgpt_inference_for_the_Cache_Pool> \
--lion_inference_path <path_to_lion_inference_for_the_Cache_Pool> \
--hard_save_path <path_to_identified_hard_instructions> \
--easy_save_path <path_to_identified_easy_instructions>
3. 生成阶段
3.1 生成新的硬指令
python -m src/generate_hard_instruction generate_instruction_following_data \
--seed_tasks_path <path_to_identified_hard_instructions> \
--output_dir <path_to_generated_hard_instructions> \
--num_instructions_to_generate 3000 \
--api_key <your_openai_api_key>
3.2 生成新的简单指令
python -m src/generate_easy_instruction generate_instruction_following_data \
--seed_tasks_path <path_to_identified_easy_instructions> \
--output_dir <path_to_generated_easy_instructions> \
--num_instructions_to_generate 3000 \
--api_key <your_openai_api_key>
评估
使用 GPT-4 自动评估
我们利用 GPT-4 自动评估两个模型在 80 个未见过的Vicuna 指令上的响应质量（分数从 1 到 10）。ChatGPT 已被选为参考模型来评估不同法学硕士的相对能力。相对分数以百分比形式报告，计算为分数总和的比率。
相对整体响应质量：
不同任务类别的相对响应质量：
具有对齐标准的人类评估
我们采用 Askel 等人提出的对齐标准。（2021），其中定义如果助理具有乐于助人、诚实和无害（HHH）的特点，则被认为是一致的。我们对 252 个UserOriented-Instructions进行了人工评估。为了估计获胜率，我们比较了下面每对模型之间获胜、平局和失败的频率。
引文
如果您使用此存储库中的代码，请引用我们的论文。
@article{DBLP:journals/corr/abs-2305-12870,
author = {Yuxin Jiang and
Chunkit Chan and
Mingyang Chen and
Wei Wang},
title = {Lion: Adversarial Distillation of Closed-Source Large Language Model},
journal = {CoRR},
volume = {abs/2305.12870},
year = {2023},
url = {https://doi.org/10.48550/arXiv.2305.12870},
doi = {10.48550/arXiv.2305.12870},
eprinttype = {arXiv},
eprint = {2305.12870},
timestamp = {Fri, 26 May 2023 11:29:33 +0200},
biburl = {https://dblp.org/rec/journals/corr/abs-2305-12870.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}
免责声明
Xiv},
eprint = {2305.12870},
timestamp = {Fri, 26 May 2023 11:29:33 +0200},
biburl = {https://dblp.org/rec/journals/corr/abs-2305-12870.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}
## 免责声明
⚠️Lion**仅供研究使用**并获得许可。**严禁**商业用途。任何版本的Lion生成的内容都会受到随机性等不可控变量的影响，因此本项目无法保证输出的准确性。本项目对模型输出的内容不承担任何法律责任，也不承担因使用相关资源和输出结果而产生的任何损失。