Vidur: 大规模LLM推理模拟框架教程
项目地址: https://gitcode.com/gh_mirrors/vi/vidur 1. 项目介绍
Vidur 是一个高保真且可扩展的 LLM（大型语言模型）推理模拟器。它能够帮助用户进行以下操作：
- 容量规划：找到最适合您 LLM 部署的配置。
- 测试新研究想法：如新的调度算法、推测性解码等优化。
- 系统性能研究：在不同工作负载和配置下研究模型的系统性能。
Vidur 的主要优势在于，它可以在不需要 GPU 的情况下进行大部分模拟，仅在初始阶段需要进行快速性能分析。
2. 项目快速启动
2.1 环境准备
使用 mamba
mamba env create -p /env -f /environment.yml
mamba env update -f environment-dev.yml
使用 venv
python3.10 -m venv venv
source venv/bin/activate
python -m pip install -r requirements.txt
deactivate
使用 conda（不推荐）
conda env create -p /env -f /environment.yml
conda env update -f environment-dev.yml
2.2 运行模拟器
python -m vidur.main
或者使用所有参数的示例：
python -m vidur.main \
--replica_config_device a100 \
--replica_config_model_name meta-llama/Llama-2-7b-hf \
--cluster_config_num_replicas 1 \
--replica_config_tensor_parallel_size 1 \
--replica_config_num_pipeline_stages 1 \
--request_generator_config_type synthetic \
--length_generator_config_type trace \
--interval_generator_config_type static \
--trace_request_length_generator_config_max_tokens 4096 \
--trace_request_length_generator_config_trace_file /data/processed_traces/arxiv_summarization_stats_llama2_tokenizer_filtered_v2.csv \
--synthetic_request_generator_config_num_requests 128 \
--replica_scheduler_config_type vllm \
--vllm_scheduler_config_batch_size_cap 256 \
--vllm_scheduler_config_max_tokens_in_batch 4096
3. 应用案例和最佳实践
3.1 容量规划
通过 Vidur，用户可以在不同硬件配置下模拟 LLM 的推理性能，从而选择最佳的部署配置。例如，用户可以在不同的 GPU 类型（如 A100 和 H100）上模拟 Llama-2 模型的推理性能，以确定哪种配置能够提供最佳的性价比。
3.2 新研究测试
Vidur 支持用户测试新的调度算法和优化技术。例如，用户可以实现一个新的调度算法，并在 Vidur 中进行模拟，以评估其对系统性能的影响。
3.3 系统性能研究
用户可以通过 Vidur 模拟不同工作负载下的系统性能，从而优化系统的资源分配和调度策略。例如，用户可以模拟在高峰期和低谷期的系统性能，以优化资源的使用效率。
4. 典型生态项目
4.1 Microsoft GitHub Copilot
GitHub Copilot 是一个基于 AI 的代码补全工具，它使用了大规模的语言模型来提供代码建议。Vidur 可以用于模拟和优化 Copilot 在不同硬件配置下的推理性能。
4.2 OpenAI GPT-4
OpenAI 的 GPT-4 是一个强大的语言模型，Vidur 可以用于模拟和优化 GPT-4 在不同硬件配置下的推理性能，从而帮助用户选择最佳的部署方案。
4.3 Hugging Face Transformers
Hugging Face 的 Transformers 库提供了大量的预训练模型，Vidur 可以用于模拟这些模型在不同硬件配置下的推理性能，从而帮助用户选择最适合其应用场景的模型和硬件配置。
通过以上教程，用户可以快速上手 Vidur，并利用其强大的模拟功能进行 LLM 推理的优化和研究。