Qwen-Audio 开源项目使用教程
项目地址: https://gitcode.com/gh_mirrors/qw/Qwen-Audio 1. 项目介绍
Qwen-Audio 是由阿里巴巴云提出的一个多模态大型音频语言模型。该项目接受多种音频（如人类语音、自然声音、音乐和歌曲）和文本作为输入，并输出文本。Qwen-Audio 的主要贡献包括：
- 基础音频模型：Qwen-Audio 是一个支持多种任务、语言和音频类型的多任务音频语言模型，作为通用音频理解模型。
- 多任务学习框架：通过多任务学习框架，Qwen-Audio 能够处理各种类型的音频，并避免数据集之间的干扰。
- 强大的性能：实验结果表明，Qwen-Audio 在多个基准任务上表现出色，无需特定任务的微调。
2. 项目快速启动
环境要求
- Python 3.8 及以上
- PyTorch 1.12 及以上（推荐 2.0 及以上）
- CUDA 11.4 及以上（适用于 GPU 用户）
- FFmpeg
安装依赖
pip install -r requirements.txt
使用示例
以下是使用 Qwen-Audio 进行推理的简单示例：
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
import torch
torch.manual_seed(1234)
# 加载 tokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-Audio-Chat", trust_remote_code=True)
# 使用 CUDA 设备
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-Audio-Chat", device_map="cuda", trust_remote_code=True).eval()
# 指定生成超参数（如果使用 transformers > 4.32.0 则不需要）
model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-Audio-Chat", trust_remote_code=True)
# 第一个对话轮次
query = tokenizer.from_list_format([
{'audio': 'assets/audio/1272-128104-0000.flac'}, # 本地路径或 URL
{'text': '请描述这段音频的内容。'}
])
response = model.generate(query)
print(response)
3. 应用案例和最佳实践
案例1：音频内容描述
Qwen-Audio 可以用于自动描述音频内容，适用于语音助手、音频标注等场景。
案例2：音频翻译
Qwen-Audio 支持语音到文本的翻译，适用于多语言会议记录、跨语言交流等场景。
最佳实践
- 数据预处理：确保音频数据格式正确，推荐使用 30 秒以内的音频片段。
- 模型调优：根据具体任务调整生成超参数，以获得最佳性能。
4. 典型生态项目
项目1：Qwen-Audio-Chat
Qwen-Audio-Chat 是基于 Qwen-Audio 的多模态 AI 助手，支持多轮对话和多种音频场景。
项目2：Qwen-Audio-Evaluation
Qwen-Audio-Evaluation 提供了评估 Qwen-Audio 性能的脚本，帮助用户了解模型在不同任务上的表现。
通过以上模块，您可以快速上手 Qwen-Audio 项目，并了解其在实际应用中的潜力。