Qwen2.5VL环境搭建
最近DeepSeek很火,但是在资源上DeepSeekV3接近400G,V2也要200G,这样的运算资源对于我们这种创业小公司还是比较奢侈的。之前公司做过Qwen2Vl,最近Qwen2.5 发布了。所以,进行的2.5版本的搭建与产品应用。
一、系统环境:
实验机器硬件环境如下:
--------系统信息 :Microsoft Windows 11 专业版 (64 位) 版本:10.0.22631.4890
--------中央处理器 :英特尔Core i5-8400 CPU 2.80GHz
--------主板 :微星 B360M PRO-VDH (MS-7B24)(Intel Coffee Lake)
--------内存 :32G
--------显卡 :TeslaP100-16G
--------硬盘 :机械硬盘2T,SSD 480G
二、基础环境搭建:
Anaconda3 是一个用于 数据科学、机器学习 和 科学计算 的 Python 发行版,包含了 Python 解释器、包管理工具(conda) 以及大量预装的 数据科学库(如 NumPy、Pandas、Matplotlib、Scikit-learn、TensorFlow 等)。并且在开发环境的隔离管理很方便,对于实验验证开发与环境搭建很重要。
Anaconda3-2024.10-1-Windows-x86_64.exe 安装
【行为】双击程序运行:
点击 “是”开始安装:
存储位置改为 D 盘【不占用C盘存储空间】:
程序开始安装:
安装完成:
确认后,进入初始页面:
此时Anaconda安装完成。下面进行虚拟的python环境搭建。
三、虚拟环境搭建:
打开 Anaconda Powershell Prompt 如图所示:(打开脚本命令行)
输入命令: conda -V
执行命令【创建虚拟环境】 :conda create -n qwen_vl python=3.10
执行命令【激活环境】:conda activate qwen_vl
四、运行环境与搭建命令执行:
执行命令【安装依赖】:conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
安装依赖包(过程):
执行命令【安装 transformer】:pip install git+https://github.com/huggingface/transformers accelerate
执行命令后,脚本显示:
直至提示成功安装
执行命令【安装工具包】:pip install "qwen-vl-utils[decord]==0.0.8"
安装完成:
执行命令【安装gradio】:pip install gradio
备注:Gradio 是一个用于快速构建 Web UI 以展示机器学习模型、API 或 Python 代码的 Python 库。它允许开发者 用几行代码 创建交互式界面,而无需深入了解前端开发。
安装完成
下载模型到本地:(请提前安装 git)
git clone https://hf-mirror.com/Qwen/Qwen2.5-VL-7B-Instruct
五、 运行脚本启动服务:
启动脚本:pytho qwen25vl.py
脚本的运行放置目录如下:
脚本压缩包我已经上传:https://download.csdn.net/download/m0_59806124/90472174?spm=1001.2014.3001.5503
解压到相同目录下运行。
五、运行脚本启动服务
进入到脚本目录下:D:\workspace\qwen_vl
启动脚本:python .\qwen25vl.py
启动成功,进入链接
打开网页:
代码中,加入了bat脚本,环境一直的话,双击可以直接启动。