三步教你在linux上本地部署DeepSeek-R1

一、前言: 本地配置说明

根据配置和需求部署相应规模的DeepSeek-R1

DeepSeek-R1系列模型的详细配置和适用场景总结：

模型规模	参数量	FP16显存需求	最低显卡配置	CPU最低配置	特点	适用场景
DeepSeek-R1-1.5B	1.5B	3GB	RTX 3050（或无需显卡，推理会慢些）	4核处理器、8G内存	轻量级模型，参数量少，模型规模小	适用于轻量级任务，如短文本生成、基础问答等
DeepSeek-R1-7B	7B	14GB	RTX 3090	8核处理器、16G内存，Ryzen7或更高	平衡型模型，性能较好，硬件需求适中	适合中等复杂度任务，如文案撰写、表格处理、统计分析等
DeepSeek-R1-14B	14B	28GB	A6000	i9-13900K或更高、32G内存	高性能模型，擅长复杂的任务，如数学推理、代码生成	可处理复杂任务，如长文本生成、数据分析等
DeepSeek-R1-32B	32B	64GB	2×A100-40G	Xeon 8核、128GB内存或更高	专业级模型，性能强大，适合高精度任务	适合超大规模任务，如语言建模、大规模训练、金融预测等
DeepSeek-R1-70B	70B	140GB	4×A100/H100-80G	Xeon 8核、128GB内存或更高	顶级模型，性能最强，适合大规模计算和高复杂任务	适合高精度专业领域任务，比如多模态任务预处理
DeepSeek-R1-671B	671B	512GB	8×A100/H100-80G	64核、512GB或更高	超大规模模型，性能卓越，推理速度快，适合极高精度需求	适合国家级 / 超大规模 AI 研究，如气候建模等，以及通用人工智能探索

关键点总结

1. 模型规模与参数量：从1.5B到671B，参数量逐渐增加，模型复杂度也随之提升。
2. 显存需求：FP16显存需求从3GB到512GB不等，显存需求与模型规模成正比。
3. 硬件配置：
   • 显卡：从RTX 3050到8×A100/H100-80G，显卡性能需求随模型规模增加而显著提升。
   • CPU：从4核处理器到64核处理器，CPU性能需求也随模型规模增加而提升。
4. 特点：
   • 轻量级模型适合简单任务，顶级模型适合高精度、高复杂度任务。
   • 超大规模模型（如671B）适合国家级或超大规模AI研究。
5. 适用场景：
   • 轻量级模型适用于基础任务，如短文本生成、基础问答。
   • 中大型模型适用于中等复杂度任务，如文案撰写、表格处理、统计分析。
   • 顶级模型适用于高精度专业领域任务，如多模态任务预处理、国家级AI研究等。

根据任务需求和硬件条件，选择合适的模型可以最大化效率和性能。

二、正式开始部署

这里基于Xinference框架部署
Xinference：是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。
参考：https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html

2.1 第一步：安装conda环境

1. linux命令行界面下载miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2. 安装miniconda

sh Miniconda3-latest-Linux-x86_64.sh

3. 验证是否成功安装

conda --version

2.2 第二步：安装指定Xinference依赖

1. 创建conda环境

conda create -n xinference python=3.11

2. 激活conda环境

conda activate xinference

3. 安装DeepSeek所需要的Xinference依赖

pip install "xinference[vllm]"

注：conda命令详解传统门，您需要可点击跳转

2.3 第三步：直接启动

1. 在环境中输入：xinference-local --host 0.0.0.0 --port 9997
   

2. 在浏览器中输入：http://127.0.0.0:9997/
   其中127.0.0.0是你的服务器的ip地址，注意替换

3. 选择DeepSeek模型
   

4. 启动DeepSeek模型
   
   注意：max_model_len设置，图中标明，这里强调一下，如果跟我一样的配置，可以这样设置，不然就先不管，根据报错信息设置最大值，如果问题，可以留言讨论。

5. 进入DeepSeek界面

等待片刻，如果启动成功后，应该是这样的

点击后进入页面：

如此，大功告成~ Enjoy

三、总结

最后我们再总结一下拢共哪三步：

1. 创建conda环境
2. 安装Xinference所依赖的环境
3. 页面上配置并部署DeepSeek

好了，如此完成本地部署DeepSeek-R1，是不是很简单，如果还有疑问，或者其他有关DeepSeek的问题，欢迎留言讨论，这里是ThomasCTR，我们下篇文章见~

欢迎关注ThomasCai

$$Onepersongofaster,agroupofpeoplecangofurther$$