在人工智能飞速发展的今天，大语言模型的应用越来越广泛。DeepSeek 作为一款强大的大语言模型，具备出色的语言理解和生成能力。然而，许多用户希望能够在本地部署 DeepSeek，以实现更高的隐私性、更低的延迟和更好的定制化。本文将为你详细介绍 DeepSeek 本地部署的全过程，帮助你轻松在本地环境中使用 DeepSeek。
一、硬件要求
DeepSeek 不同参数版本介绍：
| 模型参数规模 | 典型用途 | CPU 建议 | GPU 建议 | 内存建议 (RAM) | 磁盘空间建议 | 适用场景 |
|---|---|---|---|---|---|---|
| 1.5b (15亿) | 小型推理、轻量级任务 | 4核以上 (Intel i5 / AMD Ryzen 5) | 可选，入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存) | 8GB | 10GB 以上 SSD | 小型 NLP 任务、文本生成、简单分类 |
| 7b (70亿) | 中等推理、通用任务 | 6核以上 (Intel i7 / AMD Ryzen 7) | 中端 GPU (如 NVIDIA RTX 3060, 12GB 显存) | 16GB | 20GB 以上 SSD | 中等规模 NLP、对话系统、文本分析 |
| 14b (140亿) | 中大型推理、复杂任务 | 8核以上 (Intel i9 / AMD Ryzen 9) | 高端 GPU (如 NVIDIA RTX 3090, 24GB 显存) | 32GB | 50GB 以上 SSD | 复杂 NLP、多轮对话、知识问答 |
| 32b (320亿) | 大型推理、高性能任务 | 12核以上 (Intel Xeon / AMD Threadripper) | 高性能 GPU (如 NVIDIA A100, 40GB 显存) | 64GB | 100GB 以上 SSD | 大规模 NLP、多模态任务、研究用途 |
| 70b (700亿) | 超大规模推理、研究任务 | 16核以上 (服务器级 CPU) | 多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存) | 128GB | 200GB 以上 SSD | 超大规模模型、研究、企业级应用 |
| 671b (6710亿) | 超大规模训练、企业级任务 | 服务器级 CPU (如 AMD EPYC / Intel Xeon) | 多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存) | 256GB 或更高 | 1TB 以上 NVMe SSD | 超大规模训练、企业级 AI 平台 |
根据你本地电脑的配置选择合适的版本，在如下示例中，我们将选用 1.5b这个版本。
二、本地部署步骤
1. 安装 Ollama 框架
Ollama 是一个可以在本地轻松运行大语言模型的工具，它简化了模型的下载、部署和使用过程，让开发者和普通用户能够更便捷地在本地使用各类大语言模型。
Ollama 支持多种操作系统，如 macOS、Linux 和 Windows。用户可以根据自己的系统类型，从官方网站或相关的软件仓库下载安装包，按照安装向导的提示进行安装。
对于Linux操作系统，可使用如下命令进行安装，其他操作系统，请参考Ollama官网