一、在可以联网的电脑上本地部署Deepseek
将 DeepSeek 部署到本地电脑,您可以按照以下步骤进行:
-
安装 Ollama:
- Ollama 是一个开源的 AI 工具,支持在本地运行各种模型,包括 DeepSeek。您可以从 Ollama 的官方网站(https://ollama.com)下载适用于您操作系统的版本。如果您使用 Windows 系统,下载 Windows 版本并按照提示进行安装。
-
下载 DeepSeek 模型:
-
根据您的显卡显存大小,选择合适的模型版本。例如,如果您的显卡显存为 16GB,官方推荐使用 32b 大小的 DeepSeek 模型。在命令提示符(CMD)中运行以下命令以下载模型:
ollama run deepseek-r1:32b
此命令将自动下载并配置所选的 DeepSeek 模型。
-
-
使用 Chatbox (或者Cherry Studio)搭建用户界面:
- 为了获得更直观的操作体验,您可以使用开源的 Chatbox AI 工具。前往 Chatbox 官方网站(https://chatboxai.app/zh)或其 GitHub 页面,下载并安装适用于您的版本。安装完成后,打开 Chatbox,选择模型提供方为 “OLLAMA API”,然后选择您之前下载的 DeepSeek 模型(例如 deepseek-r1:32b)。设置完成后,您即可通过图形界面与 DeepSeek 进行交互。
通过以上步骤,您即可在离线环境下成功部署并使用本地版本的 DeepSeek。请根据您的硬件配置选择适合的模型版本,以获得最佳性能。
二、在不可以联网的电脑上本地部署Deepseek
有些电脑因为各种原因,不能进行联网。如果我们想要在一台不能联网的电脑上本地部署Deepseek,我们应该怎么做呢。
首先我们需要将ollama和chatbox的安装包,Deepseek模型文件通过U盘或者光盘的形式导入到这台不能联网的电脑上。
ollama和chatbox的安装包在官网下载即可。下面主要说一下怎么获得Deepseek模型文件。
在联网电脑中提取大模型gguf文件与Modelfile文件方法:
模型文件一般在C:\Users\Administrator\.ollama\models\blobs
目录下
按照时间排序,找到最大的那个文件,就是gguf格式的模型,复制出来,改名为qwen2.5-coder0.5b.gguf
命令行执行形如ollama show qwen2.5-coder0.5b --modelfile
的指令,可以得到模型的Modelfile
文件内容,保存为Modelfile
文件