如何在离线的电脑上部署一个本地Deepseek(使用ollama)

一、在可以联网的电脑上本地部署Deepseek

将 DeepSeek 部署到本地电脑,您可以按照以下步骤进行:

  1. 安装 Ollama:

    • Ollama 是一个开源的 AI 工具,支持在本地运行各种模型,包括 DeepSeek。您可以从 Ollama 的官方网站(https://ollama.com)下载适用于您操作系统的版本。如果您使用 Windows 系统,下载 Windows 版本并按照提示进行安装。

    在这里插入图片描述

  2. 下载 DeepSeek 模型:

    • 根据您的显卡显存大小,选择合适的模型版本。例如,如果您的显卡显存为 16GB,官方推荐使用 32b 大小的 DeepSeek 模型。在命令提示符(CMD)中运行以下命令以下载模型:

      ollama run deepseek-r1:32b
      

      此命令将自动下载并配置所选的 DeepSeek 模型。

    在这里插入图片描述

  3. 使用 Chatbox (或者Cherry Studio)搭建用户界面:

    • 为了获得更直观的操作体验,您可以使用开源的 Chatbox AI 工具。前往 Chatbox 官方网站(https://chatboxai.app/zh)或其 GitHub 页面,下载并安装适用于您的版本。安装完成后,打开 Chatbox,选择模型提供方为 “OLLAMA API”,然后选择您之前下载的 DeepSeek 模型(例如 deepseek-r1:32b)。设置完成后,您即可通过图形界面与 DeepSeek 进行交互。

    在这里插入图片描述

    在这里插入图片描述

通过以上步骤,您即可在离线环境下成功部署并使用本地版本的 DeepSeek。请根据您的硬件配置选择适合的模型版本,以获得最佳性能。

二、在不可以联网的电脑上本地部署Deepseek

有些电脑因为各种原因,不能进行联网。如果我们想要在一台不能联网的电脑上本地部署Deepseek,我们应该怎么做呢。

首先我们需要将ollama和chatbox的安装包,Deepseek模型文件通过U盘或者光盘的形式导入到这台不能联网的电脑上。

ollama和chatbox的安装包在官网下载即可。下面主要说一下怎么获得Deepseek模型文件。

在联网电脑中提取大模型gguf文件与Modelfile文件方法:

模型文件一般在C:\Users\Administrator\.ollama\models\blobs目录下

按照时间排序,找到最大的那个文件,就是gguf格式的模型,复制出来,改名为qwen2.5-coder0.5b.gguf

命令行执行形如ollama show qwen2.5-coder0.5b --modelfile的指令,可以得到模型的Modelfile文件内容,保存为Modelfile文件

猜你喜欢

转载自blog.csdn.net/qq_41854911/article/details/145521817