本地部署deepseek -----基于ollama

本地部署deepseek -----基于ollama

一、下载ollama

Download Ollama on Windows

在这里插入图片描述

后点击安装到某个位置即可
请添加图片描述

最终win+R输入命令行:cmd

在这里插入图片描述

回车再输入:

ollama -v

在这里插入图片描述

显示出版本号说明下载成功。

二、部署deepseek

根据自己显卡选择合适参数大小的模型进行部署:

deepseek-r1 (ollama.com)

在这里插入图片描述

下拉框选择版本,这里我选的1.5b,复制右侧命令:

ollama run deepseek-r1:1.5b

在这里插入图片描述

下载好之后随机提问:

在这里插入图片描述

退出显示并模型列表:
在这里插入图片描述

三、安装chatbox

找到官网chatbox官网:Install Windows(PC) | Chatbox (chatboxai.app)
在这里插入图片描述

安装包下载好之后点击安装(自己选好安装位置)

打开软件点击编辑 ‘Just Chat’
在这里插入图片描述

后设置API,选择Ollama API

在这里插入图片描述

后设置模型:(会自动弹出已下载好的模型,选择deepseek即可)

在这里插入图片描述

域名不用修改!!

最后点击保存即可。

在这里插入图片描述

PS:也可以下载自定义模型

不在Ollama上下载对应的模型也可以,直接在huggingface上搜索相关gguf文件即可:

Models - Hugging Face

在这里插入图片描述

下载好参数后复制到对应的文件夹位置,在命令行中切换到该位置下载,后续在chatbox上相同操作。

本人未尝试,后续可以自己查阅