本地部署deepseek -----基于ollama
一、下载ollama
后点击安装到某个位置即可
最终win+R输入命令行:cmd
回车再输入:
ollama -v
显示出版本号说明下载成功。
二、部署deepseek
根据自己显卡选择合适参数大小的模型进行部署:
下拉框选择版本,这里我选的1.5b,复制右侧命令:
ollama run deepseek-r1:1.5b
下载好之后随机提问:
退出显示并模型列表:
三、安装chatbox
找到官网chatbox官网:Install Windows(PC) | Chatbox (chatboxai.app)
安装包下载好之后点击安装(自己选好安装位置)
打开软件点击编辑 ‘Just Chat’
后设置API,选择Ollama API
后设置模型:(会自动弹出已下载好的模型,选择deepseek即可)
域名不用修改!!
最后点击保存即可。
PS:也可以下载自定义模型
不在Ollama上下载对应的模型也可以,直接在huggingface上搜索相关gguf文件即可:
下载好参数后复制到对应的文件夹位置,在命令行中切换到该位置下载,后续在chatbox上相同操作。
本人未尝试,后续可以自己查阅