本地在ollama上部署deepseek或llama大模型

本地在ollama上部署deepseek或llama大模型

参考来源: 南京审计大学deepseek本地部署教程

一、下载Ollama

首先进入Ollama官网

链接: Ollama官网
在这里插入图片描述
下载后安装完成后进入终端界面

本地安装大模型

输入指令以下载llama3

ollama run llama3

输入指令以下载deepseek r1

ollama run deepseek-r1:14b

注意:这里的14b表示的是模型大小,我选择的是中等大小的模型,有较高配置电脑的朋友可以下载更高版本的32b、70b、671b,也可以选择下载V3,但V3只有671b的,对性能要求较高,如果是轻薄本的朋友,也可以选择更低版本的1.5b和7b

这边建议部署llama大模型,回复较快,性能要求较低

以后再次进入也可以输入上面的指令,或者输入

ollama list

以查看已经安装的大模型列表

在这里插入图片描述

deepseek本地部署界面
看到这样的界面后,就说明安装成功了,输入/?,会返回帮助的指令,也可以直接提问!

注意:大模型安装的位置默认在C盘

# 默认位置
C:\Users\HP\.ollama