使用ollama一键本地部署DeepSeek-R1
一、ollama 介绍
Ollama 是一个开源的大型语言模型服务工具,旨在帮助用户快速在本地运行大模型。
仓库地址为:https://github.com/ollama/ollama
ollama 中支持的模型列表为 :https://ollama.com/library
ollama 中受欢迎的模型列表为
Model | Tag | Parameters | Size | Download |
---|---|---|---|---|
DeepSeek-R1 | - | 7B | 4.7GB | ollama run deepseek-r1 |
DeepSeek-R1 | - | 671B | 404GB | ollama run deepseek-r1:671b |
Llama 3.3 | - | 70B | 43GB | ollama run llama3.3 |
Llama 3.2 | - | 3B | 2.0GB | ollama run llama3.2 |
Llama 3.2 | - | 1B | 1.3GB | ollama run llama3.2:1b |
Llama 3.2 Vision | Vision | 11B | 7.9GB | ollama run llama3.2-vision |
Llama 3.2 Vision | Vision | 90B | 55GB | ollama run llama3.2-vision:90b |
Llama 3.1 | - | 8B | 4.7GB | ollama run llama3.1 |
Llama 3.1 | - | 405B | 231GB | ollama run llama3.1:405b |
Gemma 2 | - | 2B | 1.6GB | ollama run gemma2:2b |
Gemma 2 | - | 9B | 5.5GB | ollama run gemma2 |
Gemma 2 | - | 27B | 16GB | ollama run gemma2:27b |
mistral | - | 7b | 4.1GB | ollama run mistral:7b |
qwen | - | 110b | 63GB | ollama run qwen:110b |
Phi 4 | - | 14B | 9.1GB | ollama run phi4 |
codellama | Code | 70b | 39GB | ollama run codellama:70b |
qwen2 | - | 72b | 41GB | ollama run qwen2:72b |
llava | Vision | 7b | 4.7GB | ollama run llava:7b |
nomic-embed-text | Embedding | v1.5 | 274MB | ollama pull nomic-embed-text:v1.5 |
二、linux 系统下ollama 的安装与配置
2.1 下载ollama的二进制文件
(1)查询系统信息,命令为:
uname -m
(2)根据本机架构选择对应的安装包
x86_64 对应的架构为amd64。
下载链接为:https://ollama.com/download/ollama-linux-amd64.tgz
不同架构对应的代码查看链接为https://ollama.com/install.sh
ARCH=$(uname -m)
case "$ARCH" in
x86_64) ARCH="amd64" ;;
aarch64|arm64) ARCH="arm64" ;;
*) error "Unsupported architecture: $ARCH" ;;
esac
(3)将安装包解压到/usr/lib 目录
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
2.2 验证安装是否完成
ollama -h
输出如下:即表示安装成功
三、本地运行deepseek-R1 1.5B
3.1 在终端中开启 Ollama
命令为
ollama serve
3.2 下载deepseek-R1 1.5B 并运行
保持3.1 步骤中运行的"ollama serve" 窗口不变,重新开一个窗口,运行命令:
ollama run deepseek-r1:1.5b
该命令可以自动下载deepseek-r1:1.5b 模型,并且运行,运行结果截图如下:
![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=.%5Casset%5Cimage_17393478848433.png&pos_id=img-yLgramDS-1739348669968
四、遇到的问题
-
使用ollama -v 命令时,运行告警
$ ollama -v Warning: could not connect to a running Ollama instance Warning: client version is 0.5.7
解决:需要保证 命令”ollama serve“ 在后台运行。ollama serve命令后,重新开一个窗口进行查看