Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问

DeepSeek本地部署指南，特别是在Linux服务器上部署并在Mac上实现远程Web-UI访问，可以按照以下步骤进行：

一、在Linux服务器上部署DeepSeek模型

1. 安装Ollama

   • 使用命令curl -sSfL https://ollama.com/install.sh | sh来安装Ollama。
   • 安装完成后，通过命令ollama --version验证Ollama是否安装成功。

2. 下载并启动DeepSeek模型

   • 使用命令ollama run deepseek-r1:32b下载并启动DeepSeek R1 32B模型。请注意，还有其他参数大小的模型可供选择，如7B、70B等，根据硬件资源选择适合的模型。例如，RTX4090显卡显存为24GB，32B模型在4-bit量化下约需22GB显存，适合该硬件，且32B模型在推理基准测试中表现优异，接近70B模型的推理能力，但对硬件资源需求更低。

二、配置Ollama服务以允许远程访问

1. 设置Ollama服务配置

   • 编辑/etc/systemd/system/ollama.service文件，添加或修改以下内容：

     复制代码

     	[Unit]
     	Description=Ollama Service
     	After=network-online.target
     	[Service]
     	ExecStart=/usr/local/bin/ollama serve
     	User=ollama
     	Group=ollama
     	Restart=always
     	RestartSec=3
     	Environment="OLLAMA_HOST=0.0.0.0"
     	Environment="PATH=/usr/local/cuda/bin:/your/custom/path/bin:/usr/sbin:/usr/bin:/sbin:/bin"
     	（注意：将/your/custom/path/bin替换为实际的PATH环境变量内容）
     	[Install]
     	WantedBy=default.target

2. 重新加载并重启Ollama服务

   • 使用命令sudo systemctl daemon-reload重新加载服务。
   • 使用命令sudo systemctl restart ollama重启Ollama服务。

3. 验证Ollama服务是否正常运行

   • 使用命令sudo netstat -tulpn | grep ollama验证Ollama服务是否正在监听所有网络接口。应看到类似tcp 0 0 0.0.0.0:11434 0.0.0.0:* LISTEN - ollama的输出，表明Ollama服务正在监听所有网络接口（0.0.0.0）的11434端口。

4. 配置防火墙以允许通过端口11434的流量

   • 使用命令sudo ufw allow 11434/tcp允许通过端口11434的流量。
   • 使用命令sudo ufw reload重新加载防火墙规则。
   • 使用命令sudo ufw status检查防火墙状态，确保端口11434已开放。

三、在Mac上实现远程Web-UI访问

1. 测试对Ollama服务的访问

   • 在Mac上打开终端，运行命令curl http://<Linux服务器IP>:11434/api/version以测试对Ollama服务的连接。应显示Ollama的版本号，表明连接成功。

2. 使用浏览器的Page Assist Web UI插件进行远程访问

   • 在Chrome或Firefox浏览器中添加Page Assist Web UI扩展程序。
   • 进入Page Assist Web UI的设置，填写Ollama URL为http://<Linux服务器IP>:11434，并保存。
   • 在RAG设置中选择部署好的DeepSeek模型并保存，即可随时实现远程访问和调用。

四、注意事项

1. 硬件资源：根据所选DeepSeek模型的参数大小，确保Linux服务器具有足够的硬件资源，如CPU、内存和显存。
2. 安全性：为了确保安全性，建议对Ollama服务进行访问控制，如使用HTTPS协议、设置防火墙规则等。
3. 数据备份：定期备份DeepSeek模型和Ollama服务的数据，以防数据丢失或损坏。
4. 故障排查：如果遇到任何问题，可以查阅Ollama和DeepSeek的官方文档或社区论坛进行故障排查和解决。

通过以上步骤，您可以在Linux服务器上成功部署DeepSeek模型，并在Mac上实现远程Web-UI访问。