一、部署环境准备

1.1 硬件要求

• ​最低配置：Windows 10/11 64位系统，8GB内存，20GB硬盘空间（可运行7B模型）
• ​推荐配置：16GB+内存，NVIDIA RTX 3060以上显卡，NVMe固态硬盘（支持70B模型）
• ​云部署方案：通过骋风算力平台租用GPU资源（如4x RTX 4090集群支持671B模型）

1.2 工具下载

工具名称	功能定位	下载地址
Ollama	模型引擎核心	ollama.com  3
AnythingLLM	可视化操作界面	anythingllm.com  3
聪明灵犀	中文优化插件	企业官网下载（需注册） 2
Chatbox	全平台交互客户端	chatboxai.app  6

---

二、Ollama核心部署流程

2.1 基础安装

1. ​Windows系统：双击OllamaSetup.exe完成安装
2. ​环境配置​（关键步骤）：

   bash

   # 设置模型存储路径（避免C盘爆满）
   setx OLLAMA_MODELS "D:\ollama\models"
   # 开放外部访问权限
   setx OLLAMA_HOST "0.0.0.0" [6](@ref)

3. ​验证安装：

   bash

   ollama -v  # 显示版本号即成功[6](@ref)

2.2 模型选择与下载

模型版本	适用场景	硬件需求	下载命令
1.5B	文本基础处理	4GB显存	ollama run deepseek-r1:1.5b 5
7B	通用场景	RTX 3070/4060	ollama run deepseek-r1:7b 3
32B	专业代码生成	双卡RTX 3090	ollama run deepseek-r1:32b 5
70B	复杂推理任务	4x RTX 4090	ollama run deepseek-r1:70b 5

下载技巧：按Ctrl+C中断后重新执行命令可续传

---

三、可视化界面搭建

3.1 AnythingLLM配置

1. 解压安装包后双击AnythingLLM.exe
2. 首次启动设置：
   • 选择Ollama引擎
   • 绑定deepseek-chat模型
   • 创建个性化工作区（如"智能办公助手"）
3. 中文优化：

   text

   设置 → 聊天设置 → 替换默认提示词模板
   示例模板：[你好，我是您的私人助理...][3](@ref)

3.2 浏览器插件部署

1. Edge浏览器安装Pageassist插件：
   • 开启开发者模式
   • 拖拽.crx文件完成安装
2. 配置模型接口：

   json

   {
     "api_endpoint": "http://localhost:11434",
     "default_model": "deepseek-r1:7b"
   } [5](@ref)

---

四、进阶开发方案

4.1 Python SDK集成

python

# 安装依赖库
pip install deepseek-sdk

# 初始化模型
from deepseek import DeepSeek
model = DeepSeek(
    model_path="deepseek-r1:7b",
    device="cuda"  # 使用GPU加速
)

# 执行推理
response = model.generate("解释量子计算原理", max_length=500)
print(response) [2](@ref)

4.2 私有知识库构建

1. 创建知识库目录：

   bash

   mkdir my_knowledge
   cp *.pdf my_knowledge/

2. 在AnythingLLM中：
   • 上传技术文档/行业报告
   • 启用语义检索功能
3. 测试查询：

   text

   /search 最新医疗器械法规

---

五、运维与优化

5.1 常见问题处理

故障现象	解决方案
模型下载卡顿	更换镜像源OLLAMA_MIRROR=cn 6
显存不足报错	添加--num-gpu-layers 20参数 8
API连接失败	检查防火墙11434端口开放 3
中文输出乱码	安装zh_CN语言包并重启服务 5

5.2 性能调优建议

1. ​量化压缩：

   bash

   ollama quantize deepseek-r1:7b -q q4_k_m [8](@ref)

2. ​批处理加速：

   python

   # 提升吞吐量
   model.set_batch_size(8)

3. ​内存优化：

   text

   在Modelfile添加：
   PARAMETER num_ctx 4096  # 扩展上下文长度[8](@ref)

---

六、安全合规指南

1. ​数据隔离：配置/etc/ollama/security.conf启用TLS加密
2. ​访问控制：

   bash

   # 创建用户组
   ollama user add admin -r superuser

3. ​审计日志：

   text

   监控/var/log/ollama/access.log
   设置自动清理策略[8](@ref)