本地部署Deepseek R1模型,搭建个人知识库

简介

DeepSeek R1是DeepSeek公司于2025年1月发布的一代推理模型,旨在提升模型的推理能力,探索大语言模型在没有任何监督数据的情况下发展推理能力的潜力。基于DeepSeek-V3-Base模型,采用专家混合(MoE)架构,总参数量为671B,其中单个token的激活参数量仅37B。

DeepSeek R1与OpenAI-o1 模型各项性能指标对比:

由于deepseek R1模型最近国内非常的火爆,免费开源,可本地部署使用,本教程教大家如何本地使用deep seek R1模型和Cherry Studio构建个人知识库。

准备工作

1.本地部署,通过Ollama下载模型

点击【Ollama】前往下载Ollama,有多个操作系统可选择下载,我这里下载Windows版本。

下载安装后,点击模型查看deepseek R1模型相关下载说明,根据自身硬件选择合适的阉割版。

下载命令:

# 1.5B Qwen DeepSeek R1
ollama run deepseek-r1:1.5b

# 7B Qwen DeepSeek R1
ollama run deepseek-r1:7b

# 8B Llama DeepSeek R1
ollama run deepseek-r1:8b

# 14B Qwen DeepSeek R1
ollama run deepseek-r1:14b

# 32B Qwen DeepSeek R1
ollama run deepseek-r1:32b

# 70B Llama DeepSeek R1
ollama run deepseek-r1:70b

win + R键打开终端,将下载命令复制到终端进行下载。

下载文本嵌入模型

在ollama搜索下载shaw/dmeta-embedding-zh文本嵌入模型。

同样在通过下载:

# 下载命令
ollama pull shaw/dmeta-embedding-zh

2.下载安装Cherry Studio

Cherry Studio ,一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。

部署本地知识库

1.模型设置

安装完成后,打开Cherry Studio,点击右下角进行设置,

2.添加知识库

添加新的知识库:

选择刚刚下载的文本嵌入模型:

添加文件,有多种类型文件。

测试

1.运行Ollama

win + R打开命令行,运行Ollama服务:

2.问答测试

参考链接

DeepSeek 官方文档

Cherry Studio官方说明文档

希望这篇博客对你有帮助!如果有其他问题,欢迎随时提问!

猜你喜欢

转载自blog.csdn.net/tzy0124wd/article/details/146139606
今日推荐