DeepSeek R1+RAG 构建本地AI知识库

DeepSeek R1+RAG 构建本地AI知识库

一,总体方案

本章内容我参考了另外一个文章,前面的介绍内容保持一致,本文主要目的是全面梳理实操过程中的每一个关键步骤,深度剖析所遭遇的各类问题,并在此基础上提出切实可行的优化策略与拓展方向。

目前在使用 DeepSeek 在线环境时,页面经常显示“服务器繁忙,请稍后再试”,以 DeepSeek R1 现在的火爆程度,这个状况可能还会持续一段时间,所以这里给大家提供了 DeepSeek R1 +RAG 的本地部署方案。最后实现的效果是,结合本地部署的三个开源工具,包括 1Panel、Ollama、MaxKB,可以快速搭建一个本地知识库。以下总体方案及说明如下:

在这里插入图片描述
首先基于 GPU 服务器承载 DeepSeek-R1 大模型,其次基于 1Panel 新一代的 Linux 开源运维管理面板完成 MaxKB 和 Ollama 的安装运维管理,最后通过 Ollama 安装管理 DeepSeek-R1 模型,最后再通过 MaxKB 完成本地知识库的搭建,让企业快速构建本地 AI 知识库。

1.1 DeepSeek

DeepSeek是杭州深度求索公司开源出来的AI大模型,在一些典型的应用场景,比如智能对话、文本生成、计算推理、代码生成等场景,表现都非常不错。它有两款大模型,目前在全球都很受关注,分别是 DeepSeek-V3 和 DeepSeek-R1 两个大版本。DeepSeek 在综合能力方面,跟国外 OpenAI o1 版本大模型的性能,基本不相上下。不管是训练成本,还有使用成本,都远低于国外同类型的大模型,可以说是好用又便宜。DeepSeek 在线对话,提供深度思考和联网搜索两种模式
大家可以访问 DeepSeek 官网体验对话效果,官网地址: https://www.deepseek.com/ 或者 https://ai.com/

1.2 RAG

RAG 是 “Retrieval-Augmented Generation” 的缩写,中文可以翻译为“检索增强生成”。这是一种结合了检索(Retrieval)和生成(Generation)的自然语言处理技术,用于提高语言模型在特定任务上的性能和准确性。在加上一个数据向量和索引的工作,我们对 RAG 就可以总概方式地理解为“ 索引、检索和生成 ”。
在这里插入图片描述
检索(Retrieval):在这个阶段,模型会从预先构建的大规模数据集中检索出与当前任务最相关的信息。这些数据集可以是文档、网页、知识库等。

生成(Generation):在检索到相关信息后,模型会使用这些信息来生成答案或完成特定的语言任务。这个阶段通常涉及到序列生成技术,如基于 Transformer 的模型。
在这里插入图片描述
创建索引:将输入的文档切割成不同的数据块,进行向量化处理后,存储到向量数据库,并创建索引。

向量检索:将用户的提问信息向量化,再到向量数据库进行搜索,根据向量相似度的算法,寻找相关性最强的文档片段。

二 ,安装步骤

1,服务器环境搭建

请参考前面两个文章 :
Windows安装 WSL2、Ubuntu 、docker
操作至docker安装成功,当然也可以使用vmware workstation 搭建linux系统。
在这里插入图片描述
除此之外还要做一些支持GPU的相关设置
参考 https://blog.csdn.net/hugejiletuhugejiltu/article/details/145612624?spm=1011.2124.3001.6209
按文中的open webui 的GPU相关步骤操作即可。
在这里插入图片描述

2,安装 1Panel

新一代的 Linux 服务器运维管理面板:通过 Web 图形界面轻松管理 Linux 服务器,实现主机监控、文件管理、数据库管理、容器管理等功能。
官方网址:https://1panel.cn/
下载地址:https://1panel.cn/docs/installation/online_installation/

首先打开官网拷贝安装命令
在这里插入图片描述

# 我的系统版本是ubuntu 
#在命令行执行
curl -sSL https://resource.fit2cloud.com/1panel/package/quick_start.sh -o quick_start.sh && sudo bash quick_start.sh

在这里插入图片描述
在这里插入图片描述
接下来根据提示设置回车即可,安装完成如下图:
在这里插入图片描述
浏览器输入上面的地址:登录后如图:
在这里插入图片描述

3, 安装 Ollama

Ollama:LLM(大型语言模型)服务管理工具
Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Llama 3、DeepSeek、Qwen、Gemma 等开源的大型语言模型。
官网地址: https://ollama.com/

1,1panel的应用商店中安装 ollama
在这里插入图片描述
选择端口外部访问 ,GPU加速 (没有显卡的不要勾选) 安装成功如下图:
在这里插入图片描述
在这里插入图片描述
2,确认ollama 容器正常使用GPU (点击容器后面的 ‘日志’ 查看) 看到如下内容则支持
在这里插入图片描述
3,ollama 提前下载 deepseek-r1:7b 大模型的安装包到本地,方便后续在 MaxKB 页面可以快速对接deepseek-r1:7b 大模型在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
命令行处输入

 ollama pull deepseek-r1:7b

在这里插入图片描述

4,MaxKB安装

基于大语言模型和 RAG 的开源知识库问答系统
MaxKB = Max Knowledge Base,是一款基于大语言模型和 RAG 的开源知识库问答系统,广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。
结合 RAG 技术架构,其主要有三部分组成,分别是数据索引,数据检索和数据生成。
对于 MaxKB 来说,数据索引的过程,基本是直接由 MaxKB 服务后台完成。当用户在 MaxKB 知识库页面,上传文档后,文档被分割成不同的数据块,每个数据块经过向量化处理,再存储到向量数据库。接下来是数据检索过程,当用户向 MaxKB 应用提问时,提问信息也会被 MaxKB 后台进行向量化处理,然后从向量数据库中,搜索相似度最高的向量数据。最后是数据生成过程, MaxKB 会把向量数据库检索到结果,当成提示词丢给 AI 大模型,最后在 MaxKB 页面上输出回复信息。
更多详细内容,可以查看 MaxKB 官方网址:https://maxkb.cn/index.html
以及 MaxKB 安装包下载地址:https://maxkb.cn/docs/installation/offline_installtion/

在这里插入图片描述
在这里插入图片描述
安装成功如下图
在这里插入图片描述
打开浏览器访问
默认登录信息是:
用户名:admin
密码:MaxKB@123…
在这里插入图片描述

5,对接 DeepSeek -R1 模型

操作比较简单跟着图一步步操作即可
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6,发布本地AI知识库

操作比较简单跟着图一步步操作即可
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
创建简单应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
最终回答结果如图:
在这里插入图片描述

7,高级编排应用发布

治理的几点是更具自己的应用需求可以调整的
在这里插入图片描述
在这里插入图片描述

总结

这种部署方式在管理运维方面展现出诸多优势。它能够极大地简化日常运维流程,凭借自动化的管理工具,可实时监测系统运行状态,及时察觉潜在故障隐患,大幅提升问题响应速度。同时,标准化的部署规范使得不同环节的操作有章可循,有效减少人为失误,确保运维工作的稳定性与可靠性。而且,该方式支持灵活扩展,当业务量增长时,能便捷地对系统进行升级或添加新资源,在保障管理高效性的同时,降低整体运维成本,为企业长期稳定发展提供坚实有力的技术支撑 。

猜你喜欢

转载自blog.csdn.net/hugejiletuhugejiltu/article/details/145987501
今日推荐