DeepSeek+Ollama+AnythingLLM 本地部署完全指南,打造专属知识库
文章目录
一 ,DeepSeek+Ollama 的本地化部署
请参考: DeepSeek-R1本地化部署 java调用 图文教程
二 ,安装AnythingLLM
1,下载安装
打开官网地址:https://anythingllm.com/desktop,根据自己的系统选择下载的版本。默认路径安装,或者修改默认安装路径都可以。
安装非常简单根据提示一路走下去就行了。安装完成页面如下图:
###2, AnythingLLM 配置
第一步:LLM 首选项(大语言模型选择):选择Ollama,AnythingLLM会自动检测本地部署的模型,所以前提确保Ollama本地部署的模型正常运行。
第二步:设置向量数据库 选择默认lancedb 就可以,简单无需独立安装。
第三步:Embedding 首选项(嵌入偏好):
需要预先安装 nomic-embed-text 。打开openwebui 搜索安装即可
nomic-embed-text 是一个用于生成嵌入式的文本的工具或框架,通常用于自然语言处理(NLP)任务中。它提供了一种方法来将文本内容转化为高层次的向量表示,这些向量可以被用来进行各种 downstream的任务,例如文本分类、信息检索、机器翻译等。
在集成到类似的系统中,nomic-embed-text 可以帮助将自然语言处理的内容嵌入到知识库或模型中,从而增强对文本数据的理解和处理能力。具体实现可能需要按照其文档或集成指南来进行配置和使用。
三 ,加载自己的知识库
第一步:新建一个工作区
第二步:聊天设置
第三步:向量数据默认即可
第四步:代理配置
第五步:挂载自己的知识库
这样就可以使用自己的知识库回答你的问题了。如下图:土地法的作用是什么 ? 结果是参考刚才上传的知识库内容去回答了问题,内容准确度还是不错的。
四 ,AnythingLLM 接口调用