本地快速搭建属于你的AI助手：Ollama+DeepSeek+AnythingLLM整合教程

1、引言

        本文将手把手教你用 Ollama、DeepSeek 与 AnythingLLM 搭建超强大本地知识库。

1.1 DeepSeek：AI 领域的实力新星

        深度求索（DeepSeek）是一家专注实现AGI的中国的人工智能公司，其开源模型包括DeepSeek-V3、DeepSeek Chat和DeepSeek-V1.5等。这些模型在多个领域展现出卓越的性能，尤其在长上下文理解和多轮对话方面表现突出。DeepSeek-V3支持128K上下文长度，并在中英文综合能力上持续提升。DeepSeek Chat作为智能助手，提供高效、流畅的交互体验。DeepSeek-V1.5则具备强大的代码生成和推理能力，适用于多种应用场景。这些开源模型旨在推动人工智能技术的普及和发展，为研究者和开发者提供强大的工具和平台。

1.2 Ollama：本地运行 AI 模型的利器

         Ollama 是一款致力于让用户在本地轻松运行 AI 模型的工具。它提供了简洁易用的命令行界面，极大降低了本地部署模型的门槛。通过 Ollama，用户可以快速拉取并运行各种主流的大语言模型，无需复杂的配置和高昂的云计算成本。其高效的模型管理系统，能帮助用户方便地切换和使用不同模型，满足多样化的需求。

1.3 AnythingLLM：知识整合的智能助手

        AnythingLLM专注于知识管理和问答系统，提供了桌面客户端，方便用户使用；能够从多种不同来源获取数据，包括但不限于文档、网页、数据库等，将这些分散的非结构化或半结构化数据进行有效整合，统一处理为可供分析和查询的格式，为知识的全面性和完整性提供了保障。，AnythingLLM 能够理解用户的问题，并在知识图谱中精准检索答案，为用户提供准确、全面的回答。

2 环境准备与安装

2.1 配置要求

        操作系统：MacOS、Linux、Windows
        硬件要求：

说明：GPU非必须，如果使用GPU性能会更好，支持列表参考Ollama GPU支持列表。

2.2 部署架构

        Ollama+DeepSeek+AnythingLLM搭建本地知识库的整体架构如下：

2.3 Ollama安装

        Ollama的安装过程可以根据不同的操作系统进行，以下是Windows、Mac以及Linux系统上Ollama的安装步骤：

2.3.1 Windows系统安装Ollama

1 下载安装包

• 访问Ollama的官方网站：Ollama官方主页 或 Ollama下载页面，选择对应Windows系统的安装包，点击“Download for Windows（Preview）”进行下载。

2 安装程序

• 双击下载的安装包，按照提示完成安装。Ollama默认会安装到C盘，路径通常为C:\Users\<username>\AppData\Local\Programs\Ollama，但不允许用户自定义选择安装路径。

3 验证安装

• 安装完成后，打开命令提示符（cmd），输入ollama并回车。如果显示Ollama相关的信息，则证明安装成功。如下图：

4 配置环境变量（可选）

• 如果需要更改Ollama模型的默认存储路径或API的访问地址和端口，可以通过设置环境变量来实现。
• 例如，要更改模型存储路径，可以新建一个系统变量OLLAMA_MODELS，并设置其值为新的存储路径，如D:\Work\ollama\models。

要更改API的访问地址和端口，可以新建一个系统变量OLLAMA_HOST，并设置其值为新的地址和端口，如0.0.0.0:11434。

5 启动Ollama

• 安装完成后，电脑右下角会出现Ollama图标。可以通过点击图标启动Ollama，或者在命令提示符中输入ollama serve来启动服务。

2.3.2 Mac系统安装Ollama

1 下载安装包

• 访问Ollama的官方网站，选择对应Mac系统的安装包，点击“Download for Mac”进行下载。

2 安装程序

• 双击下载的安装包，按照提示完成安装。

3 验证安装

• 打开终端（Terminal），输入ollama并回车。如果显示Ollama相关的信息，则证明安装成功。

2.3.3 Linux系统安装Ollama

1 脚本安装

• 打开终端，执行以下命令下载并安装Ollama一键安装脚本：curl -fsSL https://ollama.com/install.sh | sh。等待安装完成。

2 二进制安装

• 也可以将Ollama的二进制文件下载到PATH中的目录。例如，使用以下命令：sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama，然后执行sudo chmod +x /usr/bin/ollama赋予执行权限。

3 启动Ollama

• 安装完成后，可以通过命令ollama serve启动Ollama服务。如下图：

4 配置自启动（可选）

• 可以将Ollama配置为系统服务，实现开机自启动。具体步骤包括为Ollama创建用户、在服务文件中配置启动命令等。

2.4 安装DeepSeek

        Ollama安装完成后，使用ollama下载deepseek模型。

2.4.1 选择Deepseek模型：

• 打开Ollama的官方网站或相关页面，找到Deepseek模型的下载区域。
• Deepseek提供多种模型参数供选择，如1.5B、7B、8B、14B、32B等。模型参数越大，性能通常越好，但对硬件配置的要求也越高。

2.4.2 下载运行Deepseek模型：

• 打开命令提示符（Windows）或终端（Mac/Linux）。
• 输入命令来运行Deepseek模型，例如ollama run deepseek-r1:8b（其中8b表示你下载的模型参数）。

ollama run deepseek-r1:8b

• 等待模型下载并运行。下载时间取决于你的网络速度和模型大小。

2.4.3 与Deepseek进行交互：

• 模型下载并运行后，命令提示符或终端将显示>>>符号，表示你可以开始与Deepseek进行对话。
• 输入你的问题或指令，Deepseek将给出相应的回答或执行相应的任务。

2.5 AnythingLLM安装

2.5.1 下载安装包

• 访问AnythingLLM的GitHub页面或其官方网站，以获取最新的安装包下载链接。
• 根据你的操作系统（如Windows、macOS或Linux），选择相应的安装包进行下载。

2.5.2 安装环境准备

检查系统要求：

• 确保你的系统满足AnythingLLM的运行要求，包括操作系统版本、内存大小、硬盘空间等。
  • 支持Windows 10及以上版本;支持主流Linux发行版，如Ubuntu 20.04及更高版本;macOS系统也受支持
  • 至少配备2GB RAM，但为了处理更复杂或大规模的任务，建议内存配置更高;一般情况下，推荐至少16GB内存，若处理大规模数据或复杂任务，建议配备32GB及以上内存，以避免内存不足导致的运行错误。
  • 磁盘存储空间推荐10GB以上，但具体取决于存储的数据量（包括文档、向量、模型等）;如果打算存储大量数据或模型，建议使用更大的硬盘空间。例如，一些高级配置可能推荐至少8GB的硬盘空间，但更常见的是建议使用1TB NVMe SSD以加快模型加载速度。
  • CPU：推荐使用具备多核心、高主频的现代CPU，如英特尔酷睿i7或AMD锐龙7系列，以保障数据处理的高效性。8核以上的CPU会提供更好的性能;
  • GPU：若有NVIDIA GPU支持，可极大提升模型的推理和训练速度。例如NVIDIA GeForce RTX 20系列及以上显卡，配合CUDA加速，能显著缩短运行时间。推荐使用具有8GB显存的NVIDIA显卡，如NVIDIA RTX 3070或4060。

设置环境变量（如需要）：

• 根据AnythingLLM的文档说明，设置所需的环境变量。例如，对于某些依赖项或配置，可能需要设置特定的环境变量路径。

2.5.3 运行安装程序

1 Windows系统：

• 双击下载的安装包文件（如AnythingLLMDesktop.exe），并按照提示完成安装过程。
• 在安装过程中，可能需要选择安装路径、接受许可协议等。可能会出现错误，如下图：

不用担心，影响不大。

• 安装完成，运行后如下图：

2 macOS或Linux系统：

• 对于macOS，你可以通过下载.dmg文件并使用磁盘映像挂载器来安装。
• 对于Linux，你可能需要下载.tar.gz或.deb等格式的安装包，并使用相应的命令（如tar -xzf或dpkg -i）进行解压和安装。

2.5.4 配置与启动

         AnythingLL工作区如下图：

1 创建工作区

        创建工作区，并配置代理LLM提供商，如下图：

选择Ollama，然后配置DeepSeek，如下图：

选择Ollama,弹出配置模型窗口，如下图：

2 数据导入

点击 upload a document，弹出窗口如下图：

   文档准备并上传，如下图：

等文档上传完毕，选中文档，并移动到工作空间，如下图：

然后点击保存，如下图：

3 导入文档报错，解决办法：

导入文件报错，如下图：

解决办法：

在设置，点击Embedder ， 设置 Ollama ，具体步骤如下图：

1、点击设置，如下图：

2、配置Ollama，如下图：

4、导入文档

2.6  测试与优化

        AnythingLLM 作为知识库，为 Ollama 提供事实性信息和领域知识支持。

工作流程

1. 用户输入问题。

2. Ollama 接收问题，并调用 DeepSeek 进行语义理解和意图识别。

3. Ollama 根据 DeepSeek 的分析结果，从 AnythingLLM 知识库中检索相关信息。

4. Ollama 整合检索到的信息，并调用 DeepSeek 生成自然语言回答。

5. 将最终回答返回给用户。

注意事项

• 需要根据具体需求选择合适的 DeepSeek 模型和 AnythingLLM 知识库。

• 需要对系统进行充分的测试和优化，以确保问答的准确性和效率。

总而言之，Ollama、DeepSeek 和 AnythingLLM 的结合可以构建一个功能强大、应用广泛的智能问答系统。