RagFlow的本地部署

1、RagFlow介绍

RAGFlow 是一款开源的 RAG(Retrieval-Augmented Generation)引擎,可以用于高效处理信息,为多种场景提供智能解决方案,如本地知识库的构建、问答系统的搭建,大量文本信息的处理等。

2、部署环境

基于ubuntu20.04进行部署。

RagFlow对电脑配置要求:

  • CPU ≥ 4 cores (x86);
  • RAM ≥ 16 GB;
  • Disk ≥ 50 GB;
  • Docker ≥ 24.0.0 & Docker Compose ≥ v2.26.1.

3、ollama安装

ollama是一款本地化运行大预言模型(LLM)的开源工具。基于ollama可以在本地创建、运行和管理多种模型,同时可以方便的被其他应用调用。

  • 基于linux的安装:

自动安装(使用一个命令即可进行安装)

curl -fsSL https://ollama.com/install.sh | sh

手动安装

#######Download and extract the package

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

#######Start Ollama

ollama serve

#######In another terminal, verify that Ollama is running

ollama -v

#######If you have an AMD GPU, also download and extract the additional ROCm package

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz

sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

#######Adding Ollama as a startup service (recommended)

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

sudo usermod -a -G ollama $(