LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库

业界资讯 2023-09-03 12:58:07 阅读次数: 0

如果你对这篇文章感兴趣，而且你想要了解更多关于AI领域的实战技巧，可以关注「技术狂潮AI」公众号。在这里，你可以看到最新最热的AIGC领域的干货文章和案例实战教程。

一、前言

自从去年GPT模型火爆以来，降低了很多个人和企业进入人工智能领域的门槛，对于大模型尤其是开源的大模型国内应该比较受关注和期待，毕竟高额的成本也能将不少人阻挡在门外，其次，大家都希望在产品中集成LLM的能力，结合业务来落地智能化应用，提升产品的竞争力，最直接的应用就是构建知识库。

下面汇总了一下之前介绍的有关构建知识库相关的文章和视频，包含了开源和闭源多种不同的解决方案，从使用情况来看，因为都是开源产品，所以在架构和功能完整性上可能都不够全面，因为一直在持续的迭代过程，如果是站在一个中小企业的角度，去选型一款比较符合企业构建本地知识库需求的产品来评估，从以下介绍的开源产品目前的实现效果和未来规划目标来看，个人觉得Quivr从设计上来讲更加符合应用需求，前提是增加企业已有文档库、数据库纳入知识库的能力，扩展Danswer提高的功能，完善并丰富对于开源或者闭源模型的支持（目前暂时支持较弱）尤其是对于中文支持不错的国产模型比如ChatGLM2等，另外一种方案就是今天介绍的LangChain-Chatchat刚好可以与Quivr互补，其对于模型的支持很丰富，但对于业务端的属性支持较弱，只支持单个用户单个知识库，不能建立多个知识库通过权限来隔离。

当然不排除还有其它更合适的解决方案，至少开源的产品或多或少很难直接拿来作为生产级别去应用，还得需要进行二开去完善，大部分做的相对成熟的开源产品基本上都是走商业化路线，或者开源通过服务收费，比如模型微调训练，构建特定行业应用的大模型和对外提供模型API能力。

在构建企业级知识库方面，有许多解决方案和产品可供选择，包括开源和闭源。这些解决方案的核心技术基于LangChain，如Quivr结合Supabase、PrivateGPT和ChatGLM 6B等。同时，也有无代码平台Flowise，基于LangChain.js提供丰富的内置组件，帮助用户快速构建聊天机器人、智能客户和知识问答等应用。

为了解决模型扩展和维护的问题，Stan Girard开发了Genoss，通过创建简单的API使得模型扩展能力完全解耦。此外，Danswer是一个开源项目，具有Connectors连接器优势，可以方便地将文档资料添加到向量数据库中进行索引。

在选择本地私有化模型时，清华大学开源的ChatGPT-6B模型对中文支持友好，并可在消费级显卡上运行。大语言模型的发展为智能客服、文档检索和代码搜索等场景提供了便利，提高了生产力。Coral这款AI知识库助手致力于解决企业痛点，重新定义生产力。

总之，在构建企业级知识库时，有多种解决方案可供选择。根据实际需求和场景来选择合适的方案，运用大语言模型的技术优势，提高企业生产力和效率。

二、介绍

2.1、ChatGLM2-6B

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

  1. 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。

  2. 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，我们发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，ChatGLM2-6B-32K 有着较为明显的竞争优势。

  3. 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。

  4. 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

2.2、LangChain-Chatchat 介绍

LangChain-Chatchat (原 Langchain-ChatGLM): 基于 Langchain 与 ChatGLM 等大语言模型的本地知识库问答应用实现。一种利用 LangChain 思想实现的基于本地知识库的问答应用，其目标是期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

它的核心思路是通过使用 FastChat 接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，然后依托于 LangChain 框架支持通过基于 FastAPI 提供的 API 调用服务，或使用基于 Streamlit 的 WebUI 进行操作。

依托于本项目支持的开源 LLM 与 Embedding 模型，全部可使用开源模型离线私有部署实现。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

三、模型支持

LangChain-Chatchat 默认使用的 LLM 模型为 THUDM/chatglm2-6b，默认使用的 Embedding 模型为 moka-ai/m3e-base 为例。

3.1、LLM 模型支持

目前最新的版本中基于 FastChat 进行本地 LLM 模型接入，目前已经正式接入支持的模型达 30+，具体清单如下：

以上模型支持列表可能随 FastChat 更新而持续更新，可参考 FastChat 已支持模型列表。

除本地模型外，本项目也支持直接接入 OpenAI API，具体设置可参考 configs/model_configs.py.example 中的 llm_model_dict 的 openai-chatgpt-3.5 配置信息。

3.2、Embedding 模型支持

对于构建文本向量的模型，目前支持调用 HuggingFace 中的 Embedding 模型，目前已支持的 Embedding 模型达 15+，具体支持清单如下：

四、项目部署

4.1、环境说明

这里就用阿里云的海外GPU服务器来演示如何部署基于ChatGLM2-6B本地知识库，服务器基本配置信息如下：

  • CPU：8核(vCPU)

  • 内存：30 GiB

  • GPU：NVIDIA A10 显存 24GB

4.2、安装 Conda

  • 如果是全新的服务器，首次需要安装Conda，在终端中，使用以下命令下载Miniconda安装脚本：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
  • 使用以下命令运行安装脚本：
bash Miniconda3-latest-Linux-x86_64.sh

  • 按照安装程序的提示进行安装。您可以选择安装位置和环境变量设置等选项。

  • 安装完成后，关闭终端并重新打开一个新终端，在新终端中，使用以下命令激活conda环境：

 source ~/.bashrc
  • 使用以下命令检查conda是否成功安装：
conda --version

如果conda成功安装，您将看到conda的版本号，我这里安装的是conda 23.5.2。

4.3、安装 Python

首先，确信你的机器安装了 Python 3.8 - 3.11 版本

python --version 
Python 3.8.17

如果没有安装或者低于这个版本，可使用conda安装环境

conda create -p /opt/langchain-chatchat/pyenv python=3.8

激活Python虚拟环境
conda activate /opt/langchain-chatchat/pyenv

关闭环境
conda deactivate /opt/langchain-chatchat/pyenv

# 删除环境
conda env remove -p /opt/langchain-chatchat/pyenv

这里的路径可根据大家的实际情况来调整即可

root@iZ6we7hvjs7veky0zq7at1Z:/opt/langchain-chatchat# conda activate /opt/langchain-chatchat/pyenv
(/opt/langchain-chatchat/pyenv) root@iZ6we7hvjs7veky0zq7at1Z:/opt/langchain-chatchat# python --version
Python 3.8.17
(/opt/langchain-chatchat/pyenv) root@iZ6we7hvjs7veky0zq7at1Z:/opt/langchain-chatchat#

更新py库

pip3 install --upgrade pip

4.4、项目依赖

# 拉取仓库
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 进入目录
$ cd Langchain-Chatchat

使用pypi源安装全部依赖（默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装）

pip install -r requirements.txt -i https://pypi.python.org/simple

说明：默认安装不指定镜像[pip install -r requirements.txt]安装过程可能会出现依赖或者其它奇怪的错误，建议指定镜像源下载，国外的服务器用pypi镜像，国内的服务器可以用阿里源或者清华源。

# 使用阿里源
$ pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/

# 使用清华源
$ pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

安装依赖的时候可能会出现如下错误：

Could not find a version that satisfies the requirement setuptools_scm (from versions: none)

这个错误通常在安装或配置setuptools_scm包时遇到问题时出现。只需要重新安装setuptools_scm。

pip install --index-url https://pypi.org/simple/ setuptools_scm

4.5、下载模型

因为模型文件一般比较大（ChatGLM2-6B的模型权重文件差不多12G），首先需要先安装Git LFS

# 添加Git LFS的APT存储库。运行以下命令将Git LFS的APT存储库添加到您的系统中：
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

# 安装Git LFS。运行以下命令来安装Git LFS：
sudo apt-get install git-lfs

# 安装完成后，您可以运行以下命令来验证Git LFS是否已成功安装：
git lfs version

# 如果成功安装，您将看到Git LFS的版本信息。
git-lfs/3.4.0 (GitHub; linux amd64; go 1.20.6)

下载模型放入指定文件目录中

# 下载 LLM 模型
$ git clone https://huggingface.co/THUDM/chatglm2-6b /your_path/chatglm-6b

# 下载 Embedding 模型
$ git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese /your_path/text2vec

# 模型需要更新时，可打开模型所在文件夹后拉取最新模型文件/代码
$ git pull

将your_path换成你模型的实际下载路径即可，我这里将模型放在 /opt/langchain-chatchat/models 目录。

$ git clone https://huggingface.co/THUDM/chatglm2-6b /opt/langchain-chatchat/models/chatglm-6b

$ git clone https://huggingface.co/moka-ai/m3e-base /opt/langchain-chatchat/models/m3e-base

4.6、设置配置项

复制模型相关参数配置模板文件 configs/model_config.py.example 存储至项目路径下 ./configs 路径下，并重命名为 model_config.py。

cp model_config.py.example model_config.py

复制服务相关参数配置模板文件 configs/server_config.py.example 存储至项目路径下 ./configs 路径下，并重命名为 server_config.py。

cp server_config.py.example server_config.py

在开始执行 Web UI 或命令行交互前，请先检查 configs/model_config.py 和 configs/server_config.py 中的各项模型参数设计是否符合需求：

  • 请确认已下载至本地的 LLM 模型本地存储路径写在 llm_model_dict 对应模型的 local_model_path 属性中，如:
llm_model_dict={
    "chatglm2-6b": {
            "local_model_path": "/opt/langchain-chatchat/models/chatglm-6b",
            "api_base_url": "http://localhost:8888/v1",  # "name"修改为 FastChat 服务中的"api_base_url"
            "api_key": "EMPTY"
     }
}
  • 请确认已下载至本地的 Embedding 模型本地存储路径写在 embedding_model_dict 对应模型位置，如：
embedding_model_dict = {
     "m3e-base": "/opt/langchain-chatchat/models/m3e-base",
}

如果你选择使用OpenAI的Embedding模型，请将模型的 key写入 embedding_model_dict中。使用该模型，你需要鞥能够访问OpenAI官的API，或设置代理。

4.7、知识库初始化

当前项目的知识库信息存储在数据库中，在正式运行项目之前请先初始化数据库（我们强烈建议您在执行操作前备份您的知识文件）。

  • 如果您是从 0.1.x 版本升级过来的用户，针对已建立的知识库，请确认知识库的向量库类型、Embedding 模型与 configs/model_config.py 中默认设置一致，如无变化只需以下命令将现有知识库信息添加到数据库即可：
$ python init_database.py
  • 如果您是第一次运行本项目，知识库尚未建立，或者配置文件中的知识库类型、嵌入模型发生变化，或者之前的向量库没有开启 normalize_L2，需要以下命令初始化或重建知识库：
$ python init_database.py --recreate-vs

4.8、启动LLM服务

如需使用开源模型进行本地部署，需首先启动 LLM 服务，如果启动在线的API服务（如 OPENAI 的 API 接口），则无需启动 LLM 服务。

这里选择基于多进程脚本 llmapi.py 启动 LLM 服务的方式，在项目根目录下，执行 server/llmapi.py 脚本启动 LLM 模型服务：

$ python server/llm_api.py

如果部署服务器具备单张或者多张GPU显卡，只需在 llmapi.py 中修改 createmodelworkerapp 函数中，修改如下三个参数:

gpus=None, 
num_gpus=1, 
max_gpu_memory="20GiB"

其中，gpus 控制使用的显卡的ID，如果 "0,1"； num_gpus 控制使用的卡数；max_gpu_memory 控制每个卡使用的显存容量。

4.9、启动API服务

在线调用API服务的情况下，直接执执行 server/api.py 脚本启动 API 服务；

python server/api.py

启动 API 服务后，可访问 localhost:7861 或 {API 所在服务器 IP}:7861 FastAPI 自动生成的 docs 进行接口查看与测试。

  • FastAPI docs 界面

4.9、启动 Web UI 服务

使用 Langchain-Chatchat 主题色启动 Web UI 服务（默认使用端口 8501）

$ streamlit run webui.py --theme.base "light" --theme.primaryColor "#165dff" --theme.secondaryBackgroundColor "#f5f5f5" --theme.textColor "#000000"
  • Web UI 对话界面：

  • Web UI 知识库管理页面：

说明：安装过程中如果遇到其它的问题，建议先去官方GitHub的FAQ中看看，大部分问题已经有解决方案了。 https://github.com/chatchat-space/Langchain-Chatchat/blob/master/docs/FAQ.md

五、Docker 环境部署

如果想快速部署 LangChain-Chatchat 产品来体验，可以选择Docker一键部署的方式，比较简单，只需要先安装Docker 容器，在Unbuntu环境中如何安装 Docker & Docker Compose，可以参考文章 《Quivr 基于GPT和开源LLMs构建本地知识库 （更新篇）》中的3.2节。这里不过多赘述。 Windows安装Docker更简单。

Docker镜像使用的版本一般会稍微滞后一些，如果想快速体验最新的版本按前面开发模式部署会更合适一点。

LangChain-Chatchat项目使用的 Docker 镜像地址是:

registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.0

docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.0

  • 该版本镜像大小 33.9GB，使用 v0.2.0，以 nvidia/cuda:12.1.1-cudnn8-devel-ubuntu22.04 为基础镜像

  • 该版本内置一个 embedding 模型：m3e-large，内置 chatglm2-6b-32k

  • 该版本目标为方便一键部署使用，请确保您已经在Linux发行版上安装了NVIDIA驱动程序

  • 请注意，您不需要在主机系统上安装CUDA工具包，但需要安装 NVIDIA Driver 以及 NVIDIA Container Toolkit，请参考安装指南

  • 首次拉取和启动均需要一定时间，首次启动时请参照下图使用 docker logs -f <container id> 查看日志

  • 如遇到启动过程卡在 Waiting.. 步骤，建议使用 docker exec -it <container id> bash 进入 /logs/ 目录查看对应阶段日志

六、References

ChatGLM2-6B

https://github.com/THUDM/ChatGLM2-6B

LangChain-Chatchat

https://github.com/chatchat-space/Langchain-Chatchat

如果你对这篇文章感兴趣，而且你想要了解更多关于AI领域的实战技巧，可以关注「技术狂潮AI」公众号。在这里，你可以看到最新最热的AIGC领域的干货文章和案例实战教程。

猜你喜欢

转载自blog.csdn.net/FrenzyTechAI/article/details/132528670
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
记一下去大梅沙的准备（2018-05-26）
Spring 注解 事务
基于HTTP协议的客户端缓存
阿里云rds 备份和还原
[PHP] 几个拖慢 PHP 程序/API 运行速度的点
python 代码风格------------PEP8规则
js控制json生成菜单——自制菜单（一）
将字符串: 'k:1|k1:2|k2:3|k3:4 ' ,处理成 python 字典: {'k':1, 'k1':2, ...}
微信小程序转支付宝小程序
Qt551.窗口滚动条
每日归档
更多
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022