최근 칭화대학교에서 공개한 ChatGLM-6B 언어 모델은 전 세계적으로 큰 인기를 끌었으며 매개 변수가 62억 개에 불과한 작은 모델이지만 매우 강력합니다. 후속 1300억 매개변수 모델 130B의 출시를 기대하고 있습니다.
약한 능력을 가진 일부 작은 모델이 왜 그렇게 인기가 있습니까? 왜냐하면 ChatGPT와 GPT-4는 좋은데 결국 외국에서 막혀서 돈을 내야 하기 때문입니다. 모두, 아무도 감히 자신의 비즈니스 데이터를 유출하여 다른 사람의 AI를 훈련시키고, 다른 사람을 위해 웨딩 드레스를 만들고, 결국 자신의 직업을 망칩니다.
여기서는 실제 경험을 바탕으로 직접 언어 모델 서버를 구축하는 방법을 공유합니다. 최종 효과는 다음과 같습니다.
우선 GPU가 강한 기계가 필요합니다.Tencent Cloud 또는 Alibaba Cloud와 같은 AI 훈련 기계를 임대하는 것이 좋습니다.T4 그래픽 카드가 가능합니다.일반적인 가격은 시간당 몇 센트입니다. 텐센트클라우드의 세크킬 활동 호스트인 배추값인 반달 60위안을 낚아챘다. 지역 폭군은 자신의 기계를 설치하고 오랫동안 플레이할 수 있습니다.
이 일을 할 수 있는 사람들은 모두 코더들이니 헛소리하지 말고 그냥 sh 명령을 사용하세요(:
#我的主机环境是 Ubuntu Server 18.04 LTS 64位，预装了
# Pytorch 1.9.1 Ubuntu 18.04 GPU基础镜像（预装460驱动）
#以下命令从 /root 目录位置开始进行操作的
#更新Ubuntu软件源
apt-get update
#创建目录用于存放ChatGLM源代码
mkdir ChatGLM
cd ChatGLM/
#克隆ChatGLM-6B程序源代码
git clone https://github.com/THUDM/ChatGLM-6B.git
#创建目录用于存放ChatGLM6B-int4量化模型
mkdir model
cd model/
#安装git-lfs便于文件管理
apt install git-lfs
#当前目录初始化为git仓库、安装lfs
git init
git lfs install
#克隆ChatGLM-6B的int4量化模型
git clone https://huggingface.co/THUDM/chatglm-6b-int4
#安装python调用cuda的工具包
apt install nvidia-cuda-toolkit
cd ChatGLM-6B/
#添加三行依赖：
vim requirements.txt
chardet
streamlit
streamlit-chat
#安装所需的python依赖库
pip install -r requirements.txt
#代码中2处修改为模型绝对路径：
vim web_demo2.py
/root/ChatGLM/model/chatglm-6b-int4
#运行ChatGLM6B 的web版聊天程序，即可访问http://主机IP:8080进行聊天
python3 -m streamlit run ./web_demo2.py --server.port 8080
이 기사는 AI 및 언어 모델의 응용 기술을 탐구하는 데 전념하는 작은 서클인 Knowledge Planet: ConnectGPT에서 가져온 것입니다.
