최근 ChatGLM-6B가 2세대 ChatGLM2-6B를 출시했기 때문에 물을 테스트하기 위해 배포하기로 결정했습니다. 다음은 자세한 배포 프로세스를 설명하고 배포 및 솔루션 중에 발생하는 문제에 대해 설명합니다.
1. 배포 프로세스
1. python, git 및 기타 필요한 도구 설치
프로젝트를 배포하기 전에 몇 가지 필요한 도구를 배포해야 합니다. 다음은 각 단계에 필요한 도구 설치 단계에 대한 자세한 설명입니다.
1.1 파이썬 설치
파이썬을 설치하는 방법에 대해서는 인터넷에 많은 자습서가 있습니다. 여기에는 간단한 설명이 있습니다.
(1) 아나콘다와 미니콘다를 설치하여 파이썬 설치
아나콘다와 미니콘다를 통해 가상 환경을 설치하여 파이썬을 설치할 수 있는데, 이 설치의 장점은 서로 다른 버전의 파이썬과 다양한 타사 패키지 사이를 전환할 수 있다는 것입니다.
많은 프로젝트가 서로 다른 버전을 요구하기 때문에 프로젝트를 실행할 수 없을 것입니다. 이때 conda를 사용하여 다른 가상 환경을 설치하여 전환하면 이 문제를 완벽하게 해결할 수 있습니다. (나는 또한 miniconda를 통해 파이썬을 설치했습니다).
다음은 anaconda 및 miniconda 의 공식 다운로드 링크입니다 . 자신의 시스템 및 버전 요구 사항에 따라 다운로드할 수 있습니다.
anaconda와 miniconda의 설치 단계는 기본적으로 생각 없이 다음 단계로, 환경 변수 설정에만 주의를 기울이면 됩니다.
설치 후 구성하는 방법은 다음 소개 자습서를 참조하십시오.
(2) 파이썬 공식 홈페이지에서 파일을 다운로드 받아 설치
파이썬 공식 웹사이트 와 파이썬 중국어 웹사이트를 통해 다운로드 할 수 있습니다.
그들은 모두 두뇌가 없는 설치이며 설치 경로를 선택하고 환경 변수를 구성하기만 하면 됩니다.
(3) 시스템과 함께 제공되는 Python을 직접 사용(권장하지 않음)
개인적으로 시스템에 딸려오는 파이썬은 함부로 바꿀 수 없고, 바꾸면 시스템 오류가 생기기 쉽기 때문에 사용을 권장하지 않는다.
1.2 자식 설치
git 설치 방법은 이전에 제가 작성한 블로그를 읽으실 수 있으며 여기를 클릭하여 입력하실 수 있습니다.
버전별 다운로드 주소와 git 퀵스타트 튜토리얼까지 자세하게 설명되어 있으니 안심하고 드셔도 됩니다.
1.3 cuda 설치
프로젝트는 그래픽 카드가 필요하기 때문에 여기에 cuda를 설치해야 합니다.설치한 Python과 필요한 토치 버전에 따라 다른 cuda를 설치해야 합니다.
명령줄에 nvidia-smi를 입력하여 cuda 버전을 확인할 수 있습니다.설치된 cuda는 위를 초과할 수 없지만 이 버전보다 낮을 수 있습니다.예를 들어 내 CUDA 버전이 12.0인 경우 12.0 이상의 버전을 설치할 수 없습니다. .
자신의 상황에 따라 다운로드하여 설치할 수 있습니다 .
2. git으로 프로젝트 복제
다음 명령을 사용하여 설치하려는 디렉토리에 프로젝트를 복제하십시오.
git clone https://github.com/THUDM/ChatGLM2-6B.git여기에는 일반적으로 문제가 없습니다.
문제가 있는 경우 일반적으로 다음과 같은 상황이 발생합니다.
(1) Windows 시스템에는 도구(DDDD)가 필요합니다.
(2) Linux 시스템은 일반적으로 프록시 문제입니다.
다음 오류가 발생하는 경우:
치명적: 'https://github.com/xxx.git/'에 액세스할 수 없습니다: 127.0.0.1 포트에 연결하지 못했습니다. 7891: 연결이 거부된 이유는 무엇인가요?
다음을 수행해야 합니다.
# 使用git config命令查询并取消http或https代理，例如：
git config --global http.proxy
git config --global --unset http.proxy
git config --global https.proxy
git config --global --unset https.proxy
# 使用env命令查询并取消http或https代理，例如：
env|grep -i proxy
unset http_proxy
unset https_proxy
# 修改系统环境变量，删除http_proxy和https_proxy变量。3. 모델 다운로드
모델을 다운로드하기 전에 먼저 프로젝트 디렉토리를 입력하십시오.
cd ChatGLM2-6B
프로젝트 디렉토리 아래에 새로운 THUDM 폴더를 생성한 후, THUDM 폴더 아래에 새로운 chatglm2-6b 폴더를 생성합니다.디렉토리 구조는 다음과 같습니다.
그런 다음 huggingface 로 이동하여 모든 모델 파일 및 구성 파일을 .../ChatGLM2-6B/THUDM/chatglm2-6b 폴더에 넣습니다. 모두 수동으로 다운로드하여 넣는 것이 좋습니다.
4. 가상 환경 설치
여기서는 미니콘다를 사용하기 때문입니다. 아나콘다 설치는 저와 동일합니다.
가상환경 설치에 대해서는 다양한 시스템에 대한 자세한 설명이 있으니 여기서는 설명하지 않겠습니다.
가상 환경을 설치하는 명령은 다음과 같습니다(여기서는 광산을 예로 사용).
conda create -n webui python=3.10.10 -y그 중 -n webui는 생성된 가상 환경으로, python= 다음에 원하는 파이썬 버전을 입력하고, -y는 이후 요청이 모두 yes라는 의미이므로 매번 수동으로 yes를 입력할 필요가 없습니다.
가상환경 설치 후 가상환경으로 들어가야 합니다.
현재 사용 가능한 가상 환경을 보려면 conda env list를 입력하십시오. 예를 들어 방금 설치한 webui.
그런 다음 conda activate webui를 입력하여 이전 기반이 webui로 변경되었는지 확인합니다.
마지막으로 현재 프로젝트 아래에 가상 환경을 만들고 다음 명령을 사용합니다.
python -m venv venv여기서 첫 번째 venv는 venv 모듈을 사용하여 가상 환경을 생성하는 것을 의미하고, 두 번째 venv는 현재 가상 환경 설치 경로로 현재 디렉토리에 새로운 venv 폴더를 생성하는 것을 의미합니다. venv 폴더입니다. 생성이 완료되면 현재 디렉터리 아래에 venv 디렉터리가 있는 것을 확인할 수 있습니다.
그런 다음 활성화를 사용하여 현재 가상 환경을 사용하십시오.Linux 시스템은 소스 ./venv/bin/activate 명령을 사용할 수 있으며 Windows는 ./venv/Scripts/activate.bat를 직접 두 번 클릭하거나 ./venv/Scripts/activate 명령을 실행할 수 있습니다. 내가 여기서 보여주는 것은 리눅스의 영향이다.
5. 설치 환경에 필요한 타사 패키지
다음 명령을 실행하십시오.
pip install -r requirements.txt다음으로 설치를 기다리면 되지만 .whl 파일을 수동으로 설치한 후 상대적으로 큰 경우 pip install xxx.whl 명령을 사용하여 설치하는 것이 좋습니다.
일반적으로 설치에 다운로드 링크가 있을 것입니다. 링크 주소를 Xunlei에 복사하여 다운로드하십시오.
6. 데모를 실행하여 작업 시작
다음으로 다음 명령을 직접 실행하여 작업을 시작할 수 있습니다.
python web_demo.py
7. 기타 문제
다른 질문이 있으시면 제 공식 계정을 주목해 주시고 함께 토론할 수 있는 소통방으로 끌어들이시기 바랍니다.