MiniGPT4 시리즈 One 배포: RTX-3090 Ubuntu Server의 배포 단계에 대한 자세한 설명_seaside2003's Blog-CSDN Blog
MiniGPT4 시리즈 2 추론 장 명령줄 방법: RTX-3090 추론에 대한 자세한 설명 Ubuntu Server_seaside2003's Blog-CSDN Blog
MiniGPT4 시리즈 3 모델 추론(웹 UI): RTX-3090 Ubuntu Server에 대한 추론_seaside2003의 블로그-CSDN 블로그
이 기사는 다음 Zhihu 게시물의 후반부를 참조합니다.
GPT-4의 90% 기능을 갖춘 손으로 만든 오픈 소스 대형 언어 모델 FastChat - Zhihu
패스트챗 설치
두 가지 방법이 있습니다:
pip를 통해 설치:
pip3 install fschat소스 코드 설치:
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip # enable PEP 660 support
pip3 install -e .
서비스 시작
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna이때, 위에서 Rich 패키지가 설치되어 있지 않아 ModuleNotFoundError: No module name 'rich'라는 오류가 나타날 수 있습니다.
하지만 pip install rich를 직접 시도했지만 작동하지 않았으며 다음 명령을 실행하면 성공했습니다.
python -m pip install rich
다음 명령을 참조하십시오: ModuleNotFoundError: 'rich'라는 모듈이 없습니다.
\"ModuleNotFoundError: \'rich\'\라는 모듈이 없습니다." pip를 사용하여 답변을 설치하더라도 - Aima.com
다음 명령을 다시 실행하면 실행이 성공한 것을 확인할 수 있습니다.
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna