最近、ChatGLM-6B の第 2 世代 ChatGLM2-6B がリリースされたので、水をテストするためにそれを導入することにしました。以下では、展開プロセスの詳細を説明し、展開中に発生する問題とその解決策について説明します。
1. 導入プロセス
1. Python、git、その他の必要なツールをインストールします
プロジェクトをデプロイする前に、いくつかの必要なツールをデプロイする必要があります。以下に、各ステップに必要なツールのインストール手順を詳しく説明します。
1.1 Pythonをインストールする
Python のインストール方法については、インターネット上に多数のチュートリアルがありますので、ここでは簡単に説明します。
(1) anacondaとminicondaをインストールしてPythonをインストールする
anaconda と miniconda を介して仮想環境をインストールすることで Python をインストールできます。このインストールの利点は、Python の異なるバージョンとさまざまなサードパーティ パッケージを切り替えることができることです。
多くのプロジェクトでは異なるバージョンが必要なため、プロジェクトを実行できませんが、現時点では、conda を使用して異なる仮想環境をインストールして切り替えることで、この問題を完全に解決できます。(Python も miniconda 経由でインストールしました)。
ここにanacondaとminicondaの公式ダウンロード リンクがあります。独自のシステムとバージョンの要件に従ってダウンロードできます。
anaconda と miniconda のインストール手順は基本的に何も考えずに次の手順に進み、環境変数の設定に注意するだけです。
インストール後の設定方法については、次の入門チュートリアルを参照してください。
(2) Python公式サイトからファイルをダウンロードしてインストールします
Python公式WebサイトおよびPython中国語Webサイトからダウンロードできます。
これらはすべて頭を使う必要のないインストールであり、インストール パスを選択して環境変数を設定するだけです。
(3) システムに付属の Python を直接使用する (非推奨)
システム付属のPythonは気軽に変更できず、変更するとシステムエラーが発生しやすいため、個人的にはあまりおすすめしません。
1.2 gitをインストールする
gitのインストール方法については、以前書いたブログを読んでいただくことができますので、ここをクリックして入力してください。
各バージョンのダウンロードアドレスやgitクイックスタートチュートリアルも詳しく解説しているので、安心して食べていただけます。
1.3 cudaをインストールする
このプロジェクトにはグラフィック カードが必要なので、ここで cuda をインストールする必要があります。インストールした Python と必要なトーチのバージョンに応じて、異なる cuda をインストールする必要があります。
コマンド ラインに nvidia-smi と入力して、cuda バージョンを確認できます。インストールされている cuda が上記を超えることはできませんが、このバージョンより低い場合もあります。たとえば、CUDA バージョンが 12.0 の場合、12.0 より上のバージョンをインストールすることはできません。
ご自身の状況に応じてダウンロードしてインストールしてください。
2. git を使用してプロジェクトのクローンを作成します
次のコマンドを使用して、インストールするディレクトリにプロジェクトのクローンを作成します。
git clone https://github.com/THUDM/ChatGLM2-6B.gitここで通常は問題ありません。
問題がある場合、通常は次のような状況が考えられます。
(1) Windows システムにはツールが必要です (DDDD)。
(2) Linux システムには一般にプロキシの問題があります。
次のエラーが発生した場合:
致命的: 'https://github.com/xxx.git/' にアクセスできません: 127.0.0.1 ポート 7891 への接続に失敗しました: 接続が拒否された理由は何ですか
次のことを行う必要があります。
# 使用git config命令查询并取消http或https代理，例如：
git config --global http.proxy
git config --global --unset http.proxy
git config --global https.proxy
git config --global --unset https.proxy
# 使用env命令查询并取消http或https代理，例如：
env|grep -i proxy
unset http_proxy
unset https_proxy
# 修改系统环境变量，删除http_proxy和https_proxy变量。3. モデルをダウンロードする
モデルをダウンロードする前に、まずプロジェクト ディレクトリに入ります。
cd ChatGLM2-6B
次に、プロジェクト ディレクトリの下に新しい THUDM フォルダを作成し、THUDM フォルダの下に新しい chatglm2-6b フォルダを作成します。ディレクトリ構造は次のとおりです。
次に、huggingfaceに移動し、すべてのモデル ファイルと構成ファイルを .../ChatGLM2-6B/THUDM/chatglm2-6b フォルダーに置きます。すべて手動でダウンロードすることをお勧めします。
4. 仮想環境のインストール
ここではminicondaを使用しているため。anacondaのインストールは私と同じです。
仮想環境のインストールについては、さまざまなシステムの詳細な手順があるため、ここでは説明しません。
仮想環境をインストールするコマンドは次のとおりです (ここでは例として私のものを使用します)。
conda create -n webui python=3.10.10 -yこのうち、-n webui は作成される仮想環境です。python= の後に、必要な Python のバージョンを入力します。-y は、後続のすべてのリクエストが「yes」であることを意味するため、毎回手動で「yes」を入力する必要はありません。
仮想環境をインストールしたら、仮想環境に入る必要があります。
conda env list と入力して、現在利用可能な仮想環境を確認します。たとえば、先ほどインストールした webui です。
次に、「conda activate webui」と入力して、以前のベースが webui に変更されたことを確認します。
最後に、次のコマンドを使用して、現在のプロジェクトの下に仮想環境を作成します。
python -m venv venvここでの最初の venv は、venv モジュールを使用して仮想環境を作成することを意味し、2 番目の venv は、現在の仮想環境のインストール パスとして現在のディレクトリに新しい venv フォルダーを作成することを意味します。2 番目の名前は自分で書くこともできますが、一般的にはそれはvenvフォルダーです。作成が完了すると、カレントディレクトリの下にvenvディレクトリができていることが確認できます。
次に、アクティブ化を使用して現在の仮想環境を使用します。Linux システムの場合は、source ./venv/bin/activate コマンドを使用します。Windows の場合は、./venv/Scripts/activate.bat をダブルクリックするか、./venv/Scripts/コマンドをアクティブ化します。ここで示すのは Linux の効果です。
5. インストール環境に必要なサードパーティ製パッケージ
次のコマンドを実行するだけです。
pip install -r requirements.txt次に、インストールを待ちますが、.whl ファイルを手動でインストールし、ファイルが比較的大きい場合は pip install xxx.whl コマンドを使用してインストールすることをお勧めします。
通常、インストールにはダウンロード リンクがあります。リンク アドレスを Xunlei にコピーしてダウンロードするだけです。
6. デモを実行して作業を開始します
次に、次のコマンドを直接実行して作業を開始できます。
python web_demo.py
7. その他の問題
他にご質問がある場合は、私の公式アカウントに注目して、コミュニケーション グループに参加して一緒に議論してください。