Problemstellung
Wenn Sie das Huggingface-Modell auf dem Server verwenden und den Modellnamen direkt angeben und AutoTokenizer.from_pretrained(„Modellname“) verwenden, kann aus Netzwerkgründen ein Fehler gemeldet werden. Nach 75018 ms konnte keine Verbindung zum Huggingface.co-Port 443 hergestellt werden: Betriebszeitüberschreitung
Daher müssen wir das Modell auf den Server herunterladen, den lokalen Pfad model_dir des Modells abrufen und ihn dann über AutoTokenizer.from_pretrained(model_dir) verwenden.
Download-Methode 1: Laden Sie die entsprechende Datei manuell von der Huggingface-Schnittstelle herunter
Laden Sie die Dateien einzeln von der offiziellen Huggingface-Website herunter. Diese Methode erfordert das lokale Herunterladen des Modells und das anschließende Hochladen auf den Server. Nach zwei Übertragungen ist dies sehr mühsam. Nicht empfohlen
Download-Methode 2: Verwenden Sie zum Herunterladen den Downloader
Gehen Sie zur Huggingface Mirror-Website und laden Sie zunächst model_download.py im Bild in den Modellpfad auf dem Server herunter.
Führen Sie dann den Code aus:
pip install huggingface_hub
python model_download.py --repo_id （模型ID)
Wenn Sie die Modell-ID nicht kennen, können Sie in der Suchleiste nach dem Modellnamen suchen, z. B. baichuan2-7B-Chat
Wie in der Abbildung gezeigt, ist die Der entsprechende Download-Code wird angegeben: python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat
Auf diese Weise kann das Huggingface-Modell direkt auf den Server heruntergeladen werden und der Download-Fortschrittsbalken wird angezeigt. Die Geschwindigkeit beträgt etwa 2M/s
Freundliche Tipps
Das Herunterladen von Modellen dauert normalerweise lange. Vergessen Sie nicht, das tmux-Fenster zu öffnen, um zu verhindern, dass der Computer in den Ruhezustand wechselt und Netzwerkunterbrechungen verursacht.
Es macht nichts, wenn Sie es vergessen , um das tmux-Fenster zu öffnen. Sie können Strg-Z drücken, um die Aufgabe anzuhalten. , dann tmux öffnen und python model_download.py --repo_id Modell-ID erneut ausführen. Diese Zeile lädt den Code herunter und Sie können mit dem Herunterladen fortfahren
Download-Methode 3 Verwenden Sie zum Herunterladen das Github-Skript
Über dieses Projekt können Sie Modelle nur über den Modellnamen herunterladen und laden.
Github-Projektlink: https://github.com/LetheSec/HuggingFace-Download-Accelerator
