Huggingface가 네트워크(유사) 때문에 코드에 설정된 모델 및 데이터를 다운로드할 수 없는 문제 해결

포옹얼굴 모델 다운로드

실제로 git 을 사용하여 수동으로 다운로드되며
구체적인 방법은 다음과 같습니다.

sudo apt-get update
sudo apt-get install git-lfs
git lfs install 

그 다음에git clone https://huggingface.co/roberta-large

Huggingface 데이터 세트 다운로드

우선, 일부 데이터 세트는 git을 통해 다운로드할 수도 있습니다(그런 종류의 데이터 세트 페이지를 열면 파일에 데이터 세트 온톨로지가 포함되어 있고 일부 데이터 세트 파일에는 데이터 세트를 다운로드하기 위한 Python 스크립트 파일만 있습니다. 이런 종류의 것). 작동하지 않습니다)

그런 다음 사다리를 걸거나 네트워크를 변경하고 로컬로 다운로드한 다음 서버에 업로드만 할 수 있습니다.

# 下载并本地存储
from datasets import load_dataset
dataset = load_dataset('super_glue', 'cb', cache_dir='./raw_datasets')
dataset.save_to_disk('superglue_cb')

# 读取本地的文件
from datasets import load_from_disk
raw_dataset = load_from_disk("saved_to_disk/superglue_cb")