用huggingface_hub实现优雅快速的HuggingFace模型下载

使用transformers库下载huggingface模型时,会遇到网络无法访问网站的问题。因此,这里记录一种HuggingFace官方提供的命令行工具:huggingface-cli,实现快速的模型下载。

基础操作流程

  1. 安装huggingface_hub库
    pip install -U huggingface_hub
    
  2. 设置环境变量(也可以写进环境变量~/.bashrc中)
    Linux:
    export HF_ENDPOINT=https://hf-mirror.com
    
    Windows:
    $env:HF_ENDPOINT = "https://hf-mirror.com"
    
  3. 下载模型
    以gpt-2为例(不需要申请):
    huggingface-