拉取华为昇腾的mindie镜像时一定要注意配置好--platform参数,否则可能架构不兼容
docker pull --platform=arm64 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
拉取完镜像,进行镜像打压缩包
docker save 3a7f38bed48b -o D:\mindiearm.tar
安装huggingface_hub
pip install -U huggingface_hub
安装成功后,注意将huggingface-cli添加到环境变量
没有设置镜像地址的话,使用huggingface-cli下载大模型的话,大概率是失败的。需要设置个
环境变量HF_ENDPOINT,内容设置为https://hf-mirror.com。
比如下载模型参数时,接续下载:
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --local-dir D:\deepseek-r1-32b-huggingface