A100 为什么总是使用第一张卡

A100 为什么总是使用第一张卡

设置 device_map='auto

从现象看模型运行似乎总集中在第一张A100卡上，可能原因及解决办法如下：

模型加载设置问题

• 默认单卡加载：transformers库默认可能未启用多卡并行，只将模型加载到默认设备（常为第一张GPU ）。在代码中指定多卡策略，如使用device_map='auto'，让库自动分配模型到多张GPU上。修改代码如下：

from transformers import AutoTokenizer, AutoModelForCausalLM
import