【深度学习】模型如何加载至 cpu 和 gpu

【深度学习】模型如何加载至 cpu 和 gpu

1. 采用 from_pretrained 的方式

这种情况下，BertMoldel.from_pretrained() 是会 load 在 cpu 上的，内部 map_location 默认设置成 cpu，如果想要部署在gpu，执行下面三句话。

BertMoldel.from_pretrained()
device=torch.device(’cuda’)
model.to(device) 

2. 采用 load_state_dict 的方式

• 如果不加map_location，默认是按照保存模型时的位置来进行load的。即，

  • 当你保存模型时，用的gpu，那么你load的时候也是加载到gpu上；
  • 当你保存模型时，用的cpu，那么你load的时候也是加载到cpu上；

• 加上map_location

  • 部署在 哪里可以指定，如果想部署到 gpu，无需修改第一行，直接再加入4.5行。

state_dict=torch.load(model_path, map_location='cpu')
#部署到 gpu，把上面改为map_location='gpu'

model.load_state_dict(state_dict)
#已在CPU上加载，下面两句也可加入GPU

device=torch.device(’cuda’)
model.to(device)

参考

【1】https://blog.csdn.net/M_TDM/article/details/129436122