Pytorch之——GPU的使用

---

一、CPU与GPU

由图中可以看出GPU的计算单元远多于CPU的计算单元，因此，使用GPU的计算速度是大于CPU的计算速度的。

二、数据迁移至GPU

1.参数说明

inplace的意思就是说，对于tensor数据转成GPU的形式还需要重新赋值，如图中的x=x.to(“cuda”)。但是对于model来说，转成GPU的形式，不需要重新赋值，如图中的linear.to(gpu1)

2.源码

tensor to cuda

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#tensor to cuda
x_cpu = torch.ones((3, 3))
 print("x_cpu:\ndevice: {} is_cuda: {} id: {}".format(x_cpu.device, x_cpu.is_cuda, id(x_cpu)))
 x_gpu = x_cpu.to(device)
 print("x_gpu:\ndevice: {} is_cuda: {} id: {}".format(x_gpu.device, x_gpu.is_cuda, id(x_gpu)))

module to cuda

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
net = nn.Sequential(nn.Linear(3, 3))
print("\nid:{} is_cuda: {}".format(id(net), next(net.parameters()).is_cuda))
net.to(device)
print("\nid:{} is_cuda: {}".format(id(net), next(net.parameters()).is_cuda))

# 弃用
x_gpu = x_cpu.cuda()

之前在Pytorch中都是使用这种方法，现在这种方法已经弃用

3.torch.cuda常用方法

三、多GPU并行计算

1.什么是多GPU并行计算

一个很形象的例子解释了什么是并行计算

2.Pytorch当中的并行计算

3.源码

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 # model
 net = CNN()
 net = nn.DataParallel(net)
 net.to(device)

参考

深度之眼pytorch框架班