目录
1. Pytorch完成模型常用API
1.1 nn .Module
nn.Modul 是torch.nn提供的一个类,是pytorch中我们自定义网络的一个基类,在这个类中定义了很多有用的方法,让我们在继承这个类定义网络的时候非常简单
当我们自定义网络的时候,有两个方法需要特别注意:
- _init_需要调用super方法,继承父类的属性和方法
- farward方法必须实现,用来定义我们的网络的向前计算的过程
用前面的y=wx+b的模型举例如下:
from torch import nn
class Lr(nn.Module):
def __init__(self):
super().__init__()
self.linear = nn.Linear(1, 1)
def forward(self, x):
out = self.linear(x)
return out
注意:
1.nn.Linear为torch预定义好的线性模型,也被称为全链接层,传入的参数为输入的数量,输出的数量(in_features,out features)是不算(batch_size的列数)
2nn.Modue定义了_call_方法,实现的就是调用forward方法,即Lr的实例,能够直按被传入参数调用,实际上调用的是forward方法并传入参数
#实例化模型
model = Lr()
# 传入数据,计算结果
predict = model(x)
1.2 优化类
优化器(optimizer),可以理解为torch为我们封装的用来进行更新参数的方法,比如常见的随机梯度下降(stochastic gradient descent,SGD)
优化器类都是由torch.optim提供的,例如
- torch.optim.SGD(参数,学习率)
- torch.optim.Adam(参数,学习率)
注意:
- 参数可以使用mode1.parameters0来获取,获取横型中所有requires_grad=True的参数
- 优化类的使用方法
- 实例化
- 所有参数的梯度,将具值置为0
- 反向传计算梯度
- 更新参数值
示例如下:
optimizer = optim.SGD(model.parameters(), lr=1e-3) # 1.实例化
optimizer.zero_grad() # 2,梯度置为0
loss.backward # 3.计算梯底
optimizer.step() # 4,更新参教的信
1.3 损失函数
前面的例了是一个回归问题,torch中也预测了很多损失函数
- 均方误差:nn.MSEloss0常用语分类问题
- 交叉煽损失: nn.crossEntropyLoss(),常用语逻辑回归
使用方法· `
model = Lr() # 实例化模型
criterion = nn.MSELoss() # 2. 实例化损失函数
optimizer = optim.SGD(model.parameters(), lr=1e-3) # 3. 实例化优化器类
for i in range(100):
y_predict = model(x) # 4. 前向计算预测值
loss = criterion(y, y_predict) # 5. 调用损失函数传入真实值和预测值,得到损失结果
optimizer.zero_grad() # 6. 当前循环参数梯度置为0
loss.backward() # 7. 计算梯度
optimizer.step() # 8.更新参数的值
1.4 Pytorch线性回归的实现
import torch
from torch import nn, optim
from matplotlib import pyplot as plt
# 1. 定义数据
x = torch.rand([50, 1])
y = x * 3 + 0.8
# 2. 定义模型
class Lr(nn.Module):
# 继承父类的init
def __init__(self):
super().__init__()
self.linear = nn.Linear(1, 1)
def forward(self, x):
out = self.linear(x)
return out
# 3. 实例化模型 loss 优化器
model = Lr()
loss_fn = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=1e-2)
# 4. 训练模型
for i in range(20000):
y_predict = model(x) # 获取预测值
loss = loss_fn(y, y_predict) # 计算损失
optimizer.zero_grad() # 梯度置为0
loss.backward() # 反向传播
optimizer.step() # 更新参数
if (i + 1) % 20 == 0:
print(
f'epoch {i} , loss {loss.data:.3f}, {list(model.parameters())[0].item()}, {list(model.parameters())[1].item()}')
# 5. 模型评估
model.eval() # 设置模型为评估模式,即预测模式
predict = model(x)
predict = predict.data.numpy()
plt.scatter(x.data.numpy(), y.data.numpy(), c='r')
plt.plot(x.data.numpy(), predict)
plt.show()
注意
model.eval()表示设置模型为评估模式,即预测模式
model.train(mode=True) 表示设置模型为训练模式在当前的线性回归中,上述并无区别
但是在其他的一些模型中,训练的参数和预测的参数会不相同,到时候就需要具体告诉程序我们是
在进行训练还见预测,比如模型中存在Dropout,BatchNorm的时候
2. 使用GPU训练模型
当模型太大,或者参数太多的情况下,为了加快训练速度,经常会使用GPU来进行训练此时我们的代码需要稍作调整:
1.判断GPU是否可用torch.cuda,is_availabe()
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
2.把模型参数和input数据转化为cuda的支持类型
x.to(device)
model.to(device)
3.在GPU上计算结果也为cuda的数据类型,需要转化为numpy或者torch的cpu的tensor类型
predict = predict.cpu().detach().numpy()
detach()的效果和data的相似,但是detach()是深烤贝,data是取出其数值