理解optimizer.zero_grad(), loss.backward(), optimizer.step()的作用及原理

在用pytorch训练模型时，通常会在遍历epochs的过程中依次用到optimizer.zero_grad(),loss.backward()和optimizer.step()三个函数，如下所示：