PyTorch入门学习笔记（二）之神经网络的搭建

神经网络可以使用touch.nn来构建。nn依赖于autograd来定义模型，并且对其求导。一个nn.Module包含网络的层（layers），同时forward(input)可以返回output。

Torch.nn中文网：
https://ptorch.com/docs/1/torch-nn

训练神经网络的典型步骤如下：
（1） 定义神经网络，该网络包含一些可以学习的参数（如权重）
（2） 在输入数据集上进行迭代
（3） 使用网络对输入数据进行处理
（4） 计算loss（输出值距离正确值有多远）
（5） 将梯度反向传播到网络参数中
（6） 更新网络的权重，使用简单的更新法则：weight = weight - learning_rate* gradient，即：新的权重=旧的权重-学习率*梯度值。