深度学习概念、参数理解:iteration, batch_size, epoch, learning rate, weight_decay

  关于iteration, batch_size, epoch:

  神经网络在训练数据集上跑一遍,称为一次迭代(iteration)

  但是一次迭代如果把数据集中的数据都跑一遍,速度会很慢,所以一次iteration只使用部分数据,这个数目就称为batch_size

  不过这样的话,一次迭代就不一定能完整的跑完数据集中的所有数据了,这时候如果比较iteration就没啥意义了,所以又提出了epoch这个概念,如果说所有数据都被过一次了,就叫一个epoch。简单说,epochs指的就是训练过程中数据将被 “ 过 ” 多少次。

  关于learning rate, weight_decay:

  参考网址:http://www.mamicode.com/info-detail-2124262.html

猜你喜欢

转载自blog.csdn.net/weixin_40725491/article/details/81189889