关于模型训练时loss变化的问题（笔记整理）

好记性不如烂笔头：

1. train loss 下降⬇，val loss下降⬇，说明网络仍在学习；~~ 奈斯，继续训练
2. train loss 下降⬇，val loss上升⬆，说明网络开始过拟合了；~~ 赶紧停止，然后数据增强、正则
3. train loss 不变，val loss不变，说明学习遇到瓶颈；~~ 调小学习率或批量数目
4. train loss 不变，val loss下降⬇，说明数据集100%有问题；~~ 检查数据集标注有没有问题
5. train loss 上升⬆，val loss上升⬆，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。~~ 没有遇到过

loss震荡？
轻微震荡一般是正常的，在一定范围内，一般来说 Batch Size 越大，其确定的下降方向越准，引起训练震荡越小，如果震荡十分剧烈，那估计是Batch Size设置的太小了吧。。。