解决mmdetection训练过程loss为nan的问题（已解决）

我之前遇到多次loss为nan，一次是由于数据标注出现问题，换不同的模型参数均出现此问题，因此需要仔细检查数据格式。

有一次是换了个模型，loss变为nan，以为是coco格式问题，发现用没出现问题的数据集测试，还是nan，不是数据的问题。

后面通过将学习率调为原来的1/10（根据实际情况调整），就没有出现了！

下面参考了官方文档给出的解决方案以及自身经验，应该可以解决大部分问题：

检查数据的标注是否正常：长或宽为 0 的框可能会导致回归 loss 变为 nan，一些小尺寸（宽度或高度小于 1）的框在数据增强（例如，instaboost）后也会导致此问题。因此，可以检查标注并过滤掉那些特别小甚至面积为 0 的框，并关闭一些可能会导致 0 面积框出现数据增强。
降低学习率：由于某些原因，例如 batch size 大小的变化，导致当前学习率可能太大。我们可以降低为可以稳定训练模型的值。

在这里插入图片描述

延长 warm up 的时间：一些模型在训练初始时对学习率很敏感，我们可以把 warmup_iters 从 500 更改为 1000 或 2000。

lr_config = dict(
    policy='step',
    warmup='linear',
    warmup_iters=500,  # 修改这里 Epoch [1][500/xxxx]之前的学习率的意思
    warmup_ratio=0.001,
    step=[8, 11])

添加 gradient clipping: 一些模型需要梯度裁剪来稳定训练过程。默认的 grad_clip 是 None, 你可以在 config 设置 optimizer_config=dict(_delete_=True, grad_clip=dict(max_norm=35, norm_type=2)) 如果你的 config 没有继承任何包含 optimizer_config=dict(grad_clip=None), 你可以直接设置optimizer_config=dict(grad_clip=dict(max_norm=35, norm_type=2)).

optimizer_config = dict(grad_clip=dict(max_norm=35, norm_type=2))

解决mmdetection训练过程loss为nan的问题（已解决）

猜你喜欢