[pytorch] По мере увеличения эпохи видеопамять постепенно увеличивается? Решить проблему освобождения памяти pytorch

во время тренировки

Во время обучения выявляйте ошибки «недостаточно памяти» и обрабатывайте их с помощью torch.cuda.empty_cache(),
например:

      try:
          outputs = net(inputs)
      except RuntimeError as exception:
          if "out of memory" in str(exception):
              print('WARNING: out of memory, will pass this')     
              torch.cuda.empty_cache()
              continue
          else:
              raise exception

во время тестирования

При тестировании не забудьте установить torch.no_grad(),
например:

with torch.no_grad():
    inputs = None
    outputs = model(inputs)

Рекомендации

Pytroch - проблема с освобождением видеопамяти