Inplace может перезаписать тензор, нужный для вычисления градиента, и привести к ошибке или неверным градиентам.
Разбор
- Примеры:
relu_, +=, indexed assigns.
- Версии PyTorch стараются детектить, но не всё ловят.
- Предпочитайте out-of-place в training code.
- В inference inplace иногда ок для экономии памяти.
Итог
Inplace в training — риск сломать backward; избегайте без нужды.