Dropout случайно обнуляет активации в train(), выступая регуляризатором; в eval() пропускает сигнал с масштабированием (inverted dropout).
Разбор
- Вероятность
p — доля обнуляемых единиц.
- Работает только корректно при правильном train/eval.
- На малых данных помогает от переобучения.
- Варианты: Dropout2d, DropPath в современных архитектурах.
Итог
Dropout — стохастическая регуляризация, завязанная на train/eval.