Фрагментация кэша аллокатора мешает выделить большой блок при формально свободной памяти; лечат уменьшением пиков, бакетингом shapes и стабилизацией аллокаций.
Разбор
- Динамические длины без бакетинга фрагментируют.
- Частая смена batch shapes хуже фиксированных.
- Пересоздание моделей в одном процессе копит кэш.
max_split_size_mb / expandable segments — тонкая настройка.
Итог
Фрагментация ≠ leak; стабилизируйте аллокационный профиль.