Без позиций attention перестановочно-инвариантен к порядку. Синусоиды/learned positions добавляют информацию о месте токена; относительные позиции — современный вариант.
Разбор
- Сдвиг длин относительно pretrain — проблема.
- RoPE/ALiBi — альтернативы.
- Для BAG-of-embeddings позиции не нужны.
- Ошибка: выключить позиции и ждать синтаксис.
Итог
Позиции возвращают порядок в архитектуру на чистом внимании.