Как тестировать регрессии токенизации при обновлении модели?

Золотой набор строк → стабильные token ids/lengths, fertility по доменам, NER align fixtures, снимок vocab hash; при смене — полный FT/адаптация, не тихая подмена файлов.

Разбор

• CI на tokenizer.json.
• Сравнение encode→decode.
• Критичные ID/коды продуктов.
• Версионирование артефакта токенизатора.

Итог

Токенизатор версионируют и регрессионно тестируют как код модели.