Vocabulary — конечный набор токенов с id, которые модель умеет принимать. Всё вне словаря — UNK или режется на субтокены (в subword-схемах UNK реже).
Разбор
- Специальные токены: PAD, CLS, SEP, MASK.
- Размер словаря влияет на матрицу эмбеддингов.
- Доменный текст может плохо покрываться общим vocab.
- Нельзя менять vocab без переобучения/адаптации.
Итог
Словарь — контракт дискретных входов модели.