Адаптация с общего корпуса/модели к целевому домену: continue pretraining на доменных текстах, fine-tune на доменных лейблах, адаптеры, словарь/токенизатор расширения.
Разбор
- Сдвиг жаргона и сущностей.
- Катастрофическое забывание общего.
- Мало лейблов — semi-supervised.
- Оценка на доменном test.
Итог
Домен меняет язык; модель нужно догонять данными домена.