Стемминг грубо обрезает окончания; лемматизация приводит к словарной форме с морфологией. Уменьшают размерность BoW, но для subword-трансформеров часто не нужны.
Разбор
- Ошибки стеммера сливают разные смыслы.
- Для русского морфология важнее, чем для английского.
- Согласуйте с токенизатором задачи.
- В поиске — компромисс recall/precision.
Итог
Нормализация словоформ полезна счётным моделям; contextual LM часто обходятся без неё.