TF-IDF взвешивает частоту термина в документе (TF) обратно документной частоте (IDF), понижая вес слов, встречающихся всюду, и поднимая характерные термины.
Разбор
- Классика для поиска и линейной классификации текстов.
- Не понимает синонимы и семантику глубоко.
- Нужен общий словарь на train.
- Подварианты нормализации TF/IDF.
Итог
TF-IDF — статистическое взвешивание информативности слова в документе.