Статические (Word2Vec) — один вектор на тип слова; контекстуальные (BERT) — вектор зависит от предложения, различая омонимы. Для сложных задач почти всегда contextual.
Разбор
- Статические дешевле и достаточны для простых baseline.
- OOV в word2vec vs subword contextual.
- Усреднение статических ≠ полный смысл предложения.
- Доменный shift бьёт оба типа.
Итог
Контекст меняет вектор в LM; в Word2Vec — нет.