Что такое embedding признаков и когда он нужен в tabular ML?

Embedding — низкоразмерный вектор категории/сущности, обучаемый или pretrained. Нужен при высокой кардинальности (user_id, item_id), где one-hot невозможен.

Разбор

• В нейросетях — Embedding слой.
• Можно взять из графовых/текстовых моделей.
• Холодный старт новых id.
• Утечка через target-informed embeddings.

Итог

Embeddings сжимают редкие категории в геометрию сходства.