nn.Embedding — таблица векторов по integer индексам; forward — lookup, backward — градиенты в строки таблицы.
Разбор
- Индексы dtype long.
- padding_idx не обучает/обнуляет градиент строки.
- Большие vocab → память; иногда tied weights.
- Sparse grads — опционально для оптимизаторов.
Итог
Embedding = дифференцируемый словарь векторов по id.