KL(P‖Q) измеряет, сколько «лишнего сюрприза» даёт код/ожидания Q, когда истинные данные из P. Не симметрична и не метрика.
Разбор
- В ML: регуляризация к априору, VAE, distillation.
- KL=0 ⇔ P=Q (почти всюду).
- Forward/reverse KL ведут себя по-разному (mode-seeking vs covering).
- Кросс-энтропия = H(P)+KL(P‖Q).
Итог
KL — цена неверного распределения-приближения.