Что такое SVD и как оно связано с PCA?

SVD разлагает X=UΣVᵀ. PCA на центрированных данных берёт главные направления из правых сингулярных векторов (или собственных векторов Σ̂); сингулярные значения связаны с объяснённой дисперсией.

Разбор

• Сжатие: отбросить малые σᵢ.
• Численно SVD часто стабильнее eigen на XXᵀ.
• Truncated SVD — основа LSA в NLP.
• Масштабирование признаков меняет компоненты.

Итог

PCA через SVD — ортогональный базис максимальной дисперсии.