У выпуклой f локальный минимум глобален; градиентные методы имеют теоретические гарантии. Многие ML-потери (логистическая с L2) выпуклы по весам; глубокие сети — нет.
Разбор
- Сильная выпуклость даёт линейную сходимость при GD.
- Невыпуклость → много седловых точек.
- Инициализация и архитектура важны вне выпуклого мира.
- Выпуклые релаксации — приём в research.
Итог
Выпуклость превращает «нашли минимум» в «нашли лучший».