Производная по направлению u — скорость изменения f при движении вдоль u; равна ∇f·u (для единичного u). Максимальна, когда u сонаправлен с градиентом.
Разбор
- Объясняет, почему шаг −∇f уменьшает f быстрее всего локально.
- В constrained optimization направление проецируют на допустимое.
- Для дискретизации шага важна норма u.
- На практике считаем компоненты ∇ через autodiff.
Итог
Градиент собирает все направленные скорости изменения в один вектор.