Как концепция экстремума применяется в современных алгоритмах машинного обучения?

Концепция экстремума (максимума или минимума функции на заданном интервале) применяется в современных алгоритмах машинного обучения для оптимизации моделей. wiki.loginom.ru

В машинном обучении подбор параметров моделей производится с целью достижения минимума функции ошибки обучения. wiki.loginom.ru

Один из примеров применения концепции экстремума в машинном обучении — метод градиентного спуска. habr.com moluch.ru Это алгоритм оптимизации, который используется для минимизации ошибок в модели. moluch.ru

Суть метода заключается в том, чтобы «двигаться» (осуществлять оптимизацию) в направлении антиградиента, то есть направлении наискорейшего спуска. moluch.ru Хорошие параметры модели соответствуют минимуму функции потерь, где сеть ошибается меньше всего. habr.com