Как работает метод LiPO в контексте глобальной оптимизации функций?

Метод LiPO в контексте глобальной оптимизации функций работает следующим образом: courses.igankevich.com

1. Выбирается константа, соответствующая наибольшему наклону оптимизируемой функции. courses.igankevich.com
2. В качестве нового приближения выбирается не псевдослучайная точка, а точка, в которой верхняя граница принимает максимальное значение. courses.igankevich.com
3. Новая точка на каждой итерации выбирается псевдослучайным образом из списка точек, в которых верхняя граница превышает текущее приближение глобального максимума функции. courses.igankevich.com

Это делает алгоритм более эффективным, чем случайный поиск. courses.igankevich.com Метод разрабатывался для оптимизации гиперпараметров алгоритмов машинного обучения, но может применяться к любым липшецевым функциям. courses.igankevich.com

Также существует адаптивная версия LIPO, которая используется в случае, когда постоянная Липшица неизвестна и её нужно оценить вместе с оптимизацией. paperswithcode.com