Какие методы оптимизации используются в Hyperopt для подбора гиперпараметров?

В библиотеке Hyperopt для подбора гиперпараметров используются следующие методы оптимизации: habr.com

• Random Search. habr.com education.yandex.ru Для каждого гиперпараметра задаётся распределение, из которого выбирается его значение. education.yandex.ru Комбинация гиперпараметров составляется из этих распределений. education.yandex.ru Благодаря случайному выбору очередной комбинации можно найти оптимальную комбинацию за меньшее число итераций. education.yandex.ru
• Tree of Parzen Estimators (TPE). dsfor.com habr.com Метод байесовской оптимизации, который на каждой итерации указывает, в какой следующей точке с наибольшей вероятностью улучшат текущую оценку оптимума. education.yandex.ru
• Simulated Annealing. habr.com Метод имитации отжига. habr.com

Кроме того, в Hyperopt реализован Adaptive TPE — третий метод оптимизации гиперпараметров. dsfor.com education.yandex.ru