Какие методы существуют для автоматической настройки гиперпараметров?

Некоторые методы автоматической настройки гиперпараметров:

• Grid Search (поиск по сетке). yourtodo.life education.yandex.ru Для каждого гиперпараметра фиксируется несколько значений. education.yandex.ru Перебираются все комбинации значений различных гиперпараметров, на каждой из этих комбинаций модель обучается и тестируется. education.yandex.ru Выбирается комбинация, на которой модель показывает лучшее качество. education.yandex.ru
• Random Search. education.yandex.ru Перебираются не все комбинации гиперпараметров, а только случайное подмножество. education.yandex.ru Для каждого гиперпараметра задаётся распределение, из которого выбирается его значение, и комбинация гиперпараметров составляется из этих распределений. education.yandex.ru
• Байесовская оптимизация. ru.wikipedia.org Метод глобальной оптимизации для неизвестной функции (чёрного ящика) с шумом. ru.wikipedia.org Строится стохастическая модель функции отображения из значений гиперпараметра в целевую функцию, применённую на множестве проверки. ru.wikipedia.org
• Оптимизация на основе градиентов. ru.wikipedia.org Для конкретных алгоритмов обучения вычисляется градиент гиперпараметров и оптимизируется с помощью градиентного спуска. ru.wikipedia.org
• Эволюционная оптимизация. ru.wikipedia.org Использует эволюционные алгоритмы для поиска гиперпараметров для данного алгоритма. ru.wikipedia.org
• AutoML. habr.com Подход, который стремится автоматизировать различные этапы создания моделей машинного обучения, включая выбор алгоритмов, настройку гиперпараметров и даже предобработку данных. habr.com
• Auto-sklearn. habr.com Библиотека, разработанная на основе scikit-learn, которая предоставляет автоматическую оптимизацию гиперпараметров и выбор алгоритмов. habr.com

Выбор метода зависит от доступных ресурсов, сложности модели и поставленной задачи. habr.com