Какие существуют подходы к настройке гиперпараметров в машинном обучении?

Некоторые подходы к настройке гиперпараметров в машинном обучении:

1. Поиск по решётке (Grid Search). ru.wikipedia.org education.yandex.ru Для каждого гиперпараметра фиксируется несколько значений, затем перебираются все комбинации значений различных гиперпараметров, на каждой из этих комбинаций модель обучается и тестируется. education.yandex.ru Выбирается комбинация, на которой модель показывает лучшее качество. education.yandex.ru
2. Случайный поиск (Random Search). education.yandex.ru Для каждого гиперпараметра задаётся распределение, из которого выбирается его значение, и комбинация гиперпараметров составляется случайным образом. education.yandex.ru Таким образом можно найти оптимальную комбинацию за меньшее число итераций. education.yandex.ru
3. Байесовская оптимизация. education.yandex.ru Это итерационный метод, позволяющий оценить оптимум функции, не дифференцируя её. education.yandex.ru На каждой итерации метод указывает, в какой следующей точке с наибольшей вероятностью улучшится текущая оценка оптимума. education.yandex.ru
4. Оптимизация на основе градиентов. ru.wikipedia.org Для конкретных алгоритмов обучения вычисляется градиент гиперпараметров и оптимизируется с помощью градиентного спуска. ru.wikipedia.org
5. Эволюционная оптимизация. ru.wikipedia.org Для поиска гиперпараметров для данного алгоритма используются эволюционные алгоритмы. ru.wikipedia.org Создаётся начальная популяция случайных решений, затем кортежи гиперпараметров оцениваются и ранжируются по их относительной пригодности. ru.wikipedia.org Кортежи с худшей производительностью заменяются на новые кортежи, образованные скрещиванием и мутацией. ru.wikipedia.org Шаги повторяются, пока не будет получена удовлетворительная производительность алгоритма или пока производительность не перестанет улучшаться. ru.wikipedia.org