Какие стратегии используются для эффективного гиперпараметрического поиска?

Некоторые стратегии, которые используются для эффективного гиперпараметрического поиска:

• Поиск по сетке (Grid Search). education.yandex.ru cyberleninka.ru Для каждого гиперпараметра фиксируется несколько значений. education.yandex.ru Перебираются все комбинации значений различных гиперпараметров, на каждой из этих комбинаций модель обучается и тестируется. education.yandex.ru Выбирается комбинация, на которой модель показывает лучшее качество. education.yandex.ru
• Случайный поиск (Random Search). education.yandex.ru Перебираются не все комбинации гиперпараметров, а только случайное подмножество. education.yandex.ru Для каждого гиперпараметра задаётся распределение, из которого выбирается его значение, и комбинация гиперпараметров составляется из этих распределений. education.yandex.ru
• Байесовская оптимизация. cyberleninka.ru Способ оптимизации гиперпараметров, основанный на вероятностных моделях. cyberleninka.ru Основная идея — восстановить функцию распределения в пространстве гиперпараметров таким образом, чтобы получить их оптимальный набор. cyberleninka.ru
• Эволюционная оптимизация. ru.ruwiki.ru ru.wikipedia.org Используется для оптимизации гиперпараметров для статистических алгоритмов машинного обучения, автоматического машинного обучения, для поиска архитектуры глубоких нейронных сетей, а также для формирования весов в глубоких нейронных сетях. ru.ruwiki.ru ru.wikipedia.org

Перед началом гиперпараметрического поиска важно провести предварительный анализ данных и задачи. habr.com Это поможет определить диапазоны значений для гиперпараметров, которые имеют смысл для конкретной задачи. habr.com