Какие стратегии используются для эффективного гиперпараметрического поиска?

Некоторые стратегии, которые используются для эффективного гиперпараметрического поиска:

• Поиск по сетке (Grid Search). 15 Для каждого гиперпараметра фиксируется несколько значений. 1 Перебираются все комбинации значений различных гиперпараметров, на каждой из этих комбинаций модель обучается и тестируется. 1 Выбирается комбинация, на которой модель показывает лучшее качество. 1
• Случайный поиск (Random Search). 1 Перебираются не все комбинации гиперпараметров, а только случайное подмножество. 1 Для каждого гиперпараметра задаётся распределение, из которого выбирается его значение, и комбинация гиперпараметров составляется из этих распределений. 1
• Байесовская оптимизация. 5 Способ оптимизации гиперпараметров, основанный на вероятностных моделях. 5 Основная идея — восстановить функцию распределения в пространстве гиперпараметров таким образом, чтобы получить их оптимальный набор. 5
• Эволюционная оптимизация. 23 Используется для оптимизации гиперпараметров для статистических алгоритмов машинного обучения, автоматического машинного обучения, для поиска архитектуры глубоких нейронных сетей, а также для формирования весов в глубоких нейронных сетях. 23

Перед началом гиперпараметрического поиска важно провести предварительный анализ данных и задачи. 4 Это поможет определить диапазоны значений для гиперпараметров, которые имеют смысл для конкретной задачи. 4