Какие существуют методы оптимизации гиперпараметров для нейронных сетей?

Некоторые методы оптимизации гиперпараметров для нейронных сетей:

• Grid search и Random search. dzen.ru Базовые подходы к поиску гиперпараметров. dzen.ru Grid search предполагает полный перебор всех возможных комбинаций гиперпараметров, а Random search выбирает случайные комбинации. dzen.ru У обоих методов есть недостатки: высокая вычислительная сложность и риск застревания в локальных минимумах. dzen.ru
• Байесовская оптимизация. ru.wikipedia.org www.pvsm.ru Метод глобальной оптимизации для неизвестной функции с шумом. ru.wikipedia.org Строит вероятностную модель зависимости качества от архитектуры и на каждой итерации выбирает наиболее перспективные точки для измерения. www.pvsm.ru
• Оптимизация на основе градиентов. ru.wikipedia.org Для конкретных алгоритмов обучения вычисляют градиент гиперпараметров и оптимизируют их с помощью градиентного спуска. ru.wikipedia.org
• Эволюционная оптимизация. ru.wikipedia.org Использует эволюционные алгоритмы для поиска гиперпараметров для данного алгоритма. ru.wikipedia.org Включает создание начальной популяции случайных решений, оценку кортежей гиперпараметров, их ранжирование и замену кортежей с худшей производительностью на новые. ru.wikipedia.org
• Distributed random search. dzen.ru Метод, который комбинирует принципы случайного поиска с распределёнными вычислениями. dzen.ru Подход особенно полезен при работе с большими данными и сложными моделями. dzen.ru