Как работает обучение архитектуры NAS (Neural Architecture Search)? С какой библиотеки лучше начать?

Обучение архитектуры NAS (Neural Architecture Search) работает следующим образом: theaisummer.com

1. Определяется пространство поиска возможных топологий сети, которое состоит из списка предопределённых операций (например, свёрточных слоёв, рекуррентных, пулинга и других) и их связей. theaisummer.com
2. Контроллер выбирает из пространства поиска список возможных кандидатных архитектур. theaisummer.com
3. Архитектуры-кандидаты обучаются и ранжируются на основе их производительности на валидационном тесте. theaisummer.com
4. Ранжирование используется для корректировки поиска и получения новых кандидатов. theaisummer.com
5. Процесс итерирует до достижения определённого условия и предоставления оптимальной архитектуры. theaisummer.com

Для начала работы с NAS можно использовать, например, следующие библиотеки:

• NASLib. {7-host} Модульная и гибкая среда, которая предоставляет интерфейсы к современным пространствам поиска и оптимизаторам NAS. {7-host}
• Ax. pytorch.org Библиотека на основе PyTorch, которая позволяет эффективно исследовать компромиссы (например, между производительностью модели и её размером или задержкой) в NAS. pytorch.org
• Neural Network Intelligence (NNI). {9-host} Фреймворк от Microsoft, который поддерживает различные методы NAS. theaisummer.com

Выбор библиотеки зависит от личных предпочтений и потребностей разработчика.