Как работает архитектура MoE в генеративных моделях искусственного интеллекта?

Архитектура Mixture of Experts (MoE) в генеративных моделях искусственного интеллекта работает за счёт децентрализации монолитной модели и использования специализированных подсетей — «экспертов». serverflow.ru www.ultralytics.com

Эксперты — это небольшие нейронные сети, которые в процессе обучения специализируются на обработке определённых типов данных, паттернов или концепций. serverflow.ru Например, один эксперт может быть экспертом в научной терминологии, другой — в разговорной речи, третий — в финансовых данных, четвёртый — в синтаксических структурах и так далее. serverflow.ru

При обработке каждого входного токена (слова или его части) активируется только небольшое подмножество всех доступных экспертов модели. serverflow.ru Типичные значения — 2, 3 или 4 эксперта на токен. serverflow.ru

Решение о том, какие именно эксперты должны обрабатывать текущий входной токен, принимает специальный компонент — слой-маршрутизатор. serverflow.ru Он выполняет следующие шаги: serverflow.ru

1. Для каждого входного токена роутерный слой получает его представление (вектор). serverflow.ru
2. Роутер анализирует это представление и предсказывает, насколько «полезным» будет каждый эксперт для обработки данного конкретного токена в данном конкретном контексте. serverflow.ru Обычно это выражается в виде весов или вероятностей, назначенных каждому эксперту. serverflow.ru
3. Роутер выбирает топ-K экспертов (где K — это небольшое фиксированное число, обычно 2, 3 или 4) с наибольшими весами/вероятностями. serverflow.ru
4. Только выбранные топ-K экспертов получают токен на обработку. serverflow.ru Они выполняют свои вычисления независимо. serverflow.ru
5. Результаты работы активированных экспертов комбинируются (обычно взвешенно, на основе оценок, выданных роутером) в единый выходной вектор для этого токена, который затем передаётся дальше по модели (например, на следующий слой внимания или выходной слой). serverflow.ru

Такой подход позволяет создавать модели с большим количеством параметров без пропорционального увеличения вычислительных затрат. aigenom.ru gerwin.io